OpenAI Ungkap Hasil Uji Chip Jalapeno, Klaim Lebih Efisien dari Nvidia

OpenAI mulai membuka perincian mengenai chip kepintaran buatan (AI) buatannya sendiri, Jalapeno, setelah mempresentasikan hasil pengetesan awal pada konvensi Hot Chips 2026. Chip tersebut dirancang unik untuk menjalankan konklusi AI, ialah tahap ketika model nan sudah dilatih digunakan untuk menghasilkan respons atas permintaan pengguna.

Dalam pengetesan menggunakan benchmark InferenceX dari SemiAnalysis, OpenAI menyatakan Jalapeoo bisa menghasilkan throughput lebih tinggi dengan konsumsi daya lebih rendah dibandingkan sejumlah sistem AI Nvidia nan menjadi pembanding.

Hasil tersebut menjadi indikasi awal bahwa OpenAI berupaya mengoptimalkan sendiri salah satu bagian krusial dari prasarana AI-nya. Namun, perlu dicatat bahwa Jalapeno belum tersedia secara komersial dan hasil benchmark yang dipublikasikan tetap berasal dari pengetesan OpenAI.

Klaim Performa Lebih Tinggi dan Konsumsi Daya Lebih Rendah

Dalam pengetesan InferenceX, Jalapeno dibandingkan dengan sistem berbasis Nvidia GB200 dan GB300. OpenAI menyebut chipnya bisa menghasilkan 1,5 hingga 1,9 kali lebih banyak throughput per kilowatt, sekaligus mencatat latensi end-to-end sekitar 1,7 hingga 3,6 kali lebih rendah pada sejumlah model nan diuji.

Pengujian mencakup beberapa model, termasuk GPT-OSS 120B milik OpenAI, DeepSeek R1, dan Kimi K2.5. Artinya, pengetesan tersebut tidak hanya dilakukan pada model nan dikembangkan OpenAI, meskipun cakupan model dan kondisi pengujiannya tetap menjadi aspek krusial dalam membaca hasil benchmark tersebut.

Richard Ho, nan memimpin program perangkat keras OpenAI, mengatakan Jalapeno dirancang untuk menggabungkan throughput tinggi dengan latensi rendah. Menurutnya, pendekatan tersebut krusial untuk jasa AI interaktif nan kudu menangani banyak permintaan sekaligus tanpa membikin pengguna menunggu terlalu lama.

Meski demikian, kelebihan dalam benchmark tidak otomatis berfaedah Jalapeno bakal mengungguli seluruh perangkat keras AI di pasar. Ketika chip tersebut mulai digunakan dalam skala besar, teknologi pesaing juga kemungkinan sudah berkembang ke generasi berikutnya.

Dirancang Khusus untuk Inferensi LLM

Berbeda dengan GPU serbaguna nan dapat digunakan untuk beragam jenis komputasi, Jalapeno dikembangkan sejak awal untuk kebutuhan konklusi large language model (LLM).

OpenAI mengatakan desainnya dibuat berasas karakter beban kerja nan digunakan dalam ChatGPT, Codex, API, serta produk berbasis pemasok AI nan sedang dikembangkan perusahaan.

Salah satu konsentrasi desainnya adalah mengurangi perpindahan info antara komputasi, memori, dan jaringan. Dalam sistem konklusi LLM, perpindahan info dapat menjadi sumber keterlambatan lantaran model kudu mengakses dan mempertahankan sejumlah besar info selama proses menghasilkan respons.

OpenAI secara unik menyoroti pengelolaan KV cache, ialah info nan menyimpan info dari token-token sebelumnya selama model menghasilkan keluaran. Jalapeno dirancang agar info tersebut dapat ditempatkan dan dipertahankan secara lokal sehingga sistem dapat memilih kombinasi komputasi, memori, dan jaringan nan sesuai untuk setiap tahap inferensi.

Pendekatan tersebut ditujukan untuk mengurangi bottleneck pada tahap prefill maupun komunikasi data. Dampaknya, menurut OpenAI, dapat terlihat pada peningkatan throughput sekaligus penurunan waktu tunggu ketika model memberikan respons.

Dibuat Bersama Broadcom

Jalapeno bukan chip nan dikembangkan OpenAI seorang diri. Proyek tersebut merupakan hasil kerja sama dengan Broadcom, perusahaan semikonduktor nan membantu penerapan silikon, jaringan, serta pengembangan sistem.

OpenAI pertama kali memperkenalkan Jalapeno pada Juni 2026. Saat itu perusahaan mengatakan chip tersebut dikembangkan dari kreasi awal hingga tape-out dalam waktu sekitar sembilan bulan. OpenAI juga menggunakan model AI miliknya untuk membantu sejumlah proses kreasi dan optimasi chip.

Selain Broadcom, OpenAI bekerja sama dengan Celestica untuk sejumlah kebutuhan seperti integrasi board, rack, dan sistem produksi nan dapat diskalakan. Rancangannya juga menggunakan teknologi jaringan Broadcom, termasuk silikon jaringan Tomahawk.

Satu Chip untuk Infrastruktur Inferensi OpenAI

Jalapeno merupakan bagian dari strategi OpenAI untuk membangun prasarana AI nan lebih terintegrasi. Jalapeno difokuskan pada inferensi, bukan training model AI dari awal. Dengan demikian, OpenAI tetap memerlukan perangkat keras lain untuk kebutuhan komputasi nan berbeda, termasuk proses training model berukuran besar.

Fokus pada konklusi mempunyai argumen ekonomi. Setiap kali pengguna mengirim permintaan ke jasa AI, pusat info kudu menjalankan model untuk menghasilkan respons. Ketika jumlah pengguna dan kompleksitas model meningkat, kebutuhan komputasi untuk konklusi ikut melonjak.

Karena itu, peningkatan efisiensi pada tahap ini dapat berakibat langsung terhadap biaya operasional pusat data.

Konsumsi Daya Menjadi Faktor Penting

Selain performa, konsumsi daya menjadi salah satu persoalan utama dalam pembangunan prasarana AI. Sistem AI generatif memerlukan pusat info dengan kapabilitas komputasi besar, dan setiap peningkatan jumlah permintaan berfaedah semakin besar pula kebutuhan listrik serta sistem pendinginan.

Dalam presentasi Hot Chips, Jalapeno disebut mempunyai rating daya sekitar 700 watt. Namun, pada beban kerja nan diuji, konsumsi daya berkepanjangan dilaporkan berada di kisaran 550 watt alias lebih rendah. Satu rack dirancang menampung 128 chip, sementara satu pod dapat berisi hingga 2.048 ASIC.

OpenAI menyebut konfigurasi 128 chip dapat mencapai sekitar 1,7 exaflops untuk komputasi 4-bit dan menggunakan sekitar 27,5 TB HBM4. Spesifikasi tersebut menunjukkan bahwa Jalapeno dirancang bukan sebagai chip desktop alias perangkat konsumen, melainkan sebagai bagian dari prasarana pusat info berskala besar.

Mulai Dipakai dalam Skala Terbatas Akhir 2026

Meski sudah melewati tahap pengetesan awal, Jalapeno belum bakal langsung menggantikan seluruh prasarana komputasi OpenAI.

Richard Ho memperkirakan chip tersebut mulai diterapkan dalam volume mini pada akhir 2026. Penggunaan dalam skala nan lebih besar ditargetkan berjalan pada 2027.

OpenAI sebelumnya menyatakan Jalapeno merupakan generasi pertama dari platform chip nan bakal dikembangkan secara berkelanjutan. Perusahaan menargetkan penerapannya pada pusat info berskala gigawatt berbareng sejumlah mitra.