Nvidia telah memasukkan akselerator inferensi interaktif Groq 3 LPX ke dalam produksi penuh, perusahaan mengumumkan pada 24 Agustus 2026, selama konferensi Hot Chips. Chip tersebut, yang merupakan perpanjangan dari platform Vera Rubin Nvidia, menghasilkan rekor keluaran 3.400 token per detik dalam benchmark Analisis Buatan saat menjalankan model sumber terbuka Gemma 4 31B dengan jendela konteks 100.000 token aktif — kinerja tercepat yang pernah tercatat untuk model tersebut.
Peluncuran ini menandai tonggak sejarah produk yang paling signifikan dari akuisisi spesialis inferensi Groq senilai $20 miliar oleh Nvidia, sebuah kesepakatan yang kini dimanfaatkan oleh perusahaan tersebut seiring dengan melonjaknya permintaan untuk inferensi berlatensi rendah. CNBC melaporkan bahwa Nvidia mengatakan rak Groq pertama akan online sebelum akhir tahun. Untuk konteks lebih lanjut mengenai kisah ini, lihat liputan industri AI kami yang sedang berlangsung.
Mengapa Kecepatan Pembuatan Token Penting
Sistem AI agen – program yang melakukan penalaran, memanggil alat, menulis dan menguji kode, dan mengulangi ratusan atau ribuan langkah inferensi – menghasilkan token keluaran dalam jumlah besar. Kecepatan produksi token tersebut, yang dikenal sebagai interaktivitas atau throughput dekode, menentukan seberapa cepat agen dapat menyelesaikan setiap langkah pekerjaannya.
Nvidia mengatakan Groq 3 LPX memberikan respons 4x lebih cepat untuk agen dan beban kerja yang sensitif terhadap latensi dibandingkan platform alternatif terdekat. Dalam penerapan heterogen, sistem Vera Rubin NVL72 menangani penyerapan konteks dan komputasi pra-pengisian, sementara unit Groq 3 LPX memproses fase pembuatan token yang sensitif terhadap latensi.
“Inferensi adalah mesin pertumbuhan AI,” Jensen Huang, pendiri dan CEO Nvidia, mengatakan dalam pengumumannya. “Vera Rubin memperluas visi tersebut dengan konfigurasi pabrik AI yang dioptimalkan beban kerja yang dirancang untuk era AI agen, memajukan batas kinerja dengan LPX untuk pembuatan token yang sangat cepat.”
Di dalam Perangkat Keras
Menurut analisis teknis StorageReview, setiap baki komputasi berpendingin cairan 2U membawa enam belas LPU Groq 3 bersama dengan CPU host, logika ekspansi fabric, dan DRAM, ditambah DPU BlueField-4 atau kartu jaringan ConnectX-9. Baki ini dilengkapi tautan optik 32 chip-ke-chip LPU dan Ethernet 400 Gb/s di panel depan.
Pada skala rak, penerapan Groq 3 LPX menggabungkan hingga 256 akselerator LP30 yang dihubungkan melalui interkoneksi chip-ke-chip langsung berkecepatan tinggi. Rak tersebut dimasukkan ke dalam infrastruktur pabrik Vera Rubin AI Nvidia yang lebih luas, yang digambarkan oleh perusahaan sebagai platform paling luas yang pernah ada: tujuh chip terpisah di lima konfigurasi rak yang dibuat khusus, termasuk DPU BlueField-4, rak CPU Vera, penyimpanan Vera BlueField-4 STX, dan jaringan Ethernet Spectrum-6 SPX.
Nvidia juga memperbarui klaim kinerja tingkat platformnya, dengan menyatakan bahwa Vera Rubin NVL72 memberikan throughput token per megawatt hingga 30 kali lipat dibandingkan dengan GB300 NVL72 pada beban kerja pengkodean agen 140,000 token, dengan keunggulan yang semakin luas seiring dengan meningkatnya target interaktivitas per pengguna.
Tolok Ukur Dengan Tanda Bintang
Angka utama 3,400 token per detik hadir dengan peringatan yang perlu diperhatikan. Seperti yang ditunjukkan oleh StorageReview, hasil Nvidia diukur pada titik akhir pra-rilis pribadi pada tanggal 21 Agustus, sedangkan angka pesaing yang dibandingkan berasal dari titik akhir produksi langsung tanpa server. Performa dunia nyata pada layanan yang tersedia secara umum mungkin berbeda dari konfigurasi benchmark yang memecahkan rekor.
Namun, organisasi pembanding independen, Artificial Analysis, mencatat hasil tersebut sebagai pengukuran tercepat yang pernah dilakukan untuk Gemma 4 31B dalam jangka waktu konteks tersebut, dan klaim yang mendasarinya — bahwa silikon yang dibuat khusus dapat secara signifikan mempercepat fase dekode inferensi — selaras dengan cara industri merancang ulang beban kerja agen.
Adopsi Cloud Dimulai
Nebius, AI cloud yang berkantor pusat di Amsterdam, adalah penyedia pertama yang berkomitmen untuk menerapkan Groq 3 LPX, berencana untuk membawanya ke Nebius Token Factory, platform inferensi produksinya.
“Generasi adalah fase inferensi yang menentukan seberapa responsif sebenarnya sistem AI, dan itulah yang mempercepat akselerasi NVIDIA Groq 3 LPX,” kata Danila Shtan, chief technology officer Nebius. “Sebagai cloud AI pertama yang membawanya ke produksi melalui Nebius Token Factory, kami memastikan setiap langkah loop agen terasa instan — melalui API yang sama yang telah digunakan oleh pengembang, tanpa migrasi ke tumpukan baru.”
Penyedia inferensi Groq, yang kini menjadi bagian dari keluarga Nvidia, berencana menjadi salah satu pengguna pertama platform tersebut.
Gambaran Yang Lebih Besar
Pengumuman produksi penuh ini menandakan betapa tajamnya pasar infrastruktur AI telah beralih dari pelatihan ke inferensi. Ketika perusahaan mengalihkan anggaran dari pra-pelatihan model mentah ke penalaran real-time dan orkestrasi agen otonom, keekonomian sebuah token – seberapa cepat token dapat dihasilkan dan berapa biaya energinya – telah menjadi medan pertempuran kompetitif yang utama.
Bagi Nvidia, Groq 3 LPX memperluas pertahanan waralaba pabrik AI-nya pada saat silikon khusus dari penyedia cloud dan startup sama-sama mengejar beban kerja inferensi agen yang sama. Rak yang mulai online tahun ini, seperti yang dilaporkan CNBC, akan menyerahkan sistem produksi pertama ke tangan pelanggan beberapa bulan setelah akuisisi ditutup – sebuah integrasi cepat berdasarkan standar industri semikonduktor.
Perusahaan tidak mengungkapkan harga untuk sistem baru tersebut. Groq 3 LPX akan ditawarkan kapan dan jika tersedia melalui mitra cloud AI, dan Nebius diharapkan menjadi yang pertama menawarkan akses kepada pengembang melalui titik akhir API yang ada.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
