MLCommons merilis hasil benchmark MLPerf Inference v6.1 pada 16 September 2026, dan judulnya adalah milik platform generasi berikutnya NVIDIA. Dalam pengajuan pratinjau pertamanya, sistem Vera Rubin NVL72 menghasilkan throughput hingga 3,7 kali lipat dari produk andalan NVIDIA GB300 NVL72 saat ini, menurut pengumuman NVIDIA, sebuah sinyal awal tentang arti penerus Blackwell Ultra bagi ekonomi inferensi AI.
Vera Rubin adalah platform pusat data NVIDIA berikutnya, yang diambil dari nama ahli astrofisika yang memberikan bukti penting tentang materi gelap. Hasil pratinjau MLPerf adalah data kinerja publik pertama yang terorganisir secara independen untuk sistem. For more context on this story, see our ongoing latest AI developments.
Angka-angka di Balik Debut
NVIDIA mengirimkan hasil pratinjau Vera Rubin NVL72 pada dua beban kerja paling berat di suite v6.1: model penalaran DeepSeek-R1 dan model bahasa visi Qwen3-VL.
Pada Qwen3-VL, Vera Rubin NVL72 menghadirkan throughput hingga 3,7 kali lebih tinggi dibandingkan GB300 NVL72 di seluruh skenario offline, server, dan interaktif, menjalankan vLLM dengan kerangka inferensi sumber terbuka Dynamo NVIDIA. Pada DeepSeek-R1, menggunakan pustaka TensorRT-LLM NVIDIA, throughputnya mencapai 2,5 kali lebih tinggi dibandingkan produk andalan sebelumnya.
Kedua angka tersebut berasal dari pengajuan NVIDIA sendiri ke Divisi Tertutup MLCommons, yang berarti angka tersebut dihasilkan berdasarkan aturan MLPerf yang telah diaudit, meskipun hasil pratinjau secara eksplisit merupakan pengukuran awal dari sebuah platform yang masih dioptimalkan.
Bagaimana Keuntungan Dibangun
NVIDIA mengatribusikan lompatan ini ke desain bersama full-stack di seluruh perangkat keras dan perangkat lunak, bukan komponen tunggal apa pun.
Di sisi silikon, Vera Rubin menghadirkan Tensor Cores yang ditingkatkan dan Transformer Engine yang diperbarui yang mempercepat kedua tahap inferensi — fase pra-pengisian beban komputasi dan fase dekode terikat memori. Platform ini mengandalkan presisi NVFP4, yang memperkecil jejak memori dari bobot model, perhatian, dan cache KV, sehingga meningkatkan throughput dengan apa yang digambarkan NVIDIA sebagai penurunan kualitas output yang minimal.
Di sisi perangkat lunak, pengiriman menggunakan penyajian terpilah, yang memisahkan pra-pengisian dan dekode ke dalam tugas-tugas yang berbeda, bersama dengan paralelisme pakar skala besar untuk menjaga lapisan campuran pakar dalam model seperti DeepSeek-R1 dan Qwen3-VL terisi penuh dengan pekerjaan.
Interkoneksi merupakan pilar ketiga. Desain rak NVL72 menyatukan 72 GPU ke dalam satu domain peningkatan skala menggunakan NVLink dan NVLink Switch generasi keenam, yang menurut NVIDIA memberikan kecepatan paket 10 kali lebih tinggi dan latensi 3 kali lebih rendah dibandingkan Ethernet siap pakai — landasan yang menjadikan layanan terpilah skala rak menjadi praktis.
GB300 Menampilkan Penskalaan yang Hampir Sempurna
Unggulan saat ini memiliki berita tersendiri di babak v6.1. Pengajuan DeepSeek-R1 dari NVIDIA ditingkatkan dari satu rak GB300 NVL72 — 72 GPU — menjadi empat rak, 288 GPU, mencapai efisiensi penskalaan 99 persen dalam skenario offline, dengan peningkatan throughput hampir sebanding dengan penambahan perangkat keras.
Efisiensi penskalaan adalah metrik yang sangat diperhatikan oleh operator pusat data karena menentukan apakah membeli lebih banyak perangkat keras akan menghasilkan kapasitas yang lebih besar secara proporsional. Penskalaan yang hampir linier di seluruh rak menunjukkan bahwa hambatan pada skala ini adalah kinerja per GPU, bukan komunikasi antar rak.
Perangkat Lunak Terus Berkembang
Pola yang berulang dalam putaran MLPerf terjadi lagi: peningkatan perangkat lunak saja memberikan kinerja hingga 1,6 kali lebih tinggi pada pengiriman NVIDIA v6.1 dibandingkan dengan v6.0, dan perusahaan mengatakan pengoptimalan terus dilakukan setelah batas waktu pengiriman v6.1, sehingga memberikan keuntungan lebih lanjut.
Bagi pembeli, implikasinya adalah bahwa rak tertentu menjadi lebih cepat sepanjang masa pakainya tanpa penyegaran perangkat keras — NVIDIA yang dinamis sering berargumentasi bahwa basis yang terpasang akan mengapresiasi alih-alih terdepresiasi seiring dengan semakin matangnya tumpukan perangkat lunak.
Beban Kerja Agen Mengubah Tolok Ukur
Putaran v6.1 juga mencerminkan perubahan dalam penggunaan inferensi. NVIDIA menunjuk pada pengujian pratinjau pada benchmark AgentX SemiAnalysis, yang dirancang berdasarkan agen AI yang berpikir, merencanakan, dan bertindak dalam beberapa langkah, yang dikatakan Vera Rubin NVL72 memberikan kinerja 30 kali lipat dari GB300 NVL72.
MLCommons juga menyiapkan tolok ukur khusus untuk perubahan ini: tolok ukur MLPerf Endpoints yang akan datang bertujuan untuk menstandardisasi pengukuran beban kerja inferensi agen yang buruk dalam pengujian throughput tradisional. Saat inferensi beralih dari obrolan cepat ke sesi agen multi-langkah yang panjang, latensi dan konsistensi interaktif sama pentingnya dengan token mentah per detik — dan tolok ukur pun dibangun ulang sesuai dengan hal tersebut.
Nebius dan Ekosistem Tiba Lebih Awal
Penyedia cloud Nebius juga menyerahkan hasil pratinjau Vera Rubin NVL72, yang disorot oleh NVIDIA sebagai bukti kinerja ekosistem awal yang kuat. Pengiriman awal pihak ketiga biasanya merupakan tanda bahwa sistem generasi berikutnya beralih dari pengambilan sampel laboratorium menuju ketersediaan yang lebih luas, meskipun baik postingan NVIDIA maupun rilis MLCommons tidak menentukan waktu ketersediaan umum.
Mengapa Hal Ini Penting bagi Ekonomi AI
NVIDIA membingkai hasilnya dalam hal pendapatan: setiap rak Vera Rubin NVL72 menghasilkan lebih banyak token secara signifikan, melayani lebih banyak pengguna, dan menurunkan biaya per token dibandingkan dengan rak GB300 NVL72. Dalam industri di mana permintaan inferensi didorong oleh model penalaran dan beban kerja agen yang mengonsumsi lebih banyak komputasi per kueri dibandingkan obrolan sederhana, throughput per rak adalah angka yang menentukan berapa banyak pengguna yang dapat dilayani oleh anggaran pusat data tetap.
Peringatan yang biasa berlaku: ini adalah pengajuan vendor dalam putaran pratinjau, pada dua model yang dipilih oleh NVIDIA, dengan optimalisasi masih dilakukan. Tapi arahnya tidak ambigu. Pandangan pertama MLPerf terhadap Vera Rubin menunjukkan bahwa peningkatan kinerja yang telah menentukan infrastruktur AI sejak tahun 2023 masih belum terlihat sama sekali — dan bahwa siklus penyegaran berikutnya akan kembali mengatur ulang keekonomian dalam melayani AI dalam skala besar.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
