MLCommons ha rilasciato i risultati del benchmark MLPerf Inference v6.1 il 16 settembre 2026 e il titolo apparteneva alla piattaforma di prossima generazione di NVIDIA. Nella sua prima presentazione in anteprima, il sistema Vera Rubin NVL72 ha fornito fino a 3,7 volte il throughput dell'attuale ammiraglia GB300 NVL72 di NVIDIA, secondo l'annuncio di NVIDIA, un primo segnale di ciò che il successore di Blackwell Ultra significherà per l'economia dell'inferenza dell'intelligenza artificiale.
Vera Rubin è la prossima piattaforma data center di NVIDIA, che prende il nome dall'astrofisico che ha fornito prove chiave dell'esistenza della materia oscura. I risultati dell'anteprima di MLPerf sono i primi dati sulle prestazioni pubblici e organizzati in modo indipendente per il sistema. Per maggiori informazioni su questa storia, consulta la nostra tendenze IA.
I numeri dietro il debutto
NVIDIA ha presentato in anteprima i risultati di Vera Rubin NVL72 su due dei carichi di lavoro più impegnativi della suite v6.1: il modello di ragionamento DeepSeek-R1 e il modello di linguaggio di visione Qwen3-VL.
Su Qwen3-VL, Vera Rubin NVL72 ha fornito un throughput fino a 3,7 volte superiore rispetto a GB300 NVL72 in scenari offline, server e interattivi, eseguendo vLLM con il framework di inferenza open source Dynamo di NVIDIA. Su DeepSeek-R1, utilizzando la libreria TensorRT-LLM di NVIDIA, il throughput è stato fino a 2,5 volte superiore rispetto al modello di punta precedente.
Entrambi i dati provengono dalle proposte di NVIDIA alla Closed Division di MLCommons, il che significa che sono stati prodotti secondo le regole controllate di MLPerf, sebbene i risultati di anteprima siano esplicitamente le prime misurazioni di una piattaforma ancora in fase di ottimizzazione.
Come vengono costruiti i guadagni
NVIDIA attribuisce il passaggio alla co-progettazione full-stack tra hardware e software piuttosto che su ogni singolo componente.
Dal punto di vista del silicio, Vera Rubin offre Tensor Core migliorati e un Transformer Engine aggiornato che accelera entrambe le fasi di inferenza: la fase di preriempimento ad alto carico di calcolo e la fase di decodifica legata alla memoria. La piattaforma si basa sulla precisione NVFP4, che riduce l'ingombro di memoria dei pesi del modello, dell'attenzione e della cache KV, aumentando il throughput con quella che NVIDIA descrive come una perdita minima di qualità di output.
Dal punto di vista software, i contributi hanno utilizzato servizi disaggregati, che separano la precompilazione e la decodifica in diverse attività, insieme al parallelismo degli esperti su larga scala per mantenere i livelli di combinazione di esperti in modelli come DeepSeek-R1 e Qwen3-VL pienamente alimentati dal lavoro.
L'interconnessione è il terzo pilastro. Il design del rack NVL72 collega 72 GPU in un unico dominio scalabile utilizzando NVLink e NVLink Switch di sesta generazione, che secondo NVIDIA offrono velocità di pacchetto 10 volte più elevate e una latenza 3 volte inferiore rispetto a Ethernet standard: la base che rende pratico il servizio disaggregato su scala rack.
GB300 mostra uno scaling quasi perfetto
L'attuale ammiraglia ha avuto le sue novità nel round v6.1. L'invio DeepSeek-R1 di NVIDIA è passato da un singolo rack GB300 NVL72 (72 GPU) a quattro rack, 288 GPU, raggiungendo un'efficienza di scalabilità del 99% nello scenario offline, con un throughput che cresce quasi in proporzione all'hardware aggiunto.
Il ridimensionamento dell'efficienza è un parametro che gli operatori dei data center osservano attentamente perché determina se l'acquisto di più hardware effettivamente comporta l'acquisto proporzionalmente di una maggiore capacità. Il dimensionamento quasi lineare tra i rack suggerisce che il collo di bottiglia su questa scala rimane rappresentato dalle prestazioni per GPU piuttosto che dalla comunicazione tra rack.
Il software continua a crescere
Uno schema ricorrente nei round MLPerf si è mantenuto: i soli miglioramenti del software hanno fornito prestazioni fino a 1,6 volte superiori negli invii v6.1 di NVIDIA rispetto alla v6.0, e l'azienda afferma che le ottimizzazioni hanno continuato ad arrivare dopo la scadenza per l'invio della v6.1, offrendo ulteriori guadagni.
Per gli acquirenti, l'implicazione è che un dato rack diventa più veloce nel corso della sua vita senza un aggiornamento dell'hardware: una dinamica utilizzata da NVIDIA per sostenere che la sua base installata si apprezza anziché deprezzarsi man mano che lo stack software matura.
I carichi di lavoro agenti rimodellano i benchmark
Il round v6.1 riflette anche un cambiamento nello scopo per cui viene utilizzata l'inferenza. NVIDIA ha indicato un'anteprima dei test sul benchmark AgentX di SemiAnalysis, progettato attorno ad agenti AI che ragionano, pianificano e agiscono attraverso più passaggi, dove afferma che Vera Rubin NVL72 ha fornito prestazioni 30 volte superiori a GB300 NVL72.
MLCommons sta anche preparando un benchmark dedicato per questo cambiamento: il prossimo benchmark MLPerf Endpoints mira a standardizzare la misurazione dei carichi di lavoro di inferenza degli agenti che i test di throughput tradizionali catturano in modo inadeguato. Man mano che l'inferenza si sposta dalla chat a prompt singolo verso lunghe sessioni agente a più fasi, la latenza e la coerenza interattiva contano tanto quanto i token grezzi al secondo e i benchmark vengono ricostruiti di conseguenza.
Nebius e l'ecosistema arrivano presto
Il fornitore di servizi cloud Nebius ha anche presentato i risultati di anteprima di Vera Rubin NVL72, che NVIDIA ha evidenziato come prova delle forti prestazioni iniziali dell'ecosistema. I primi invii di terze parti sono in genere un segno che i sistemi di prossima generazione si stanno spostando dal campionamento di laboratorio verso una disponibilità più ampia, sebbene né il post di NVIDIA né il rilascio di MLCommons specifichino i tempi di disponibilità generale.
Perché è importante per l'economia dell'intelligenza artificiale
NVIDIA inquadra i risultati in termini di ricavi: ogni rack Vera Rubin NVL72 genera un numero significativamente maggiore di token, serve più utenti e riduce il costo per token rispetto a un rack NVL72 GB300. In an industry where inference demand is being driven by reasoning models and agent workloads that consume orders of magnitude more compute per query than simple chat, per-rack throughput is the number that determines how many users a fixed data-center budget can serve.
Si applicano le solite avvertenze: si tratta di proposte di fornitori in un round di anteprima, su due modelli scelti da NVIDIA, con ottimizzazioni ancora in arrivo. Ma la direzione è inequivocabile. Il primo sguardo di MLPerf a Vera Rubin suggerisce che l’aumento delle prestazioni che ha definito l’infrastruttura AI dal 2023 non ha un plateau in vista – e che il prossimo ciclo di aggiornamento dei rack ripristinerà nuovamente gli aspetti economici legati al servizio dell’IA su larga scala.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
