MLCommons a lansat rezultatele benchmark-ului MLPerf Inference v6.1 pe 16 septembrie 2026, iar titlul a aparținut platformei de generație următoare a NVIDIA. În prima sa prezentare de previzualizare, sistemul Vera Rubin NVL72 a livrat de până la 3,7 ori mai mult decât nava emblematică actuală a NVIDIA GB300 NVL72, conform anunțului NVIDIA, un semnal timpuriu a ceea ce va însemna succesorul Blackwell Ultra pentru economia de inferență AI.

Vera Rubin este următoarea platformă de centre de date NVIDIA, numită după astrofizicianul care a furnizat dovezi cheie pentru materia întunecată. Rezultatele previzualizării MLPerf sunt primele date publice de performanță organizate independent pentru sistem. For more context on this story, see our ongoing AI news.

Cifrele din spatele debutului

NVIDIA a prezentat rezultatele previzualizării Vera Rubin NVL72 pentru două dintre cele mai solicitante sarcini de lucru din suita v6.1: modelul de raționament DeepSeek-R1 și modelul de limbaj de viziune Qwen3-VL.

Pe Qwen3-VL, Vera Rubin NVL72 a furnizat un randament de până la 3,7 ori mai mare decât GB300 NVL72 în scenarii offline, server și interactive, rulând vLLM cu cadrul de inferență open-source Dynamo de la NVIDIA. Pe DeepSeek-R1, folosind biblioteca TensorRT-LLM a NVIDIA, debitul a fost de până la 2,5 ori mai mare decât versiunea emblematică anterioară.

Ambele cifre provin din trimiterile NVIDIA către divizia închisă a MLCommons, ceea ce înseamnă că au fost produse în conformitate cu regulile auditate ale MLPerf, deși rezultatele previzualizării sunt în mod explicit măsurători timpurii ale unei platforme încă în curs de optimizare.

Cum sunt construite câștigurile

NVIDIA atribuie saltul co-designului full-stack în hardware și software, mai degrabă decât oricărei singure componente.

Pe partea de siliciu, Vera Rubin aduce nuclee tensor îmbunătățite și un Transformer Engine actualizat care accelerează ambele etape de inferență - faza de pre-completare grea de calcul și faza de decodare legată de memorie. Platforma se bazează pe precizia NVFP4, care micșorează amprenta de memorie a greutăților modelului, a atenției și a memoriei cache-ului KV, crescând debitul cu ceea ce NVIDIA descrie ca fiind o pierdere minimă a calității ieșirii.

În ceea ce privește software-ul, trimiterile au folosit difuzare dezagregată, care separă precompletarea și decodificarea pe diferite sarcini, împreună cu paralelismul experților la scară largă pentru a menține straturile de amestec de experți în modele precum DeepSeek-R1 și Qwen3-VL complet alimentate cu muncă.

Interconectarea este al treilea pilon. Designul rack-ului NVL72 leagă 72 de GPU-uri într-un singur domeniu de extindere folosind a șasea generație NVLink și NVLink Switch, despre care NVIDIA spune că oferă rate de pachete de 10 ori mai mari și o latență de 3 ori mai mică decât Ethernet-ul standard - fundația care face ca servirea dezagregată la scară de rack să fie practică.

GB300 arată o scalare aproape perfectă

Actualul flagship a avut propriile știri în runda v6.1. Prezentarea DeepSeek-R1 de la NVIDIA a crescut de la un singur rack GB300 NVL72 - 72 de GPU - la patru rack-uri, 288 de GPU-uri, atingând o eficiență de scalare de 99% în scenariul offline, cu debitul crescând aproape proporțional cu hardware-ul adăugat.

Eficiența de scalare este o măsură de măsură pe care operatorii centrelor de date urmăresc îndeaproape, deoarece determină dacă cumpărarea mai multor hardware cumpără de fapt proporțional mai multă capacitate. Scalare aproape liniară între rafturi sugerează că blocajul la această scară rămâne performanța pe GPU, mai degrabă decât comunicarea între rafturi.

Software-ul continuă să crească

Un model recurent în rundele MLPerf s-a menținut din nou: numai îmbunătățirile software au furnizat performanțe de până la 1,6 ori mai mari în trimiterile NVIDIA v6.1, comparativ cu v6.0, iar compania spune că optimizările au continuat să ajungă după termenul limită de depunere a v6.1, oferind câștiguri suplimentare.

Pentru cumpărători, implicația este că un anumit rack devine mai rapid pe durata de viață fără o reîmprospătare hardware - o NVIDIA dinamică a argumentat că baza sa instalată se apreciază mai degrabă decât se depreciază pe măsură ce stiva de software se maturizează.

Sarcinile de lucru agentice remodelează punctele de referință

Runda v6.1 a reflectat, de asemenea, o schimbare în ceea ce este folosită inferența. NVIDIA a indicat testarea de previzualizare pe benchmark-ul AgentX al SemiAnalysis, conceput în jurul agenților AI care motivează, planifică și acționează în mai mulți pași, unde spune că Vera Rubin NVL72 a furnizat performanțe de 30 de ori mai mari decât GB300 NVL72.

MLCommons pregătește, de asemenea, un benchmark dedicat pentru această schimbare: viitorul benchmark MLPerf Endpoints își propune să standardizeze măsurarea sarcinilor de lucru de inferență agentică pe care testele tradiționale de debit le captează prost. Pe măsură ce inferența trece de la chatul cu o singură solicitare la sesiuni lungi de agenți cu mai mulți pași, latența și consistența interactivă contează la fel de mult ca tokenurile brute pe secundă - iar benchmark-urile sunt reconstruite în consecință.

Nebius și ecosistemul sosesc devreme

Furnizorul de cloud Nebius a prezentat, de asemenea, rezultatele previzualizării Vera Rubin NVL72, pe care NVIDIA le-a evidențiat ca dovadă a performanței puternice a ecosistemului timpuriu. Trimiterile timpurii de la terți sunt, de obicei, un semn că sistemele de generație următoare trec de la eșantionarea de laborator la o disponibilitate mai largă, deși nici postarea NVIDIA, nici versiunea MLCommons nu specifică calendarul de disponibilitate generală.

De ce contează pentru AI Economics

NVIDIA încadrează rezultatele în termeni de venituri: fiecare rack Vera Rubin NVL72 generează semnificativ mai multe jetoane, servește mai mulți utilizatori și scade costul pe token în comparație cu un rack GB300 NVL72. Într-o industrie în care cererea de inferență este determinată de modele de raționament și de sarcini de lucru ale agenților care consumă ordine de mărime mai mult calcul per interogare decât un simplu chat, debitul pe rack este numărul care determină câți utilizatori poate servi un buget fix al centrului de date.

Se aplică avertismentele obișnuite: acestea sunt trimiteri ale furnizorilor într-o rundă de previzualizare, pe două modele alese de NVIDIA, cu optimizări încă în curs. Dar direcția este lipsită de ambiguitate. Prima privire a MLPerf asupra Vera Rubin sugerează că creșterea performanței care a definit infrastructura AI din 2023 nu are niciun platou la vedere - și că următorul ciclu de reîmprospătare a rack-ului va reseta din nou economia de servire a AI la scară.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →