MLCommons veröffentlichte am 16. September 2026 die Benchmark-Ergebnisse von MLPerf Inference v6.1, und die Schlagzeile lautete: NVIDIAs Plattform der nächsten Generation. In seiner allerersten Preview-Einreichung lieferte das Vera Rubin NVL72-System laut NVIDIAs Ankündigung bis zu 3,7-mal mehr Durchsatz als das aktuelle NVL72-Flaggschiff GB300 von NVIDIA, ein frühes Signal dafür, was der Nachfolger von Blackwell Ultra für die KI-Inferenzökonomie bedeuten wird.

Vera Rubin ist NVIDIAs nächste Rechenzentrumsplattform, benannt nach dem Astrophysiker, der wichtige Beweise für Dunkle Materie lieferte. Die MLPerf-Vorschauergebnisse sind die ersten öffentlichen, unabhängig organisierten Leistungsdaten für das System. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Die Zahlen hinter dem Debüt

NVIDIA übermittelte Vera Rubin NVL72-Vorschauergebnisse für zwei der anspruchsvollsten Workloads in der v6.1-Suite: das DeepSeek-R1-Argumentationsmodell und das Qwen3-VL-Vision-Language-Modell.

Auf Qwen3-VL lieferte Vera Rubin NVL72 einen bis zu 3,7-mal höheren Durchsatz als GB300 NVL72 in Offline-, Server- und interaktiven Szenarien und führte vLLM mit dem Open-Source-Inferenz-Framework Dynamo von NVIDIA aus. Auf DeepSeek-R1 war der Durchsatz unter Verwendung der TensorRT-LLM-Bibliothek von NVIDIA bis zu 2,5-mal höher als beim vorherigen Flaggschiff.

Beide Zahlen stammen aus NVIDIAs eigenen Eingaben an die Closed Division von MLCommons, was bedeutet, dass sie nach den geprüften Regeln von MLPerf erstellt wurden, obwohl es sich bei den Vorschauergebnissen ausdrücklich um frühe Messungen einer Plattform handelt, die noch optimiert wird.

Wie die Gewinne entstehen

NVIDIA führt den Sprung zum Full-Stack-Co-Design für Hardware und Software und nicht für einzelne Komponenten zurück.

Auf der Siliziumseite bringt Vera Rubin verbesserte Tensorkerne und eine aktualisierte Transformer Engine mit, die beide Phasen der Inferenz beschleunigen – die rechenintensive Vorfüllphase und die speichergebundene Dekodierungsphase. Die Plattform basiert auf NVFP4-Präzision, die den Speicherbedarf von Modellgewichten, Aufmerksamkeit und dem KV-Cache verringert und den Durchsatz bei einem von NVIDIA als minimalem Verlust der Ausgabequalität bezeichneten Wert erhöht.

Auf der Softwareseite verwendeten die Einreichungen eine disaggregierte Bereitstellung, die das Vorfüllen und Dekodieren auf verschiedene Aufgaben aufteilt, sowie eine groß angelegte Expertenparallelität, um die Expertenmischungsschichten in Modellen wie DeepSeek-R1 und Qwen3-VL voll mit Arbeit zu versorgen.

Der Interconnect ist die dritte Säule. Das NVL72-Rack-Design verbindet 72 GPUs in einer einzigen Scale-up-Domäne mithilfe von NVLink und NVLink Switch der sechsten Generation, was laut NVIDIA zehnmal höhere Paketraten und eine dreimal geringere Latenz als Standard-Ethernet liefert – die Grundlage, die disaggregierte Bereitstellung im Rack-Maßstab praktisch macht.

GB300 zeigt nahezu perfekte Skalierung

Das aktuelle Flaggschiff hatte in der v6.1-Runde seine eigenen Neuigkeiten. NVIDIAs DeepSeek-R1-Einreichung wurde von einem einzelnen GB300 NVL72-Rack (72 GPUs) auf vier Racks (288 GPUs) skaliert und erreichte im Offline-Szenario eine Skalierungseffizienz von 99 Prozent, wobei der Durchsatz nahezu proportional zur hinzugefügten Hardware stieg.

Die Skalierungseffizienz ist eine Kennzahl, die Rechenzentrumsbetreiber genau im Auge behalten, da sie darüber entscheidet, ob durch den Kauf von mehr Hardware tatsächlich proportional mehr Kapazität erworben wird. Die nahezu lineare Skalierung über Racks hinweg deutet darauf hin, dass der Engpass bei dieser Skalierung in der Leistung pro GPU und nicht in der Kommunikation zwischen Racks liegt.

Software verschlimmert sich weiter

Ein wiederkehrendes Muster in MLPerf-Runden hielt erneut an: Allein Softwareverbesserungen führten bei NVIDIAs v6.1-Einreichungen zu einer bis zu 1,6-mal höheren Leistung im Vergleich zu v6.0, und das Unternehmen gibt an, dass Optimierungen auch nach Ablauf der v6.1-Einreichungsfrist eintrafen und weitere Zuwächse lieferten.

Für Käufer bedeutet dies, dass ein bestimmtes Rack im Laufe seiner Lebensdauer ohne eine Hardware-Aktualisierung schneller wird – ein dynamischer NVIDIA hat immer argumentiert, dass seine installierte Basis mit zunehmender Reife des Software-Stacks eher zunimmt als abnimmt.

Agentische Workloads verändern die Benchmarks

Die v6.1-Runde spiegelte auch eine Verschiebung in der Art und Weise wider, wofür Inferenzen verwendet werden. NVIDIA verwies auf Vorschautests für den AgentX-Benchmark von SemiAnalysis, der auf KI-Agenten ausgerichtet ist, die in mehreren Schritten schlussfolgern, planen und agieren, wobei Vera Rubin NVL72 laut Aussage die 30-fache Leistung von GB300 NVL72 lieferte.

MLCommons bereitet für diesen Wandel auch einen speziellen Benchmark vor: Der kommende MLPerf Endpoints-Benchmark zielt darauf ab, die Messung von Agenten-Inferenz-Workloads zu standardisieren, die herkömmliche Durchsatztests nur schlecht erfassen. Während sich die Inferenz vom Chat mit einer einzigen Eingabeaufforderung hin zu langen, mehrstufigen Agentensitzungen verlagert, sind Latenz und interaktive Konsistenz genauso wichtig wie Rohtokens pro Sekunde – und Benchmarks werden entsprechend neu erstellt.

Nebius and the Ecosystem Arrive Early

Der Cloud-Anbieter Nebius übermittelte außerdem Vorschauergebnisse für Vera Rubin NVL72, die NVIDIA als Beweis für eine starke frühe Ökosystemleistung hervorhob. Frühzeitige Einreichungen von Drittanbietern sind in der Regel ein Zeichen dafür, dass Systeme der nächsten Generation von der Laborbemusterung zu einer breiteren Verfügbarkeit übergehen, obwohl weder der Beitrag von NVIDIA noch die Veröffentlichung von MLCommons den Zeitpunkt der allgemeinen Verfügbarkeit angeben.

Warum es für die KI-Ökonomie wichtig ist

NVIDIA formuliert die Ergebnisse in Bezug auf den Umsatz: Jedes Vera Rubin NVL72-Rack generiert deutlich mehr Token, bedient mehr Benutzer und senkt die Kosten pro Token im Vergleich zu einem GB300 NVL72-Rack. In einer Branche, in der die Inferenznachfrage durch Argumentationsmodelle und Agentenarbeitslasten gesteuert wird, die pro Abfrage um Größenordnungen mehr Rechenleistung verbrauchen als einfacher Chat, ist der Durchsatz pro Rack die Zahl, die bestimmt, wie viele Benutzer ein festes Rechenzentrumsbudget bedienen kann.

Es gelten die üblichen Vorbehalte: Hierbei handelt es sich um Anbietereinreichungen in einer Vorschaurunde für zwei von NVIDIA ausgewählte Modelle, bei denen noch Optimierungen eintreffen. Aber die Richtung ist eindeutig. MLPerfs erster Blick auf Vera Rubin deutet darauf hin, dass der Leistungsanstieg, der die KI-Infrastruktur seit 2023 definiert, kein Plateau in Sicht hat – und dass der nächste Rack-Refresh-Zyklus die Wirtschaftlichkeit der Bereitstellung von KI in großem Maßstab erneut auf den Kopf stellen wird.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →