Nvidia hat seinen interaktiven Inferenzbeschleuniger Groq 3 LPX in die volle Produktion gebracht, gab das Unternehmen am 24. August 2026 während der Hot Chips-Konferenz bekannt. Der Chip, eine Erweiterung der Vera Rubin-Plattform von Nvidia, lieferte im Benchmarking der künstlichen Analyse einen Rekordwert von 3.400 Ausgabetokens pro Sekunde, während er das Open-Source-Modell Gemma 4 31B mit einem aktiven 100.000-Token-Kontextfenster ausführte – die schnellste Leistung, die jemals für dieses Modell aufgezeichnet wurde.

Die Markteinführung stellt den bisher bedeutendsten Produktmeilenstein seit der 20-Milliarden-Dollar-Übernahme des Inferenzspezialisten Groq durch Nvidia dar, ein Geschäft, das das Unternehmen nun nutzen will, da die Nachfrage nach Inferenzlösungen mit geringer Latenz steigt. CNBC berichtete, dass Nvidia sagt, dass die ersten Groq-Racks noch vor Jahresende online sein werden. Weitere Informationen zu dieser Geschichte finden Sie in unserer laufenden KI-Branchenberichterstattung.

Warum die Geschwindigkeit der Token-Generierung wichtig ist

Agentische KI-Systeme – Programme, die Schlussfolgerungen ziehen, Tools aufrufen, Code schreiben und testen und über Hunderte oder Tausende von Inferenzschritten iterieren – erzeugen enorme Mengen an Ausgabetokens. Die Geschwindigkeit, mit der diese Token erzeugt werden, bekannt als Interaktivität oder Decodierungsdurchsatz, bestimmt, wie schnell ein Agent jeden Schritt seiner Arbeit abschließen kann.

Laut Nvidia bietet Groq 3 LPX eine viermal schnellere Reaktionsfähigkeit für Agenten und latenzempfindliche Arbeitslasten als die nächstgelegene alternative Plattform. In heterogenen Bereitstellungen übernehmen Vera Rubin NVL72-Systeme die Kontextaufnahme und Vorabfüllungsberechnung, während Groq 3 LPX-Einheiten die latenzempfindliche Token-Generierungsphase verarbeiten.

„Inferenz ist der Wachstumsmotor der KI“, sagte Jensen Huang, Gründer und CEO von Nvidia, in der Ankündigung. „Vera Rubin erweitert diese Vision mit arbeitslastoptimierten KI-Fabrikkonfigurationen, die für das Zeitalter der Agenten-KI entwickelt wurden, und erweitert die Leistungsgrenze mit LPX für die ultraschnelle Token-Generierung.“

In der Hardware

Laut der technischen Analyse von StorageReview verfügt jeder flüssigkeitsgekühlte 2U-Rechenschacht über sechzehn Groq 3 LPUs neben einer Host-CPU, Fabric-Erweiterungslogik und DRAM sowie entweder einer BlueField-4-DPU oder einer ConnectX-9-Netzwerkkarte. Das Fach verfügt über 32 LPU-Chip-zu-Chip-optische Verbindungen und 400-Gbit/s-Ethernet auf der Vorderseite.

Im Rack-Maßstab umfasst eine Groq 3 LPX-Bereitstellung bis zu 256 LP30-Beschleuniger, die über schnelle, direkte Chip-zu-Chip-Verbindungen verbunden sind. Die Racks fügen sich in Nvidias umfassendere Vera Rubin AI-Fabrikinfrastruktur ein, die das Unternehmen als seine umfangreichste Plattform aller Zeiten bezeichnet: sieben diskrete Chips in fünf speziell entwickelten Rack-Konfigurationen, darunter BlueField-4-DPUs, Vera-CPU-Racks, Vera-BlueField-4-STX-Speicher und Spectrum-6-SPX-Ethernet-Netzwerke.

Nvidia aktualisierte auch seine Leistungsansprüche auf Plattformebene und gab an, dass Vera Rubin NVL72 im Vergleich zu GB300 NVL72 bei einer Agenten-Codierungs-Workload von 140.000 Token einen bis zu 30-fachen Token-Durchsatz pro Megawatt liefert, wobei sich der Vorteil mit steigenden Interaktivitätszielen pro Benutzer vergrößert.

Ein Benchmark mit einem Sternchen

Die Schlagzeile von 3.400 Token pro Sekunde ist mit einer erwähnenswerten Einschränkung verbunden. Wie StorageReview betonte, wurde das Ergebnis von Nvidia am 21. August an einem privaten Endpunkt vor der Veröffentlichung gemessen, während die konkurrierenden Zahlen, mit denen es verglichen wurde, von Live-Produktionsendpunkten ohne Server stammen. Die reale Leistung allgemein verfügbarer Dienste kann von der rekordverdächtigen Benchmark-Konfiguration abweichen.

Dennoch verzeichnete die unabhängige Benchmarking-Organisation Artificial Analysis das Ergebnis als das schnellste, das jemals für Gemma 4 31B in dieser Kontextlänge gemessen wurde, und die zugrunde liegende Behauptung – dass speziell entwickeltes Silizium die Dekodierungsphase der Inferenz drastisch beschleunigen kann – stimmt mit der Art und Weise überein, wie die Branche die Architektur für Agenten-Workloads neu gestaltet hat.

Cloud-Einführung beginnt

Nebius, die KI-Cloud mit Hauptsitz in Amsterdam, ist der erste Anbieter, der sich zur Bereitstellung von Groq 3 LPX verpflichtet und plant, es in Nebius Token Factory, seiner Produktionsinferenzplattform, zu integrieren.

„Generierung ist die Phase der Schlussfolgerung, die bestimmt, wie reaktionsfähig ein KI-System tatsächlich ist, und genau das soll NVIDIA Groq 3 LPX beschleunigen“, sagte Danila Shtan, Chief Technology Officer von Nebius. „Als erste KI-Cloud, die sie über Nebius Token Factory in die Produktion bringt, stellen wir sicher, dass sich jeder Schritt der Agentenschleife sofort anfühlt – über dieselbe API, die Entwickler bereits verwenden, ohne Migration auf einen neuen Stack.“

Der Inferenzanbieter Groq, jetzt Teil der Nvidia-Familie, plant, zu den ersten Anwendern der Plattform zu gehören.

Das größere Bild

Die Ankündigung der vollständigen Produktion zeigt, wie stark sich der KI-Infrastrukturmarkt vom Training zur Inferenz gewandelt hat. Da Unternehmen ihre Budgets von der Vorschulung von Rohmodellen hin zu Echtzeit-Schlussfolgerungen und autonomer Agenten-Orchestrierung verlagern, ist die Wirtschaftlichkeit eines Tokens – wie schnell er generiert werden kann und zu welchen Energiekosten – zum zentralen Wettbewerbsschauplatz geworden.

Für Nvidia erweitert Groq 3 LPX die Verteidigung seines AI-Factory-Franchise zu einem Zeitpunkt, an dem benutzerdefinierte Chips von Cloud-Anbietern und Start-ups gleichermaßen auf der Suche nach denselben Agenten-Inferenz-Workloads sind. Wie CNBC berichtete, würden Racks, die in diesem Jahr online gehen, die ersten Produktionssysteme Monate nach Abschluss der Übernahme in die Hände der Kunden legen – eine schnelle Integration im Vergleich zur Halbleiterindustrie.

Zu den Preisen für die neuen Systeme machte das Unternehmen keine Angaben. Groq 3 LPX wird je nach Verfügbarkeit über KI-Cloud-Partner angeboten, wobei Nebius voraussichtlich der erste sein wird, der Entwicklern Zugriff über seine bestehenden API-Endpunkte bietet.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →