Ein unabhängiger Entwickler hat gezeigt, dass das V4-Flash-Modell von DeepSeek, ein Expertenmix-System mit 304 Milliarden Parametern, in der Produktion auf einer einzelnen AMD MI300X-GPU ausgeführt werden kann und 168,6 Token pro Sekunde bei der Single-Stream-Dekodierung ohne Gewichtsquantisierung oder Offloading erreicht. Die Arbeit, die auf GitHub veröffentlicht wurde und am 4. August 2026 ganz oben in den Hacker News auftauchte, bietet den bisher klarsten Beweis dafür, dass AMDs Hardware ein offenes Modell im Grenzbereich bedienen kann, ohne auf Nvidia angewiesen zu sein.

Das vom Entwickler Ryan Zhou verwaltete Repository umfasst einen vollständigen Docker Compose-Stack, angeheftete Datei-Overlays und Tuning-Tabellen für die Ausführung des DeepSeek-V4-Flash-0731-Checkpoints auf einem MI300X. Für Leser, die die [aktuellen KI-Nachrichten] (https://aibuzzwire.news) zum Chipkrieg zwischen AMD und Nvidia verfolgen, ist das Ergebnis bedeutsam, da es die Annahme in Frage stellt, dass Grenzschlussfolgerung die neueste und teuerste Hardware von Nvidia erfordert.

Die Zahlen

Die Benchmark-Leistung, gemessen an einem angehefteten Software-Stack unter Verwendung des ROCm Nightly Build von vLLM, erzählt eine überzeugende Geschichte darüber, was ein einzelner AMD-Beschleuniger leisten kann:

  • Single-Stream-Dekodierung: 168,6 Token pro Sekunde, schnell genug für Echtzeit-Chat und Agenten-Workloads.
  • Vorfüllungsdurchsatz: ca. 7.900 bis 8.500 Token pro Sekunde mit optimierten Kerneln, was bedeutet, dass lange Eingabeaufforderungen in deutlich weniger als einer Sekunde verarbeitet werden.
  • Acht gleichzeitige Streams: 542 Token pro Sekunde insgesamt, mit 90,3 Token pro Sekunde und Stream.
  • 64-Stream-Burst: Insgesamt 830 Token pro Sekunde, ohne Fehler wegen unzureichendem Arbeitsspeicher und ohne Engine-Ausfälle.
  • Kontextlänge: 256.000 in Tests validierte Token, wobei die Architektur bis zu eine Million unterstützt.

Das gesamte Modell belegt 156,67 Gigabyte Speicher mit hoher Bandbreite und passt vollständig in den 192 Gigabyte großen HBM3-Pool des MI300X. Es war keine zusätzliche Quantisierung oder Gewichtsverlagerung erforderlich, wodurch die volle Genauigkeit des Modells erhalten bleibt.

Warum der MI300X funktioniert

Der AMD MI300X verfügt über zwei Eigenschaften, die den Einsatz eines so großen Modells mit einer GPU ermöglichen. Es verfügt über 192 Gigabyte HBM3-Speicher, 2,4-fache Kapazität eines Nvidia H100 SXM5 und 5,3 Terabyte pro Sekunde Speicherbandbreite. In einem separaten Artikel eines Entwicklers namens Fergus Finn, der den Grundstein für diesen Einsatz legte, wurde geschätzt, dass der MI300X etwa halb so viel kostet wie vergleichbare Nvidia-Hardware zum Listenpreis.

Für diesen speziellen 304-Milliarden-Parameter-Checkpoint ist die Speicherkapazität der entscheidende Faktor. Das Modell passt vollständig in den On-Chip-Speicher und lässt Platz für einen 20 Gigabyte großen GPU-Schlüsselwert-Cache-Pool und eine 96 Gigabyte große CPU-Ebene für entfernte Präfix-Cache-Einträge. Eine Karte kann zwei bis acht typische gleichzeitige Streams und Bursts von bis zu 64 Streams verarbeiten, was für viele Produktionsinferenz-Workloads ausreicht.

Die technischen Hürden

Das Ausführen von DeepSeek V4 Flash auf dem MI300X war nicht einfach. Das offizielle vLLM-Rezept deckt Nvidia-Hardware und neuere AMD-GPUs wie MI325X und MI355X ab, jedoch keine einzelne MI300X-Produktionskonfiguration für den Checkpoint am 31. Juli.

Das Repository dokumentiert mehrere technische Probleme, die gelöst werden mussten. Der MI300X verwendet eine Variante des FP8-Zahlenformats, die sich vom Standard neuerer AMD-Chips unterscheidet, und ein Kernel, der die falsche Semantik annimmt, kann zu Ergebnissen führen, die um den Faktor zwei abweichen. Der Entwickler musste außerdem das Mixed-of-Experts-Routing bei hoher Parallelität, die kausale spekulative Überprüfung und die CPU-Schlüssel-Wert-Synchronisierung reparieren, von denen einige im Upstream-vLLM noch nicht behoben sind.

Das Repository fügt Korrektheitsüberlagerungen, eine validierte Bereitstellungskonfiguration mit spekulativem Drafting, AITER GEMM-Optimierungstabellen für Chipformen, die in den gepackten Tabellen fehlten, und eine hybride Schlüsselwertstrategie hinzu, die einen GPU-Cache mit CPU-Offload kombiniert.

Was es für den Chip-Krieg bedeutet

Die Demonstration kommt zu einem entscheidenden Zeitpunkt für AMDs Ambitionen im Bereich KI. Nvidia kontrolliert die überwältigende Mehrheit des Marktes für KI-Beschleuniger, gestützt durch sein CUDA-Software-Ökosystem, das viele Entwickler als einen Burggraben ansehen, den AMD nur mit Mühe überwinden kann. SemiAnalysis ging dieser Frage direkt in einer Analyse vom Juli 2026 mit dem Titel „Kann AMD den CUDA-Wassergraben durchbrechen?“ nach. und die Antwort bleibt umstritten.

Aber Open-Source-Projekte wie dieses schließen diese Wahrnehmungslücke. Wenn ein einzelner MI300X ein Spitzenmodell mit wettbewerbsfähigen Geschwindigkeiten bedienen kann, wird das Kostenargument für AMD schwerer von der Hand zu weisen. AMD hat auch sein eigenes offenes Modellportfolio aufgebaut und Instella-MoE-16B veröffentlicht, ein vollständig offenes Modell, das von Grund auf auf seinen eigenen Instinct-GPUs trainiert wurde, und arbeitet mit Zyphra an einer 15-Megawatt-MI355X-Plattform zusammen.

Unterdessen hat DeepSeek selbst die Kosten für Grenz-KI gesenkt. Laut einer Analyse eines Forschungsunternehmens war das V4-Flash-Modell bereits das günstigste bekannte Modell und erreichte GPT-5.6 Luna bei 60 Prozent geringeren Kosten. In Kombination mit billigerer AMD-Hardware verbessert sich die Wirtschaftlichkeit der Bereitstellung großer Modelle außerhalb des Nvidia-Ökosystems rapide.

Der Open-Source-Vorteil

Das Repository unterstreicht ein umfassenderes Thema der KI-Entwicklung im Jahr 2026: Open-Weight-Modelle und Open-Source-Inferenztools ermöglichen es unabhängigen Ingenieuren, Bereitstellungen zu replizieren und zu optimieren, die einst die ausschließliche Domäne gut finanzierter Labore waren. Durch die Veröffentlichung der vollständigen Konfiguration, der Optimierungstabellen und der dabei behobenen spezifischen Fehler senkt die Arbeit die Hürde für jeden, der AMD-Hardware für ernsthafte KI-Workloads in Betracht zieht.

Bleiben Sie der KI immer einen Schritt voraus

Der Kampf zwischen AMD und Nvidia um KI-Inferenz verschärft sich, und Open-Source-Beiträge wie dieser Einsatz verändern stillschweigend die Wettbewerbslandschaft. Für die neuesten KI-Entwicklungen in den Bereichen Hardware, offene Modelle und Infrastruktur bleiben Sie in unserer Berichterstattung.

Weitere KI-Neuigkeiten lesen →