Uno sviluppatore indipendente ha dimostrato che il modello V4 Flash di DeepSeek, un sistema misto di esperti da 304 miliardi di parametri, può essere eseguito in produzione su una singola GPU AMD MI300X, raggiungendo 168,6 token al secondo nella decodifica a flusso singolo senza alcuna quantizzazione o scarico del peso. Il lavoro, pubblicato su GitHub e apparso in cima a Hacker News il 4 agosto 2026, offre la prova più chiara finora che l'hardware di AMD può servire un modello aperto su scala di frontiera senza fare affidamento su Nvidia.

Il repository, gestito dallo sviluppatore Ryan Zhou, include uno stack Docker Compose completo, sovrapposizioni di file aggiunti e tabelle di ottimizzazione per l'esecuzione del checkpoint DeepSeek-V4-Flash-0731 su un MI300X. Per i lettori che seguono le ultime notizie sull'intelligenza artificiale sulla guerra dei chip tra AMD e Nvidia, il risultato è significativo perché sfida il presupposto che l'inferenza di frontiera richieda l'hardware più recente e costoso di Nvidia.

I numeri

Le prestazioni benchmark, misurate su uno stack software bloccato utilizzando la build notturna ROCm di vLLM, raccontano una storia avvincente su ciò che può fare un singolo acceleratore AMD:

  • Decodifica a flusso singolo: 168,6 token al secondo, abbastanza veloce per chat in tempo reale e carichi di lavoro agenti.
  • Produttività di precompilazione: circa da 7.900 a 8.500 token al secondo con kernel ottimizzati, il che significa che i prompt lunghi vengono elaborati in meno di un secondo.
  • Otto flussi simultanei: 542 token al secondo aggregati, con 90,3 token al secondo per flusso.
  • Brust a 64 flussi: 830 token al secondo aggregati, senza errori di memoria insufficiente e senza guasti al motore.
  • Lunghezza del contesto: 256.000 token convalidati nei test, con l'architettura che supporta fino a un milione.

L'intero modello occupa 156,67 gigabyte di memoria ad alta larghezza di banda, rientrando interamente nel pool HBM3 da 192 gigabyte dell'MI300X. Non è stata necessaria alcuna quantizzazione aggiuntiva o scarico del peso, il che preserva la piena precisione del modello.

Perché l'MI300X funziona

L'AMD MI300X possiede due attributi che rendono possibile l'implementazione a GPU singola di un modello così grande. Ha 192 gigabyte di memoria HBM3, 2,4 volte la capacità di una Nvidia H100 SXM5 e 5,3 terabyte al secondo di larghezza di banda della memoria. Un articolo separato di uno sviluppatore identificato come Fergus Finn, che ha gettato le basi per questa implementazione, ha stimato che l'MI300X costa circa la metà dell'hardware Nvidia comparabile al prezzo di listino.

Per questo particolare checkpoint da 304 miliardi di parametri, la capacità di memoria è il fattore decisivo. Il modello si adatta interamente alla memoria su chip, lasciando spazio a un pool di cache di valori-chiave GPU da 20 gigabyte e un livello CPU da 96 gigabyte per le voci della cache dei prefissi eliminati. Una scheda può gestire da due a otto tipici flussi simultanei e burst fino a 64 flussi, sufficienti per molti carichi di lavoro di inferenza di produzione.

Gli ostacoli dell'ingegneria

L'esecuzione di DeepSeek V4 Flash su MI300X non è stata semplice. La ricetta ufficiale vLLM copre l'hardware Nvidia e le GPU AMD più recenti come MI325X e MI355X, ma non una configurazione di produzione a singolo MI300X per il checkpoint del 31 luglio.

Il repository documenta diversi problemi tecnici che dovevano essere risolti. L'MI300X utilizza una variante del formato numerico FP8 che differisce dallo standard utilizzato dai chip AMD più recenti e un kernel che presuppone la semantica errata può produrre risultati sbagliati di un fattore due. Lo sviluppatore ha inoltre dovuto correggere il routing misto di esperti in caso di concorrenza elevata, la verifica speculativa causale e la sincronizzazione dei valori-chiave della CPU, molti dei quali rimangono non risolti nel vLLM upstream.

Il repository aggiunge sovrapposizioni di correttezza, una configurazione di servizio convalidata con redazione speculativa, tabelle di ottimizzazione AITER GEMM per le forme dei chip che mancavano nelle tabelle pacchettizzate e una strategia ibrida di valore-chiave che combina una cache GPU con l'offload della CPU.

Cosa significa per la guerra dei chip

La dimostrazione arriva in un momento cruciale per le ambizioni di AMD nel campo dell'intelligenza artificiale. Nvidia controlla la stragrande maggioranza del mercato degli acceleratori AI, sostenuta dal suo ecosistema software CUDA, che molti sviluppatori vedono come un fossato che AMD ha faticato a superare. SemiAnalysis ha esaminato questa domanda direttamente in un'analisi del luglio 2026 intitolata "Can AMD rompere il fossato CUDA?" e la risposta resta contestata.

Ma progetti open source come questo riducono il divario di percezione. Se un singolo MI300X può servire un modello su scala di frontiera a velocità competitive, l'argomento dei costi per AMD diventa più difficile da respingere. AMD ha inoltre sviluppato il proprio portafoglio di modelli aperti, rilasciando Instella-MoE-16B, un modello completamente aperto addestrato da zero sulle proprie GPU Instinct, e collaborando con Zyphra su una piattaforma MI355X da 15 megawatt.

Nel frattempo, la stessa DeepSeek ha ridotto i costi dell’intelligenza artificiale di frontiera. Il modello V4 Flash era già il modello più economico e noto da utilizzare secondo l’analisi della società di ricerca, abbinando GPT-5.6 Luna a un costo inferiore del 60%. In combinazione con l’hardware AMD più economico, le economie legate al servizio di modelli di grandi dimensioni al di fuori dell’ecosistema Nvidia stanno migliorando rapidamente.

Il vantaggio dell'Open Source

Il repository sottolinea un tema più ampio nello sviluppo dell’intelligenza artificiale nel 2026: modelli open-weight e strumenti di inferenza open source stanno consentendo agli ingegneri indipendenti di replicare e ottimizzare implementazioni che una volta erano dominio esclusivo di laboratori ben finanziati. Pubblicando la configurazione completa, le tabelle di ottimizzazione e i bug specifici risolti lungo il percorso, il lavoro abbassa la barriera per chiunque consideri l'hardware AMD per carichi di lavoro di intelligenza artificiale seri.

Stai al passo con l'intelligenza artificiale

La battaglia tra AMD e Nvidia per l'inferenza dell'intelligenza artificiale si sta intensificando e i contributi open source come questa implementazione stanno spostando silenziosamente il panorama competitivo. Per gli ultimi sviluppi dell'intelligenza artificiale in termini di hardware, modelli aperti e infrastrutture, segui la nostra copertura.

Leggi altre notizie sull'AI →