DeepSeek ha reso open source DeepInfer, il framework di inferenza ad alte prestazioni che, secondo il laboratorio cinese di intelligenza artificiale, alimenta i propri servizi di produzione su larga scala. Il codice è apparso su GitHub sotto la licenza Apache 2.0 e ha già raccolto più di 5.500 stelle in pochi giorni, dopo che una discussione di Hacker News sul rilascio ha raccolto centinaia di voti positivi lunedì.

Secondo il README del progetto, la versione fornisce un'inferenza offline con le funzionalità principali su cui DeepSeek fa affidamento per servire i suoi modelli su larga scala. La configurazione predefinita è destinata a DeepSeek-V4.1-Flash e il framework scarica automaticamente il checkpoint DeepSeek-V4.1-Flash-1017 da Hugging Face alla prima esecuzione. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.

Cosa include effettivamente DeepInfer

DeepInfer non è una riscrittura da zero. Unisce i kernel specializzati che DeepSeek ha rilasciato pezzo per pezzo negli ultimi due anni (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e i kernel TileLang personalizzati) in un unico runtime con esecuzione di modello e campionatore incorporata.

Il framework fornisce anche diverse tecniche di servizio documentate in dettaglio nel repository:

  • Verifica pianificata con confidenza, un approccio di decodifica speculativo che utilizza token di bozza e stime di confidenza per pianificare la verifica, controllabile tramite variabili di ambiente
  • Decoder SWA bounded replay, che riduce il lavoro di precompilazione del decodificatore riproducendo solo un suffisso limitato della sequenza
  • Pianificazione asincrona che si sovrappone alla pianificazione batch della CPU con l'esecuzione del dispositivo, abilitata per impostazione predefinita
  • Inferenza batch-invariante, che mantiene i risultati del modello identici tra diverse composizioni batch
  • Campionamento deterministico, che produce output identici per input e parametri di campionamento identici
  • Output strutturati, vincolando la generazione a una regex, uno schema JSON o una grammatica EBNF

Questa combinazione è mirata direttamente agli operatori che necessitano di una generazione di testo riproducibile e ad alto rendimento piuttosto che di giocattoli sperimentali. L'invarianza batch e il campionamento deterministico, in particolare, sono importanti per le imprese che devono verificare il motivo per cui un modello ha prodotto un determinato output.

NVIDIA e Huawei Ascend, fianco a fianco

Il dettaglio più attentamente monitorato è il supporto hardware. DeepInfer prende di mira le GPU NVIDIA SM100 tramite CUDA 13 e le NPU Huawei Ascend 950 tramite CANN 9.2, con Linux, GCC 13 e Python 3.12 elencati come prerequisiti per entrambi i percorsi.

Questa posizione a doppia piattaforma è coerente con la storia recente di DeepSeek. L'azienda ha trascorso mesi a sviluppare software basato su TileLang per l'hardware Ascend e a sfidare pubblicamente l'ipotesi secondo cui CUDA è insostituibile. La distribuzione di un quadro di inferenza sulla produzione che tratta Ascend come un cittadino di prima classe – piuttosto che come un ripensamento della ricerca – estende tale strategia e arriva in un momento in cui i controlli sulle esportazioni statunitensi continuano a limitare quali chip Nvidia le aziende cinesi possono acquistare.

Per gli operatori cloud cinesi che utilizzano silicio domestico, un motore di inferenza mantenuto che supporta Ascend 950 rimuove una delle barriere pratiche al servizio di modelli aperti di frontiera al di fuori dell’ecosistema Nvidia.

Cosa manca alla versione

Il README indica esplicitamente che questo non è ancora uno stack di servizio completo. Una distribuzione di produzione basata su DeepInfer necessita ancora di tre componenti che la versione non include: un sistema di cache KV, precompilazione e disaggregazione di decodifica e bilanciamento del carico tra repliche parallele di dati. Il repository rileva che la maggior parte delle funzionalità del motore richieste per la disaggregazione è già implementata, ma i sistemi circostanti sono lasciati all'operatore.

In pratica ciò significa che DeepInfer è meglio inteso come il motore di calcolo dell'infrastruttura di DeepSeek piuttosto che come un'alternativa chiavi in ​​mano ai framework di servizio della comunità. I team dovrebbero comunque integrarlo con i livelli di memorizzazione nella cache e di routing prima di metterlo di fronte al traffico reale.

Perché è importante

L'attività di DeepSeek si basa sul servire modelli a prezzi estremamente economici, e gli aspetti economici di tale attività sono stati oggetto di un attento esame mentre l'azienda si dirige verso ciò che ha descritto come un allontanamento dei prezzi dal suo precedente posizionamento a basso costo. L’apertura del percorso di inferenza della produzione effettiva – non solo del codice di ricerca – offre agli sviluppatori esterni e ai fornitori di servizi cloud uno sguardo insolitamente diretto sulle tecniche alla base di tali costi.

Inoltre continua uno schema deliberato. FlashMLA, DeepGEMM e DeepEP sono stati tutti rilasciati singolarmente mentre il laboratorio costruiva il proprio stack; DeepInfer documenta in modo efficace il modo in cui i pezzi si incastrano. Per i ricercatori, il rilascio semplifica la riproduzione delle dichiarazioni sulle prestazioni pubblicate da DeepSeek. Per i concorrenti, alza il livello di ciò che conta come uno stack di inferenza aperto.

La licenza Apache 2.0 consente l'uso commerciale senza obblighi di copyleft, il che significa che i fornitori di servizi cloud occidentali potrebbero implementarla legalmente, sebbene il supporto del suo modello sia attualmente limitato al checkpoint V4.1-Flash di DeepSeek, quindi per ora la maggior parte lo tratterà come un'implementazione di riferimento.

Cosa guardare

Tre domande determineranno se DeepInfer verrà ampiamente adottato o rimarrà una curiosità. Innanzitutto, se la community lo porta oltre la versione V4.1-Flash su altre architetture di modelli. In secondo luogo, se i risultati dei benchmark pubblicati nelle tabelle delle prestazioni del repository reggono sull'hardware esterno ai cluster di DeepSeek. In terzo luogo, se i pezzi mancanti (gestione della cache KV, disaggregazione e bilanciamento del carico) arriveranno nelle versioni future, trasformando il motore in un framework di servizio completo.

Per ora, il rilascio rappresenta una notevole mossa di trasparenza da parte di un laboratorio che ha ripetutamente scelto di pubblicare l’infrastruttura sotto i suoi modelli. Gli sviluppatori che desiderano sperimentare possono creare DeepInfer dall'origine su entrambe le piattaforme supportate ed eseguire l'inferenza offline con un singolo script di esempio.

---

Rimani Aggiornato sull'IA

Le ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.

Leggi altre notizie sull'IA →