Thinking Machines Lab, la società di ricerca fondata dall'ex chief technology officer di OpenAI Mira Murati, ha pubblicato una spiegazione tecnica dettagliata di come addestra modelli linguistici di grandi dimensioni quasi interamente con precisione a 4 bit: una tecnica che, secondo l'azienda, consente notevoli risparmi di velocità e memoria sul più recente hardware del data center di Nvidia.
Il post sul blog, intitolato "End-to-End 4-Bit Training" e pubblicato sul sito web dell'azienda il 13 novembre, esamina i compromessi numerici alla base dell'addestramento a bassa precisione e descrive come il team li ha gestiti durante l'addestramento del suo modello Inkling 2 Small. Per i lettori che seguono gli ultimi sviluppi dell’intelligenza artificiale, il post offre un raro sguardo pubblico alle decisioni ingegneristiche che determinano quanto costa effettivamente un corso di formazione su scala di frontiera.
Perché meno bit significano un allenamento più veloce
L’addestramento di un modello linguistico di grandi dimensioni implica il calcolo e la memorizzazione di enormi quantità di numeri. L'utilizzo di meno bit per ciascun valore riduce l'utilizzo della memoria e consente alle GPU di eseguire operazioni aritmetiche più velocemente. Il costo è la precisione: meno bit significano meno numeri rappresentabili, quindi i valori devono essere arrotondati in modo più aggressivo.
L'azienda illustra il problema con un semplice esempio. Se un formato può rappresentare solo i numeri 3 e 4, la memorizzazione di 3,2 richiede l'arrotondamento a 3, introducendo un errore di quantizzazione di 0,2. Un singolo errore di arrotondamento è banale, ma durante l'addestramento questi errori si accumulano tra i livelli e le fasi di ottimizzazione e possono interferire con il processo di apprendimento stesso.
"Questa è la sfida centrale dell'addestramento a bassa precisione: come possiamo trarre vantaggio da un'aritmetica più veloce senza introdurre errori che interferiscono con l'apprendimento?" ha scritto l'azienda nel post.
Tre formati, una corsa di allenamento
Invece di impegnarsi su un unico livello di precisione, Thinking Machines utilizza tre formati numerici in diverse fasi dell’addestramento: BF16, MXFP8 e NVFP4. Ogni formato ha una precisione fissa, ma la sua velocità dipende dall'hardware che lo esegue.
L'azienda si allena sulla piattaforma Grace Blackwell Ultra di Nvidia, la GB300, progettata specificamente per accelerare le moltiplicazioni di matrici in NVFP4. Secondo il post, NVFP4 memorizza valori con 3,6 volte meno bit rispetto a BF16 mentre funziona fino a 6 volte più velocemente sui sistemi GB300. In termini di throughput grezzo, l'azienda elenca le prestazioni del GB300 a circa 15 PFLOPS in NVFP4, 5 PFLOPS in MXFP8 e 2,5 PFLOPS in BF16.
Il problema è che la compressione aggressiva di NVFP4 introduce molti più errori di quantizzazione rispetto ai formati più ampi. Questo errore è accettabile in alcune fasi della formazione e inaccettabile in altre, motivo per cui l'azienda tratta ciascuna fase separatamente.
Fasi diverse, regole diverse
Il post sul blog suddivide l'addestramento in quattro fasi (i passaggi avanti e indietro del preaddestramento, il campionatore di apprendimento per rinforzo e il trainer RL) e assegna a ciascuno un diverso equilibrio di priorità tra minimizzazione dell'errore, minimizzazione del bias, aumento della velocità e riduzione dell'uso della memoria.
La velocità è più importante nelle fasi ad alto volume: il pre-training, che richiede trilioni di token, e il campionamento RL, che genera grandi volumi di implementazioni. I passaggi all'indietro, tuttavia, sono un caso speciale. Il post spiega che i passaggi all'indietro fanno una media su molti token in un batch, il che diluisce l'impatto degli errori di arrotondamento distribuiti casualmente, ma sono altamente sensibili al bias di quantizzazione, la deriva sistematica che si verifica quando i valori si arrotondano costantemente in una direzione. A differenza del rumore casuale, tale distorsione può aggravarsi tra livelli, campioni e fasi di training.
L'azienda afferma di aver gestito questi compromessi durante l'addestramento di Inkling 2 Small, il modello misto di esperti rilasciato all'inizio di questo mese con una licenza Apache 2.0. Il post non afferma che ogni parte della corsa è stata eseguita in 4 bit; piuttosto, descrive una strategia end-to-end in cui la precisione di ciascun componente viene scelta deliberatamente anziché ereditata per impostazione predefinita.
Perché è importante l'allenamento a bassa precisione
L’economia qui è semplice. Il calcolo è il costo dominante nello sviluppo di modelli di frontiera e i fornitori di hardware si stanno affrettando per aggiungere accelerazione a bassa precisione a ogni nuova generazione di chip. Nvidia ha posizionato il supporto NVFP4 nella sua piattaforma Blackwell Ultra come caratteristica principale e gli acceleratori rivali di AMD, Google e altri pubblicizzano i propri formati a precisione ridotta.
Se i laboratori di ricerca riuscissero a spingere in tutta sicurezza una parte maggiore del processo di addestramento verso l’aritmetica a 4 bit, lo stesso budget hardware acquisterebbe più esperimenti, più token o modelli più grandi. Si tratta di un vantaggio significativo in un mercato in cui l’accesso ad acceleratori all’avanguardia è scarso e costoso. Si unisce inoltre alla più ampia spinta del settore verso tecniche di efficienza come l'inferenza sensibile alla quantizzazione e la decodifica speculativa, che spremono entrambe più capacità dall'hardware fisso.
Il post è anche un segnale di dove si sta dirigendo la comunità di ricerca. L’addestramento a bassa precisione è stato a lungo considerato troppo rischioso per qualsiasi cosa oltre l’inferenza, perché si presumeva che gli errori di arrotondamento compromettessero l’apprendimento. Un’attenta analisi fase per fase – come quella pubblicata da Thinking Machines – è il modo in cui tale ipotesi viene testata e, ove possibile, ribaltata.
Dal post del blog ai pesi aperti
Ciò che rende notevole la divulgazione è che non è puramente teorica. L'azienda ha collegato la tecnica direttamente a un modello che ha effettivamente spedito. Inkling 2 Small è stato rilasciato con pesi scaricabili all'inizio di novembre e il nuovo post spiega la strategia numerica alla base del suo addestramento. I professionisti che scaricano il modello, in effetti, ottengono un artefatto funzionante della metodologia a bassa precisione descritta dall'azienda.
Thinking Machines è stato insolitamente aperto per un laboratorio su scala di frontiera, pubblicando post di blog tecnici insieme alle versioni dei modelli. Questa trasparenza offre ai ricercatori esterni qualcosa di raro: un resoconto documentato e riproducibile di come un moderno corso di formazione gestisce le confuse realtà numeriche dell’aritmetica a precisione mista.
Per il settore in generale, il messaggio è che la formazione a 4 bit si è spostata dalla curiosità della ricerca alla tecnica di produzione. Man mano che sempre più laboratori adottano strategie simili, il divario tra le prestazioni di picco teoriche dell’hardware e il rendimento dell’addestramento realizzato si ridurrà e il costo dell’addestramento di modelli capaci di addestrare continuerà a diminuire.
Stai al passo con l'intelligenza artificiale
Le tecniche alla base dei modelli di frontiera si evolvono settimanalmente. Segui AI Buzz Wire per resoconti chiari e attendibili sulla ricerca che plasma il settore.
Leggi altre notizie sull'AI →
