Tänkande maskiner Detaljer End-to-end 4-bitars utbildning på Nvidia GB300 hårdvara

Thinking Machines Lab, forskningsföretaget som grundades av den tidigare teknikchefen för OpenAI, Mira Murati, har publicerat en detaljerad teknisk förklaring av hur det tränar stora språkmodeller nästan helt i 4-bitars precision – en teknik som företaget säger låser upp stora hastighets- och minnesbesparingar på Nvidias nyaste datacenterhårdvara.

Blogginlägget, med titeln "End-to-End 4-Bit Training" och publicerat på företagets hemsida den 13 november, går igenom de numeriska avvägningarna bakom lågprecisionsträning och beskriver hur teamet hanterade dem medan de tränade sin Inkling 2 Small-modell. För läsare som följer den senaste AI-utvecklingen erbjuder inlägget en sällsynt offentlig titt på de tekniska besluten som avgör hur mycket en utbildning i gränsöverskridande skala faktiskt kostar.

Varför färre bitar betyder snabbare träning

Att träna en stor språkmodell innebär att man beräknar och lagrar enorma mängder tal. Att använda färre bitar för varje värde minskar minnesanvändningen och låter GPU:er utföra aritmetik snabbare. Kostnaden är precision: färre bitar betyder färre representativa tal, så värden måste avrundas mer aggressivt.

Företaget illustrerar problemet med ett enkelt exempel. Om ett format endast kan representera siffrorna 3 och 4, kräver lagring av 3.2 avrundning till 3, vilket introducerar ett kvantiseringsfel på 0,2. Ett enda avrundningsfel är trivialt, men under träningen ackumuleras dessa fel över lager och optimeringssteg, och de kan störa själva inlärningsprocessen.

"Detta är den centrala utmaningen med lågprecisionsträning: hur kan vi dra nytta av snabbare aritmetik utan att introducera fel som stör inlärningen?" skrev företaget i inlägget.

Tre format, en träningskörning

Istället för att satsa på en enda precisionsnivå använder Thinking Machines tre numeriska format vid olika utbildningsstadier: BF16, MXFP8 och NVFP4. Varje format har fast precision, men dess hastighet beror på hårdvaran som kör det.

Företaget tränar på Nvidias Grace Blackwell Ultra-plattform, GB300, som är speciellt utformad för att accelerera matrismultiplikationer i NVFP4. Enligt inlägget lagrar NVFP4 värden med 3,6 gånger färre bitar än BF16 samtidigt som den körs upp till 6 gånger snabbare på GB300-system. I rågenomströmningstermer listar företaget GB300-prestanda till ungefär 15 PFLOPS i NVFP4, 5 PFLOPS i MXFP8 och 2,5 PFLOPS i BF16.

Haken är att NVFP4:s aggressiva komprimering introducerar mycket mer kvantiseringsfel än de bredare formaten. Det felet är acceptabelt i vissa stadier av utbildningen och oacceptabelt i andra, varför företaget behandlar varje steg separat.

Olika stadier, olika regler

Blogginlägget delar upp träningen i fyra steg – framåt- och bakåtpass av förträning, förstärkningsinlärningsprovtagaren och RL-tränaren – och tilldelar var och en olika balans av prioriteringar mellan att minimera fel, minimera bias, öka hastigheten och minska minnesanvändningen.

Hastigheten är viktigast i stegen med hög volym: förträning, som går över biljoner tokens, och RL-sampling, som genererar stora volymer utrullningar. Bakåtpassningar är dock ett specialfall. Inlägget förklarar att bakåt passerar medelvärdet över många tokens i en batch, vilket späder ut effekten av slumpmässigt fördelade avrundningsfel - men de är mycket känsliga för kvantiseringsbias, den systematiska drift som uppstår när värden konsekvent rundar i en riktning. Till skillnad från slumpmässigt brus kan denna förspänning förvärras över lager, prover och träningssteg.

Företaget säger att det hanterade dessa avvägningar medan de tränade Inkling 2 Small, den öppna viktblandningen av experter-modellen som släpptes tidigare denna månad under en Apache 2.0-licens. Inlägget hävdar inte att varje del av körningen gick i 4 bitar; snarare beskriver den en end-to-end-strategi där precisionen för varje komponent väljs medvetet snarare än ärvs som standard.

Varför lågprecisionsträning är viktigt

Ekonomin här är okomplicerad. Compute är den dominerande kostnaden vid utveckling av frontiermodeller, och hårdvaruleverantörer har tävlat om att lägga till lågprecisionsacceleration till varje ny chipgeneration. Nvidia har placerat NVFP4-stöd i sin Blackwell Ultra-plattform som en rubrikfunktion, och rivaliserande acceleratorer från AMD, Google och andra annonserar om sina egna format med reducerad precision.

Om forskningslaboratorier säkert kan driva mer av utbildningspipelinen till 4-bitars aritmetik, köper samma hårdvarubudget fler experiment, fler tokens eller större modeller. Det är en meningsfull fördel på en marknad där tillgången till avancerade acceleratorer är knapp och dyr. Det förenas också med branschens bredare strävan mot effektivitetstekniker som kvantiseringsmedveten slutledning och spekulativ avkodning, som båda pressar mer kapacitet ur fast hårdvara.

Inlägget är också en signal om vart forskarsamhället är på väg. Träning med låg precision ansågs länge vara för riskabelt för allt utöver slutledning, eftersom avrundningsfel antogs korrumpera inlärningen. Noggrann steg-för-steg-analys - som den som Thinking Machines publicerade - är hur det antagandet testas och, där det är möjligt, omkullkastas.

Från blogginlägg till öppna vikter

Det som gör avslöjandet anmärkningsvärt är att det inte är rent teoretiskt. Företaget knöt tekniken direkt till en modell som det faktiskt har skickat. Inkling 2 Small släpptes med nedladdningsbara vikter i början av november, och det nya inlägget förklarar den numeriska strategin bakom träningen. Utövare som laddar ner modellen får i själva verket en fungerande artefakt av den lågprecisionsmetod som företaget beskriver.

Thinking Machines har varit ovanligt öppna för ett labb i gränsöverskridande skala och har publicerat tekniska blogginlägg vid sidan av sina modellsläpp. Den transparensen ger utomstående forskare något sällsynt: en dokumenterad, reproducerbar redogörelse för hur en modern träningskörning hanterar de röriga numeriska verkligheterna av aritmetik med blandad precision.

För den bredare branschen är budskapet att 4-bitars utbildning har flyttats från forskningsnyfikenhet till produktionsteknik. När fler laboratorier antar liknande strategier kommer klyftan mellan teoretisk hårdvaruprestanda och realiserad träningsgenomströmning att minska – och kostnaden för utbildningskompetensmodeller kommer att fortsätta att minska.

Ligg före AI

Teknikerna bakom frontiermodeller utvecklas varje vecka. Följ AI Buzz Wire för tydlig, hämtad rapportering om forskningen som formar området.

Läs mer AI-nyheter →