Thinking Machines details End-to-End 4-Bit training op Nvidia GB300-hardware

Thinking Machines Lab, het onderzoeksbedrijf opgericht door Mira Murati, voormalig hoofd technologie van OpenAI, heeft een gedetailleerde technische uitleg gepubliceerd over hoe het grote taalmodellen bijna volledig in 4-bits precisie traint - een techniek die volgens het bedrijf grote snelheids- en geheugenbesparingen oplevert op Nvidia's nieuwste datacenterhardware.

De blogpost, getiteld ‘End-to-End 4-Bit Training’ en gepubliceerd op de website van het bedrijf op 13 november, bespreekt de numerieke afwegingen achter training met lage precisie en beschrijft hoe het team deze heeft beheerd tijdens het trainen van het Inkling 2 Small-model. Voor lezers die de nieuwste AI-ontwikkelingen volgen, biedt de post een zeldzame publieke blik op de technische beslissingen die bepalen hoeveel een training op grensschaal daadwerkelijk kost.

Waarom minder bits snellere training betekent

Het trainen van een groot taalmodel omvat het berekenen en opslaan van enorme hoeveelheden getallen. Door minder bits voor elke waarde te gebruiken, wordt het geheugengebruik verminderd en kunnen GPU's sneller rekenen. De kosten zijn precisie: minder bits betekenen minder representeerbare getallen, dus waarden moeten agressiever worden afgerond.

Het bedrijf illustreert het probleem met een eenvoudig voorbeeld. Als een formaat alleen de getallen 3 en 4 kan weergeven, vereist het opslaan van 3,2 het afronden naar 3, waardoor een kwantiseringsfout van 0,2 wordt geïntroduceerd. Een enkele afrondingsfout is triviaal, maar tijdens de training stapelen deze fouten zich op over lagen en optimalisatiestappen heen, en kunnen ze het leerproces zelf verstoren.

"Dit is de centrale uitdaging van training met lage precisie: hoe kunnen we profiteren van sneller rekenen zonder fouten te introduceren die het leren verstoren?" schreef het bedrijf in de post.

Drie formats, één trainingsrun

In plaats van zich te binden aan één enkel precisieniveau, gebruikt Thinking Machines drie numerieke formaten in verschillende trainingsfasen: BF16, MXFP8 en NVFP4. Elk formaat heeft een vaste nauwkeurigheid, maar de snelheid is afhankelijk van de hardware waarop het wordt uitgevoerd.

Het bedrijf traint op Nvidia's Grace Blackwell Ultra-platform, de GB300, dat speciaal is ontworpen om matrixvermenigvuldigingen in NVFP4 te versnellen. Volgens het bericht slaat NVFP4 waarden op met 3,6 keer minder bits dan BF16, terwijl het tot 6 keer sneller werkt op GB300-systemen. In ruwe doorvoertermen vermeldt het bedrijf GB300-prestaties van ongeveer 15 PFLOPS in NVFP4, 5 PFLOPS in MXFP8 en 2,5 PFLOPS in BF16.

Het addertje onder het gras is dat de agressieve compressie van NVFP4 veel meer kwantiseringsfouten introduceert dan de bredere formaten. Die fout is in sommige trainingsfasen acceptabel en in andere onaanvaardbaar. Daarom behandelt het bedrijf elke fase afzonderlijk.

Verschillende fasen, verschillende regels

De blogpost verdeelt de training in vier fasen – de voorwaartse en achterwaartse fasen van de voortraining, de versterkende leersampler en de RL-trainer – en kent aan elke fase een ander evenwicht van prioriteiten toe tussen het minimaliseren van fouten, het minimaliseren van bias, het verhogen van de snelheid en het verminderen van het geheugengebruik.

Snelheid is het belangrijkst bij de stappen met een hoog volume: pretraining, die over biljoenen tokens loopt, en RL-sampling, die grote volumes aan implementaties genereert. Achterwaartse passen zijn echter een speciaal geval. In het bericht wordt uitgelegd dat het gemiddelde over veel tokens in een batch achterwaarts wordt doorgegeven, waardoor de impact van willekeurig verdeelde afrondingsfouten afneemt – maar ze zijn zeer gevoelig voor kwantiseringsbias, de systematische drift die optreedt wanneer waarden consistent in één richting worden afgerond. In tegenstelling tot willekeurige ruis kan deze bias zich verergeren over lagen, samples en trainingsstappen heen.

Het bedrijf zegt dat het deze afwegingen heeft gemaakt tijdens het trainen van Inkling 2 Small, het open-weight mix-of-experts-model dat het eerder deze maand uitbracht onder een Apache 2.0-licentie. Het bericht beweert niet dat elk deel van de run in 4 bits verliep; het beschrijft eerder een end-to-end-strategie waarbij de precisie van elke component opzettelijk wordt gekozen in plaats van standaard te worden geërfd.

Waarom training met lage precisie belangrijk is

De economie is hier eenvoudig. Compute is de dominante kostenpost bij de ontwikkeling van grensverleggende modellen, en hardwareleveranciers zijn druk bezig om lage-precieze acceleratie toe te voegen aan elke nieuwe chipgeneratie. Nvidia heeft NVFP4-ondersteuning in zijn Blackwell Ultra-platform als hoofdfunctie gepositioneerd, en concurrerende accelerators van AMD, Google en anderen adverteren met hun eigen formaten met verminderde precisie.

Als onderzoekslaboratoria veilig een groter deel van de trainingspijplijn in 4-bits rekenkunde kunnen duwen, worden met hetzelfde hardwarebudget meer experimenten, meer tokens of grotere modellen gekocht. Dat is een betekenisvol voordeel in een markt waar de toegang tot geavanceerde versnellers schaars en duur is. Het sluit ook aan bij de bredere drang van de industrie naar efficiëntietechnieken zoals kwantiseringsbewuste inferentie en speculatieve decodering, die beide meer mogelijkheden uit vaste hardware halen.

De post is ook een signaal van waar de onderzoeksgemeenschap naartoe gaat. Training met lage precisie werd lange tijd gezien als te riskant voor iets anders dan gevolgtrekkingen, omdat werd aangenomen dat afrondingsfouten het leerproces zouden bederven. Zorgvuldige stapsgewijze analyse – zoals die van Thinking Machines die is gepubliceerd – is de manier waarop deze aanname wordt getest en, waar mogelijk, teniet wordt gedaan.

Van blogpost tot open gewichten

Wat de onthulling opmerkelijk maakt, is dat deze niet louter theoretisch is. Het bedrijf koppelde de techniek rechtstreeks aan een model dat het daadwerkelijk had verzonden. Inkling 2 Small werd begin november uitgebracht met downloadbare gewichten, en het nieuwe bericht legt de numerieke strategie achter de training uit. Beoefenaars die het model downloaden, krijgen in feite een werkend artefact van de lage-precisiemethodologie die het bedrijf beschrijft.

Thinking Machines stond ongebruikelijk open voor een laboratorium op grensschaal en publiceerde technische blogposts naast de modelreleases. Die transparantie geeft externe onderzoekers iets zeldzaams: een gedocumenteerd, reproduceerbaar verslag van hoe een moderne trainingssessie omgaat met de rommelige numerieke realiteit van rekenkunde met gemengde precisie.

Voor de bredere industrie is de boodschap dat 4-bit-training is verschoven van onderzoeksnieuwsgierigheid naar productietechniek. Naarmate meer laboratoria soortgelijke strategieën toepassen, zal de kloof tussen de theoretische hardwarepiekprestaties en de gerealiseerde trainingsdoorvoer kleiner worden – en zullen de kosten voor het trainen van geschikte modellen blijven dalen.

Blijf AI een stap voor

De technieken achter grensmodellen evolueren wekelijks. Volg AI Buzz Wire voor duidelijke, brongerichte rapportage over het onderzoek dat het vakgebied vormgeeft.

Lees meer AI-nieuws →