Detalii Thinking Machines Training end-to-end pe 4 biți pe hardware-ul Nvidia GB300

Thinking Machines Lab, compania de cercetare fondată de fostul director de tehnologie OpenAI Mira Murati, a publicat o explicație tehnică detaliată a modului în care antrenează modele mari de limbaj aproape în întregime cu precizie de 4 biți - o tehnică despre care compania spune că deblochează economii majore de viteză și memorie pe cel mai nou hardware Nvidia pentru centre de date.

Postarea de blog, intitulată „End-to-End 4-Bit Training” și publicată pe site-ul companiei pe 13 noiembrie, prezintă compromisurile numerice din spatele antrenamentului cu precizie redusă și descrie modul în care echipa le-a gestionat în timp ce își antrenează modelul Inkling 2 Small. Pentru cititorii care urmăresc cele mai recente evoluții AI, postarea oferă o privire publică rară asupra deciziilor de inginerie care determină cât costă de fapt o cursă de formare la scară de frontieră.

De ce mai puține biți înseamnă un antrenament mai rapid

Antrenarea unui model de limbaj mare presupune calcularea și stocarea unor cantități enorme de numere. Folosind mai puțini biți pentru fiecare valoare reduce utilizarea memoriei și permite GPU-urilor să efectueze aritmetica mai rapid. Costul este precizia: mai puțini biți înseamnă mai puține numere reprezentabile, deci valorile trebuie rotunjite mai agresiv.

Compania ilustrează problema printr-un exemplu simplu. Dacă un format poate reprezenta doar numerele 3 și 4, stocarea 3.2 necesită rotunjirea la 3, introducând o eroare de cuantizare de 0,2. O singură eroare de rotunjire este banală, dar în timpul antrenamentului aceste erori se acumulează pe straturi și pași de optimizare și pot interfera cu procesul de învățare în sine.

„Aceasta este provocarea centrală a antrenamentului cu precizie scăzută: cum putem beneficia de o aritmetică mai rapidă fără a introduce erori care interferează cu învățarea?” a scris compania în postare.

Trei formate, un antrenament

În loc să se angajeze la un singur nivel de precizie, Thinking Machines utilizează trei formate numerice în diferite etape de antrenament: BF16, MXFP8 și NVFP4. Fiecare format are o precizie fixă, dar viteza sa depinde de hardware-ul care îl rulează.

Compania se antrenează pe platforma Nvidia Grace Blackwell Ultra, GB300, care este special concepută pentru a accelera multiplicarea matricei în NVFP4. Potrivit postării, NVFP4 stochează valori cu de 3,6 ori mai puțini biți decât BF16, în timp ce rulează de până la 6 ori mai rapid pe sistemele GB300. În termeni bruti de debit, compania listează performanța GB300 la aproximativ 15 PFLOPS în NVFP4, 5 PFLOPS în MXFP8 și 2,5 PFLOPS în BF16.

Problema este că compresia agresivă a lui NVFP4 introduce mult mai multe erori de cuantizare decât formatele mai largi. Această eroare este acceptabilă în unele etape de pregătire și inacceptabilă în altele, motiv pentru care compania tratează fiecare etapă separat.

Diferite etape, diferite reguli

Postarea de blog împarte antrenamentul în patru etape — trecerile înainte și înapoi ale antrenamentului preliminar, eșantionul de învățare prin întărire și antrenorul RL — și atribuie fiecăruia un echilibru diferit de priorități între minimizarea erorii, minimizarea părtinirii, creșterea vitezei și reducerea utilizării memoriei.

Viteza contează cel mai mult în pașii cu volum mare: antrenamentul preliminar, care rulează peste trilioane de jetoane și eșantionarea RL, care generează volume mari de lansări. Pasele înapoi, însă, sunt un caz special. Postarea explică că media trece înapoi peste multe jetoane dintr-un lot, ceea ce diluează impactul erorilor de rotunjire distribuite aleatoriu - dar sunt foarte sensibile la distorsiunea de cuantizare, deviația sistematică care apare atunci când valorile se rotunjesc în mod constant într-o direcție. Spre deosebire de zgomotul aleatoriu, această părtinire se poate agrava pe straturi, mostre și pași de antrenament.

Compania spune că a gestionat aceste compromisuri în timp ce antrena Inkling 2 Small, modelul deschis de amestec de experți pe care l-a lansat la începutul acestei luni sub o licență Apache 2.0. Postarea nu pretinde că fiecare parte a rulării a rulat în 4 biți; mai degrabă, descrie o strategie end-to-end în care precizia fiecărei componente este aleasă în mod deliberat, mai degrabă decât moștenită implicit.

De ce contează antrenamentul cu precizie scăzută

Economia de aici este simplă. Calculul este costul dominant în dezvoltarea modelelor de frontieră, iar furnizorii de hardware s-au luptat pentru a adăuga accelerație de precizie scăzută la fiecare nouă generație de cipuri. Nvidia a poziționat suportul NVFP4 în platforma sa Blackwell Ultra ca o caracteristică principală, iar acceleratorii rivali de la AMD, Google și alții își promovează propriile formate cu precizie redusă.

Dacă laboratoarele de cercetare pot împinge în siguranță mai mult din conducta de instruire în aritmetica pe 4 biți, același buget hardware cumpără mai multe experimente, mai multe jetoane sau modele mai mari. Acesta este un avantaj semnificativ pe o piață în care accesul la acceleratoare de ultimă oră este limitat și costisitor. De asemenea, se îmbină cu forța mai largă a industriei către tehnici de eficiență, cum ar fi inferența conștientă de cuantizare și decodarea speculativă, ambele care stoarce mai multe capacități din hardware-ul fix.

Postarea este, de asemenea, un semnal despre unde se îndreaptă comunitatea de cercetare. Antrenamentul cu precizie redusă a fost mult timp considerat prea riscant pentru orice altceva dincolo de inferență, deoarece se presupunea că erorile de rotunjire corupă învățarea. Analiza atentă, pas cu pas, precum cea publicată de Thinking Machines, este modul în care această presupunere este testată și, acolo unde este posibil, răsturnată.

De la postarea de blog la Open Weights

Ceea ce face dezvăluirea notabilă este că nu este pur teoretică. Compania a legat tehnica direct de un model pe care l-a livrat efectiv. Inkling 2 Small a fost lansat cu greutăți descărcabile la începutul lunii noiembrie, iar noua postare explică strategia numerică din spatele antrenamentului său. Practicanții care descarcă modelul primesc, de fapt, un artefact funcțional al metodologiei de precizie scăzută pe care o descrie compania.

Thinking Machines a fost neobișnuit de deschis pentru un laborator la scară de frontieră, publicând postări tehnice pe blog alături de lansările sale de model. Această transparență oferă cercetătorilor din afară ceva rar: o relatare documentată și reproductibilă a modului în care o cursă de antrenament modernă gestionează realitățile numerice dezordonate ale aritmeticii cu precizie mixtă.

Pentru industria mai largă, mesajul este că instruirea pe 4 biți a trecut de la curiozitatea de cercetare la tehnica de producție. Pe măsură ce mai multe laboratoare adoptă strategii similare, decalajul dintre performanța de vârf a hardware-ului teoretic și debitul de instruire realizat se va reduce - iar costul modelelor capabile de formare va continua să scadă.

Rămâi înaintea AI

Tehnicile din spatele modelelor de frontieră evoluează săptămânal. Urmărește AI Buzz Wire pentru rapoarte clare, bazate pe surse, despre cercetările care modelează domeniul.

Citiți mai multe știri AI →