Szczegóły Thinking Machines Kompleksowe szkolenie 4-bitowe na sprzęcie Nvidia GB300

Thinking Machines Lab, firma badawcza założona przez byłą dyrektor ds. technologii OpenAI Mirę Murati, opublikowała szczegółowe techniczne wyjaśnienie, w jaki sposób trenuje duże modele językowe niemal wyłącznie z 4-bitową precyzją. Technika, która według firmy pozwala na znaczne oszczędności w szybkości i pamięci w najnowszym sprzęcie Nvidii dla centrów danych.

Wpis na blogu zatytułowany „Kompleksowe szkolenie w zakresie 4-bitów” i opublikowany na stronie internetowej firmy 13 listopada omawia liczbowe kompromisy stojące za szkoleniem o niskiej precyzji i opisuje, w jaki sposób zespół sobie z nimi poradził podczas szkolenia modelu Inkling 2 Small. Czytelnikom śledzącym najnowsze osiągnięcia w dziedzinie sztucznej inteligencji post oferuje rzadkie publiczne spojrzenie na decyzje inżynieryjne, które określają, ile faktycznie kosztuje szkolenie na pionierską skalę.

Dlaczego mniej bitów oznacza szybsze szkolenie

Uczenie dużego modelu językowego wymaga obliczania i przechowywania ogromnych ilości liczb. Użycie mniejszej liczby bitów dla każdej wartości zmniejsza zużycie pamięci i umożliwia procesorom graficznym szybsze wykonywanie obliczeń arytmetycznych. Kosztem jest precyzja: mniej bitów oznacza mniej możliwych do przedstawienia liczb, dlatego wartości należy zaokrąglać bardziej agresywnie.

Firma ilustruje problem na prostym przykładzie. Jeśli format może reprezentować tylko liczby 3 i 4, zapisanie wartości 3,2 wymaga zaokrąglenia do 3, co powoduje błąd kwantyzacji wynoszący 0,2. Pojedynczy błąd zaokrąglenia jest trywialny, ale podczas uczenia błędy te kumulują się w różnych warstwach i krokach optymalizacji i mogą zakłócać sam proces uczenia się.

„To jest główne wyzwanie treningu o niskiej precyzji: w jaki sposób możemy skorzystać z szybszej arytmetyki bez wprowadzania błędów zakłócających uczenie się?” – napisała firma w poście.

Trzy formaty, jeden bieg treningowy

Zamiast ograniczać się do jednego poziomu precyzji, Thinking Machines wykorzystuje trzy formaty liczbowe na różnych etapach szkolenia: BF16, MXFP8 i NVFP4. Każdy format ma stałą precyzję, ale jego prędkość zależy od sprzętu, na którym jest uruchomiony.

Firma szkoli się na platformie Grace Blackwell Ultra firmy Nvidia, GB300, która została specjalnie zaprojektowana do przyspieszania mnożenia macierzy w NVFP4. Według postu NVFP4 przechowuje wartości z 3,6 razy mniejszą liczbą bitów niż BF16, a jednocześnie działa do 6 razy szybciej w systemach GB300. Jeśli chodzi o surową przepustowość, firma podaje wydajność GB300 na poziomie około 15 PFLOPS w NVFP4, 5 PFLOPS w MXFP8 i 2,5 PFLOPS w BF16.

Problem polega na tym, że agresywna kompresja NVFP4 wprowadza znacznie więcej błędów kwantyzacji niż szersze formaty. Błąd ten jest akceptowalny na niektórych etapach szkolenia, a na innych niedopuszczalny, dlatego firma traktuje każdy etap szkolenia odrębnie.

Różne etapy, różne zasady

W poście na blogu szkolenie podzielono na cztery etapy — przejścia wstępnego i wstecznego szkolenia wstępnego, próbnik uczenia się przez wzmacnianie i trener RL — i przypisano każdemu z nich inną równowagę priorytetów pomiędzy minimalizacją błędu, minimalizacją błędu systematycznego, zwiększeniem szybkości i zmniejszeniem zużycia pamięci.

Szybkość ma największe znaczenie w etapach o dużej objętości: przygotowaniu wstępnym, które obejmuje biliony tokenów, oraz próbkowaniu RL, które generuje duże liczby wdrożeń. Podania do tyłu są jednak przypadkiem szczególnym. W poście wyjaśniono, że średnia przechodzi wstecz dla wielu tokenów w partii, co osłabia wpływ losowo rozłożonych błędów zaokrągleń — są one jednak bardzo wrażliwe na błąd kwantyzacji, czyli systematyczny dryf występujący, gdy wartości konsekwentnie zaokrąglają się w jednym kierunku. W przeciwieństwie do szumu losowego, to odchylenie może się nakładać na warstwy, próbki i etapy uczenia.

Firma twierdzi, że poradziła sobie z tymi kompromisami podczas szkolenia Inkling 2 Small, otwartego modelu będącego mieszanką ekspertów, który wypuścił na rynek na początku tego miesiąca na licencji Apache 2.0. Post nie twierdzi, że każda część przebiegu przebiegała w 4 bitach; opisuje raczej kompleksową strategię, w której precyzja każdego komponentu jest wybierana celowo, a nie domyślnie dziedziczona.

Dlaczego szkolenie o niskiej precyzji ma znaczenie

Ekonomia jest tutaj prosta. Obliczenia stanowią dominujący koszt w rozwoju modeli pionierskich, a dostawcy sprzętu ścigają się, aby dodać akcelerację o niskiej precyzji do każdej nowej generacji chipów. Nvidia umieściła obsługę NVFP4 na swojej platformie Blackwell Ultra jako główną funkcję, a konkurencyjne akceleratory firm AMD, Google i innych reklamują własne formaty o zmniejszonej precyzji.

Jeśli laboratoria badawcze będą w stanie bezpiecznie przenieść większą część potoku szkoleniowego na arytmetykę 4-bitową, ten sam budżet sprzętowy pozwoli na zakup większej liczby eksperymentów, większej liczby tokenów lub większych modeli. To znacząca przewaga na rynku, na którym dostęp do najnowocześniejszych akceleratorów jest ograniczony i kosztowny. Wiąże się to również z szerszym dążeniem branży do technik zwiększania wydajności, takich jak wnioskowanie uwzględniające kwantyzację i dekodowanie spekulatywne, które wyciskają więcej możliwości ze stałego sprzętu.

Post jest także sygnałem, w jakim kierunku zmierza społeczność naukowa. Trening o niskiej precyzji był przez długi czas postrzegany jako zbyt ryzykowny dla czegokolwiek poza wnioskowaniem, ponieważ zakładano, że błędy zaokrągleń zakłócają proces uczenia się. Dokładna analiza etap po etapie – taka jak ta opublikowana przez Thinking Machines – pozwala sprawdzić, w jaki sposób to założenie zostaje sprawdzone i, jeśli to możliwe, obalone.

Od wpisu na blogu do otwartych ciężarów

To, co czyni to ujawnienie godnym uwagi, to fakt, że nie jest ono czysto teoretyczne. Firma powiązała tę technikę bezpośrednio z modelem, który faktycznie dostarczyła. Inkling 2 Small został wydany z ciężarkami do pobrania na początku listopada, a nowy post wyjaśnia strategię numeryczną stojącą za jego szkoleniem. Praktycy, którzy pobiorą model, w efekcie otrzymają działający artefakt opartej na mało precyzyjnej metodologii opisanej przez firmę.

Thinking Machines było niezwykle otwarte jak na pionierskie laboratorium, publikując techniczne posty na blogu wraz z premierami swoich modeli. Ta przejrzystość daje zewnętrznym badaczom coś rzadkiego: udokumentowany, powtarzalny opis tego, jak nowoczesny przebieg treningowy radzi sobie z chaotyczną rzeczywistością numeryczną arytmetyki mieszanej precyzji.

Dla szerszej branży komunikat jest taki, że szkolenie 4-bitowe przeszło od ciekawości badawczej do techniki produkcyjnej. W miarę jak coraz więcej laboratoriów będzie przyjmować podobne strategie, różnica między teoretyczną szczytową wydajnością sprzętu a realną wydajnością szkolenia będzie się zmniejszać, a koszt szkolenia modeli zdolnych do uczenia się będzie nadal spadać.

Wyprzedź sztuczną inteligencję

Techniki stojące za modelami pionierskimi ewoluują co tydzień. Śledź AI Buzz Wire, aby uzyskać jasne, oparte na źródłach raporty z badań, które kształtują tę dziedzinę.

Przeczytaj więcej aktualności o sztucznej inteligencji →