Podrobnosti o Thinking Machines Kompletní 4bitové školení na hardwaru Nvidia GB300

Thinking Machines Lab, výzkumná společnost založená bývalou hlavní technologickou ředitelkou OpenAI Mirou Murati, zveřejnila podrobné technické vysvětlení toho, jak trénuje velké jazykové modely téměř výhradně ve 4bitové přesnosti – tato technika podle společnosti odemyká velké úspory rychlosti a paměti na nejnovějším hardwaru datových center Nvidia.

Příspěvek na blogu s názvem „End-to-End 4-Bit Training“ a zveřejněný na webových stránkách společnosti 13. listopadu prochází numerickými kompromisy za školením s nízkou přesností a popisuje, jak je tým zvládl při školení svého modelu Inkling 2 Small. Pro čtenáře, kteří sledují nejnovější vývoj AI, příspěvek nabízí vzácný veřejný pohled na inženýrská rozhodnutí, která určují, kolik skutečně stojí hraniční školení.

Proč méně bitů znamená rychlejší trénink

Trénink velkého jazykového modelu zahrnuje výpočet a ukládání obrovského množství čísel. Použití méně bitů pro každou hodnotu snižuje využití paměti a umožňuje GPU provádět aritmetiku rychleji. Cena je přesnost: méně bitů znamená méně reprezentativních čísel, takže hodnoty musí být zaokrouhleny agresivněji.

Společnost problém ilustruje na jednoduchém příkladu. Pokud formát může reprezentovat pouze čísla 3 a 4, uložení 3.2 vyžaduje zaokrouhlení na 3, čímž se zavádí kvantizační chyba 0,2. Jediná chyba zaokrouhlení je triviální, ale během trénování se tyto chyby hromadí napříč vrstvami a optimalizačními kroky a mohou narušovat samotný proces učení.

"Toto je hlavní výzva školení s nízkou přesností: jak můžeme těžit z rychlejší aritmetiky, aniž bychom zaváděli chyby, které narušují učení?" napsala společnost v příspěvku.

Tři formáty, jeden tréninkový běh

Namísto toho, aby se zavázali k jediné úrovni přesnosti, Thinking Machines používá v různých fázích školení tři číselné formáty: BF16, MXFP8 a NVFP4. Každý formát má pevnou přesnost, ale jeho rychlost závisí na hardwaru, na kterém běží.

Společnost trénuje na platformě Nvidia Grace Blackwell Ultra, GB300, která je speciálně navržena pro urychlení násobení matic v NVFP4. Podle příspěvku NVFP4 ukládá hodnoty s 3,6krát méně bity než BF16, přičemž běží až 6krát rychleji na systémech GB300. Z hlediska hrubé propustnosti společnost uvádí výkon GB300 zhruba 15 PFLOPS v NVFP4, 5 PFLOPS v MXFP8 a 2,5 PFLOPS v BF16.

Háček je v tom, že agresivní komprese NVFP4 přináší mnohem větší kvantizační chybu než širší formáty. Tato chyba je v některých fázích školení přijatelná a v jiných nepřijatelná, proto společnost přistupuje ke každé fázi samostatně.

Různé fáze, různá pravidla

Blogový příspěvek rozděluje trénink do čtyř fází – vpřed a vzad předtréninku, vzorkovač učení posilování a RL trenér – a každému přiřazuje jinou rovnováhu priorit mezi minimalizací chyb, minimalizací zkreslení, zvýšením rychlosti a snížením využití paměti.

Rychlost je nejdůležitější v krocích s velkým objemem: předtrénování, které zahrnuje biliony tokenů, a vzorkování RL, které generuje velké objemy zavádění. Zpětné přihrávky jsou však zvláštním případem. Příspěvek vysvětluje, že zpětné průchody jsou průměrem mnoha tokenů v dávce, což snižuje dopad náhodně rozložených chyb zaokrouhlování – ale jsou vysoce citlivé na kvantizační zkreslení, systematický posun, ke kterému dochází, když se hodnoty konzistentně zaokrouhlují jedním směrem. Na rozdíl od náhodného šumu se toto zkreslení může skládat napříč vrstvami, vzorky a tréninkovými kroky.

Společnost říká, že tyto kompromisy zvládla během školení Inkling 2 Small, modelu otevřeného mixu expertů, který vydala začátkem tohoto měsíce pod licencí Apache 2.0. Příspěvek netvrdí, že každá část běhu běžela ve 4 bitech; spíše popisuje strategii end-to-end, ve které je přesnost každé součásti vybrána záměrně, nikoli zděděna ve výchozím nastavení.

Proč je důležité školení s nízkou přesností

Ekonomika je zde přímočará. Výpočet je dominantní cenou ve vývoji hraničních modelů a prodejci hardwaru se předháněli v tom, kdo do každé nové generace čipu přidá zrychlení s nízkou přesností. Nvidia umístila podporu NVFP4 do své platformy Blackwell Ultra jako hlavní funkci a konkurenční akcelerátory od AMD, Google a dalších inzerují své vlastní formáty se sníženou přesností.

Pokud výzkumné laboratoře dokážou bezpečně prosadit větší část tréninkového kanálu do 4bitové aritmetiky, za stejný rozpočet na hardware se kupují další experimenty, více tokenů nebo větší modely. To je významná výhoda na trhu, kde je přístup k nejmodernějším akcelerátorům vzácný a drahý. Slučuje se také s širším tlakem v tomto odvětví směrem k technikám efektivity, jako je kvantizační vyvozování a spekulativní dekódování, které oba vytlačují více možností z pevného hardwaru.

Příspěvek je také signálem, kam se výzkumná komunita ubírá. Školení s nízkou přesností bylo dlouho považováno za příliš riskantní pro cokoliv, co se nedalo odvodit, protože se předpokládalo, že chyby zaokrouhlování narušují učení. Pečlivá analýza jednotlivých fází – jako ta, kterou zveřejnila Thinking Machines – je způsob, jakým se tento předpoklad testuje a kde je to možné, převrací.

Od příspěvku na blogu k Open Weights

Zveřejnění je pozoruhodné tím, že není čistě teoretické. Společnost svázala techniku ​​přímo s modelem, který skutečně odeslala. Inkling 2 Small byl vydán se závažím ke stažení na začátku listopadu a nový příspěvek vysvětluje numerickou strategii za jeho tréninkem. Praktici, kteří si model stáhnou, ve skutečnosti získávají funkční artefakt metodologie s nízkou přesností, kterou společnost popisuje.

Thinking Machines byl neobvykle otevřený pro laboratoř v hraničním měřítku a publikoval technické blogové příspěvky spolu se svými modely. Tato transparentnost poskytuje externím výzkumníkům něco vzácného: zdokumentovaný, reprodukovatelný popis toho, jak moderní tréninkový běh zvládá chaotické numerické reality aritmetiky se smíšenou přesností.

Pro širší průmysl je poselstvím, že 4bitové školení se přesunulo od výzkumné kuriozity k výrobní technice. Čím více laboratoří přijímá podobné strategie, propast mezi teoretickým špičkovým výkonem hardwaru a realizovanou propustností školení se bude zužovat – a náklady na modely schopné školení budou nadále klesat.

Udržujte si náskok před AI

Techniky hraničních modelů se vyvíjejí každý týden. Sledujte AI Buzz Wire, abyste získali jasné zprávy o výzkumu, který utváří toto pole, ze zdrojů.

Přečtěte si další zprávy o AI →