Thinking Machines Details zum End-to-End-4-Bit-Training auf Nvidia GB300-Hardware

Thinking Machines Lab, das von der ehemaligen OpenAI-Technologiechefin Mira Murati gegründete Forschungsunternehmen, hat eine detaillierte technische Erklärung veröffentlicht, wie es große Sprachmodelle fast vollständig in 4-Bit-Präzision trainiert – eine Technik, die laut Angaben des Unternehmens erhebliche Geschwindigkeits- und Speichereinsparungen auf Nvidias neuester Rechenzentrumshardware ermöglicht.

Der Blogbeitrag mit dem Titel „End-to-End 4-Bit Training“, der am 13. November auf der Website des Unternehmens veröffentlicht wurde, geht auf die numerischen Kompromisse ein, die beim Training mit geringer Präzision anfallen, und beschreibt, wie das Team diese beim Training seines Modells Inkling 2 Small bewältigte. Für Leser, die die neuesten KI-Entwicklungen verfolgen, bietet der Beitrag einen seltenen öffentlichen Einblick in die technischen Entscheidungen, die bestimmen, wie viel ein Trainingslauf im Grenzbereich tatsächlich kostet.

Warum weniger Bits ein schnelleres Training bedeuten

Das Training eines großen Sprachmodells erfordert das Berechnen und Speichern enormer Zahlenmengen. Die Verwendung weniger Bits für jeden Wert reduziert die Speichernutzung und ermöglicht es GPUs, Arithmetik schneller durchzuführen. Der Preis liegt in der Präzision: Weniger Bits bedeuten weniger darstellbare Zahlen, sodass Werte aggressiver gerundet werden müssen.

Das Unternehmen verdeutlicht die Problematik anhand eines einfachen Beispiels. Wenn ein Format nur die Zahlen 3 und 4 darstellen kann, erfordert die Speicherung von 3,2 eine Rundung auf 3, was zu einem Quantisierungsfehler von 0,2 führt. Ein einzelner Rundungsfehler ist trivial, aber während des Trainings häufen sich diese Fehler über Schichten und Optimierungsschritte hinweg und können den Lernprozess selbst beeinträchtigen.

„Das ist die zentrale Herausforderung des Trainings mit geringer Präzision: Wie können wir von schnellerer Arithmetik profitieren, ohne Fehler einzuführen, die das Lernen beeinträchtigen?“ schrieb das Unternehmen in dem Beitrag.

Drei Formate, ein Trainingslauf

Anstatt sich auf eine einzige Präzisionsstufe festzulegen, verwendet Thinking Machines drei numerische Formate in verschiedenen Trainingsphasen: BF16, MXFP8 und NVFP4. Jedes Format hat eine feste Genauigkeit, seine Geschwindigkeit hängt jedoch von der Hardware ab, auf der es ausgeführt wird.

Das Unternehmen trainiert auf Nvidias Grace Blackwell Ultra-Plattform, dem GB300, der speziell für die Beschleunigung von Matrixmultiplikationen in NVFP4 entwickelt wurde. Dem Beitrag zufolge speichert NVFP4 Werte mit 3,6-mal weniger Bits als BF16 und läuft auf GB300-Systemen bis zu 6-mal schneller. In Bezug auf den reinen Durchsatz gibt das Unternehmen eine GB300-Leistung von etwa 15 PFLOPS in NVFP4, 5 PFLOPS in MXFP8 und 2,5 PFLOPS in BF16 an.

Der Haken ist, dass die aggressive Komprimierung von NVFP4 weitaus mehr Quantisierungsfehler verursacht als die breiteren Formate. Dieser Fehler ist in einigen Phasen der Ausbildung akzeptabel und in anderen inakzeptabel, weshalb das Unternehmen jede Phase separat behandelt.

Unterschiedliche Phasen, unterschiedliche Regeln

Der Blog-Beitrag unterteilt das Training in vier Phasen – die Vorwärts- und Rückwärtsdurchgänge des Vortrainings, den Reinforcement Learning Sampler und den RL-Trainer – und weist jeder eine unterschiedliche Balance von Prioritäten zwischen Fehlerminimierung, Minimierung von Voreingenommenheit, Erhöhung der Geschwindigkeit und Reduzierung der Speichernutzung zu.

In den Schritten mit hohem Volumen kommt es vor allem auf Geschwindigkeit an: das Vortraining, das Billionen von Token umfasst, und das RL-Sampling, das große Mengen an Rollouts generiert. Rückwärtspässe sind jedoch ein Sonderfall. In dem Beitrag wird erklärt, dass Rückwärtsdurchläufe über viele Token in einem Stapel gemittelt werden, was die Auswirkungen zufällig verteilter Rundungsfehler abschwächt – sie reagieren jedoch sehr empfindlich auf Quantisierungsverzerrungen, die systematische Drift, die auftritt, wenn Werte konsistent in eine Richtung gerundet werden. Im Gegensatz zu zufälligem Rauschen kann sich diese Verzerrung über Ebenen, Samples und Trainingsschritte hinweg verstärken.

Das Unternehmen sagt, dass es diese Kompromisse beim Training von Inkling 2 Small bewältigt hat, dem offenen, gemischten Expertenmodell, das es Anfang dieses Monats unter einer Apache 2.0-Lizenz veröffentlicht hat. Der Beitrag behauptet nicht, dass jeder Teil des Laufs in 4 Bits lief; Vielmehr beschreibt es eine End-to-End-Strategie, bei der die Präzision jeder Komponente bewusst gewählt und nicht standardmäßig vererbt wird.

Warum Training mit geringer Präzision wichtig ist

Die wirtschaftlichen Aspekte sind hier einfach. Rechenleistung ist der dominierende Kostenfaktor bei der Entwicklung von Spitzenmodellen, und Hardware-Anbieter wetteifern darum, jeder neuen Chip-Generation eine Beschleunigung mit geringer Präzision hinzuzufügen. Nvidia hat die NVFP4-Unterstützung in seiner Blackwell Ultra-Plattform als Schlagzeilenmerkmal positioniert, und konkurrierende Beschleuniger von AMD, Google und anderen werben mit ihren eigenen Formaten mit reduzierter Präzision.

Wenn Forschungslabore einen größeren Teil der Trainingspipeline sicher in die 4-Bit-Arithmetik umwandeln können, können mit dem gleichen Hardwarebudget mehr Experimente, mehr Token oder größere Modelle gekauft werden. Das ist ein bedeutender Vorteil in einem Markt, in dem der Zugang zu hochmodernen Beschleunigern knapp und teuer ist. Dies steht auch im Zusammenhang mit dem breiteren Streben der Branche nach Effizienztechniken wie quantisierungsbewusster Inferenz und spekulativer Dekodierung, die beide mehr Leistungsfähigkeit aus fester Hardware herausholen.

Der Beitrag ist auch ein Signal dafür, wohin die Forschungsgemeinschaft geht. Ein Training mit geringer Präzision galt lange Zeit als zu riskant für alles, was über Schlussfolgerungen hinausging, da angenommen wurde, dass Rundungsfehler das Lernen verfälschen. Durch eine sorgfältige Schritt-für-Schritt-Analyse – wie die von Thinking Machines veröffentlichte – wird diese Annahme überprüft und, wo möglich, widerlegt.

Vom Blogbeitrag zu offenen Gewichten

Das Besondere an der Offenlegung ist, dass sie nicht rein theoretisch ist. Das Unternehmen verknüpfte die Technik direkt mit einem Modell, das es tatsächlich ausgeliefert hatte. Inkling 2 Small wurde Anfang November mit herunterladbaren Gewichten veröffentlicht und der neue Beitrag erklärt die numerische Strategie hinter seinem Training. Praktiker, die das Modell herunterladen, erhalten praktisch ein funktionierendes Artefakt der vom Unternehmen beschriebenen Methode mit geringer Präzision.

Thinking Machines war für ein Labor im Grenzbereich ungewöhnlich offen und veröffentlichte neben seinen Modellveröffentlichungen auch technische Blogbeiträge. Diese Transparenz gibt externen Forschern etwas Seltenes: einen dokumentierten, reproduzierbaren Bericht darüber, wie ein moderner Trainingslauf mit den chaotischen numerischen Realitäten der Arithmetik mit gemischter Genauigkeit umgeht.

Für die gesamte Branche lautet die Botschaft, dass sich die 4-Bit-Ausbildung von der Neugier der Forschung zur Produktionstechnik gewandelt hat. Je mehr Labore ähnliche Strategien anwenden, desto kleiner wird die Lücke zwischen der theoretischen Spitzenleistung der Hardware und dem realisierten Trainingsdurchsatz – und die Kosten für das Training geeigneter Modelle werden weiter sinken.

Bleiben Sie der KI immer einen Schritt voraus

Die Techniken hinter Grenzmodellen entwickeln sich wöchentlich weiter. Folgen Sie AI Buzz Wire für klare, fundierte Berichterstattung über die Forschung, die das Fachgebiet prägt.

Weitere KI-Neuigkeiten lesen →