Thinking Machines détaille la formation 4 bits de bout en bout sur le matériel Nvidia GB300

Thinking Machines Lab, la société de recherche fondée par Mira Murati, ancienne directrice de la technologie d'OpenAI, a publié une explication technique détaillée de la façon dont elle entraîne de grands modèles de langage presque entièrement avec une précision de 4 bits - une technique qui, selon la société, permet d'importantes économies de vitesse et de mémoire sur le tout dernier matériel de centre de données de Nvidia.

Le billet de blog, intitulé "End-to-End 4-Bit Training" et publié sur le site Web de l'entreprise le 13 novembre, passe en revue les compromis numériques derrière la formation de faible précision et décrit comment l'équipe les a gérés lors de la formation de son modèle Inkling 2 Small. Pour les lecteurs qui suivent les derniers développements de l’IA, l’article offre un rare aperçu public des décisions d’ingénierie qui déterminent le coût réel d’une formation à l’échelle de la frontière.

Pourquoi moins de bits signifie une formation plus rapide

La formation d'un grand modèle de langage implique le calcul et le stockage d'énormes quantités de nombres. L'utilisation de moins de bits pour chaque valeur réduit l'utilisation de la mémoire et permet aux GPU d'effectuer des calculs plus rapidement. Le coût est la précision : moins de bits signifie moins de nombres représentables, les valeurs doivent donc être arrondies de manière plus agressive.

L'entreprise illustre le problème avec un exemple simple. Si un format ne peut représenter que les nombres 3 et 4, le stockage de 3,2 nécessite un arrondi à 3, introduisant une erreur de quantification de 0,2. Une seule erreur d'arrondi est triviale, mais pendant la formation, ces erreurs s'accumulent à travers les couches et les étapes d'optimisation, et peuvent interférer avec le processus d'apprentissage lui-même.

« C'est le défi central de l'entraînement de faible précision : comment pouvons-nous bénéficier d'un calcul plus rapide sans introduire d'erreurs qui interfèrent avec l'apprentissage ? » a écrit la société dans le message.

Trois formats, une séance d'entraînement

Plutôt que de s'engager sur un seul niveau de précision, Thinking Machines utilise trois formats numériques à différentes étapes de formation : BF16, MXFP8 et NVFP4. Chaque format a une précision fixe, mais sa vitesse dépend du matériel qui l'exécute.

La société s'entraîne sur la plate-forme Grace Blackwell Ultra de Nvidia, la GB300, spécialement conçue pour accélérer les multiplications matricielles dans NVFP4. Selon l'article, NVFP4 stocke les valeurs avec 3,6 fois moins de bits que BF16 tout en fonctionnant jusqu'à 6 fois plus rapidement sur les systèmes GB300. En termes de débit brut, la société répertorie les performances du GB300 à environ 15 PFLOPS en NVFP4, 5 PFLOPS en MXFP8 et 2,5 PFLOPS en BF16.

Le problème est que la compression agressive de NVFP4 introduit beaucoup plus d'erreurs de quantification que les formats plus larges. Cette erreur est acceptable à certaines étapes de la formation et inacceptable à d’autres, c’est pourquoi l’entreprise traite chaque étape séparément.

Différentes étapes, différentes règles

Le billet de blog divise la formation en quatre étapes : les passes avant et arrière de la pré-formation, l'échantillonneur d'apprentissage par renforcement et le formateur RL - et attribue à chacune un équilibre différent de priorités entre minimiser les erreurs, minimiser les biais, augmenter la vitesse et réduire l'utilisation de la mémoire.

La vitesse compte le plus dans les étapes à volume élevé : le pré-entraînement, qui s'étend sur des milliards de jetons, et l'échantillonnage RL, qui génère de grands volumes de déploiements. Les passes en arrière constituent cependant un cas particulier. Le message explique que les passes en arrière font la moyenne sur de nombreux jetons d'un lot, ce qui dilue l'impact des erreurs d'arrondi distribuées de manière aléatoire – mais elles sont très sensibles au biais de quantification, la dérive systématique qui se produit lorsque les valeurs s'arrondissent systématiquement dans une direction. Contrairement au bruit aléatoire, ce biais peut s’aggraver entre les couches, les échantillons et les étapes de formation.

La société affirme avoir réussi ces compromis tout en formant Inkling 2 Small, le modèle mixte d'experts à poids ouvert qu'elle a publié plus tôt ce mois-ci sous une licence Apache 2.0. Le message ne prétend pas que chaque partie de l'exécution s'est déroulée en 4 bits ; il décrit plutôt une stratégie de bout en bout dans laquelle la précision de chaque composant est choisie délibérément plutôt qu'héritée par défaut.

Pourquoi la formation de faible précision est importante

Les aspects économiques ici sont simples. Le calcul constitue le coût dominant dans le développement de modèles de pointe, et les fournisseurs de matériel se sont précipités pour ajouter une accélération de faible précision à chaque nouvelle génération de puces. Nvidia a positionné la prise en charge de NVFP4 dans sa plate-forme Blackwell Ultra comme une fonctionnalité phare, et les accélérateurs concurrents d'AMD, Google et d'autres annoncent leurs propres formats de précision réduite.

Si les laboratoires de recherche peuvent pousser en toute sécurité une plus grande partie du pipeline de formation vers l'arithmétique 4 bits, le même budget matériel permet d'acheter plus d'expériences, plus de jetons ou des modèles plus grands. Il s’agit d’un avantage significatif sur un marché où l’accès aux accélérateurs de pointe est rare et coûteux. Cela s'ajoute également à la tendance plus large de l'industrie vers des techniques d'efficacité telles que l'inférence sensible à la quantification et le décodage spéculatif, qui exploitent toutes deux davantage de capacités du matériel fixe.

Ce message indique également vers où se dirige la communauté des chercheurs. La formation de faible précision a longtemps été considérée comme trop risquée pour aller au-delà de l'inférence, car les erreurs d'arrondi étaient considérées comme corrompant l'apprentissage. Une analyse minutieuse étape par étape – comme celle publiée par Thinking Machines – permet de tester et, si possible, d’infirmer cette hypothèse.

De l'article de blog aux poids ouverts

Ce qui rend cette divulgation remarquable, c’est qu’elle n’est pas purement théorique. La société a lié la technique directement à un modèle qu’elle a effectivement expédié. Inkling 2 Small est sorti avec des poids téléchargeables début novembre, et le nouvel article explique la stratégie numérique derrière sa formation. Les praticiens qui téléchargent le modèle obtiennent, en fait, un artefact fonctionnel de la méthodologie de faible précision décrite par l’entreprise.

Thinking Machines s'est montré exceptionnellement ouvert pour un laboratoire à l'échelle frontière, publiant des articles de blog techniques parallèlement à ses versions de modèles. Cette transparence offre aux chercheurs extérieurs quelque chose de rare : un compte rendu documenté et reproductible de la façon dont un programme de formation moderne gère les réalités numériques désordonnées de l'arithmétique à précision mixte.

Pour l’ensemble de l’industrie, le message est que la formation 4 bits est passée de la curiosité de recherche à la technique de production. À mesure que de plus en plus de laboratoires adopteront des stratégies similaires, l’écart entre les performances théoriques maximales du matériel et le débit de formation réalisé se rétrécira – et le coût des modèles capables de former continuera de baisser.

Gardez une longueur d'avance sur l'IA

Les techniques derrière les modèles frontières évoluent chaque semaine. Suivez AI Buzz Wire pour des reportages clairs et fiables sur les recherches qui façonnent le domaine.

Lire plus d'actualités sur l'IA →