Les chercheurs ont formé un LLM uniquement sur du matériel de cinquième année – et ont trouvé son plafond de capacité

Que se passe-t-il lorsqu'un grand modèle linguistique ne voit jamais de matériel au-delà de la cinquième année ? Une équipe de sept chercheurs a répondu littéralement à cette question : ils ont construit LittleLearner, un LLM de 5 milliards de paramètres formé à partir de zéro sur un corpus filtré selon le programme d'études des écoles primaires américaines, puis ont testé si quelque chose - plus de paramètres, plus de post-formation, des invites plus intelligentes - pouvait pousser le modèle au-delà de ce que ses données de pré-formation lui ont appris. La réponse, rapportent-ils, est non.

L'article, « LittleLearner : Language Models Under Pedagogically-Controlled Knowledge Exposure », a été soumis à arXiv le 13 août par Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell et Wieland Brendel. Le 16 août, ce sujet a fait l'objet d'une discussion en pleine expansion chez Hacker News avec plus de 200 votes positifs, alors que chercheurs et praticiens débattaient de ce que cela signifiait pour l'hypothèse préférée de l'industrie : selon laquelle la post-formation peut créer des capacités à partir de rien. C’est exactement le genre d’expérience prudente et à contre-courant que nous surveillons dans notre couverture de la recherche sur l’IA.

Un bac à sable avec une frontière de connaissances

Les LLM modernes sont formés sur pratiquement tout, ce qui rend presque impossible de savoir si une compétence démontrée a été véritablement acquise au cours de la formation ou simplement obtenue par la bonne invite. La solution de l'équipe a été de limiter la distribution de la formation elle-même. À partir de FineWeb-Edu, ils ont distillé un corpus de 88 milliards de jetons – baptisé LittleCurriculum – via un pipeline de filtrage en cinq étapes aligné sur les normes de base communes pour la maternelle jusqu'à la 5e année. Les concepts, les faits et le vocabulaire enseignés au-delà de la 5e année ont été explicitement exclus.

Sur ce corpus, ils ont formé des modèles à trois échelles (paramètres 0,6B, 1,3B et 5B) à partir de zéro, chacun étant livré avec un modèle de contrôle correspondant formé sur des données non filtrées avec la même architecture et le même budget de jetons. Le résultat est un modèle suffisamment fluide pour une évaluation ouverte (vous pouvez discuter avec une version 5B hébergée dans un navigateur) mais qui possède une limite de connaissances précise et interprétable : si ce modèle ne figurait pas dans le programme élémentaire, le modèle ne l'aurait jamais vu.

Élicitation, pas acquisition

La conclusion principale est brutale : la boîte à outils standard destinée à rendre les modèles plus intelligents a amplifié ce que LittleLearner savait déjà, mais aucun d'entre eux n'a amélioré de manière significative les performances hors du champ d'application.

La mise à l'échelle a amélioré la précision des connaissances contrôlées du modèle et s'est étendue modestement le long de la même trajectoire d'apprentissage, mais n'a que peu d'effet pour les problèmes nécessitant des capacités au-delà du matériel de 5e année. La post-formation avec GRPO – la méthode d'apprentissage par renforcement à l'origine d'une grande partie du boom des modèles de raisonnement – ​​a considérablement amélioré les capacités de la maternelle à la 5e année, mais n'a pas réussi à récupérer les capacités au-delà de la maternelle à la 5e année, même lors d'une formation avec des données hors champ. Et l'apprentissage en contexte, la magie quotidienne consistant à insérer des connaissances dans une invite, a aidé le modèle à utiliser ce dont il disposait, mais n'a pas permis de débloquer de nouveaux raisonnements au-delà des limites.

En bref, le filtre de pré-formation fixe le plafond de capacité efficace. Les auteurs présentent le résultat comme la preuve d'une distinction que le champ brouille constamment : la post-formation et l'incitation sont suscitées ; la pré-formation acquiert.

Contrôles propres, points de contrôle publics

C’est la méthodologie qui donne leur force aux affirmations. Étant donné que chaque modèle LittleLearner est livré avec un contrôle non filtré correspondant (même architecture, même nombre de jetons, même recette de formation), l'équipe peut attribuer toute différence de comportement au seul filtre du programme. Les spécialistes en mathématiques post-formés sur le benchmark MathCAMPS permettent aux chercheurs d'évaluer les performances par niveau scolaire, en traçant exactement où se termine la capacité couverte par le champ d'application. Et contrairement à la plupart des journaux frontaliers, tout est public : le corpus, les points de contrôle de base et post-formation aux trois échelles sur HuggingFace, et une démo de chat hébergée, afin que les équipes indépendantes puissent sonder elles-mêmes la frontière.

Cette ouverture alimente le débat sur Hacker News. Les commentateurs ont testé le comportement du modèle hébergé à la pointe de ses connaissances - qu'il s'abstienne, devine ou hallucine lorsqu'il dépasse la 5e année - et discutent des implications : certains considèrent les résultats comme une mauvaise nouvelle pour le battage médiatique du modèle de raisonnement, d'autres soulignent que les données de pré-formation à l'échelle du Web contiennent bien plus que des concepts d'école primaire, de sorte que les plafonds des modèles frontières sont en conséquence plus élevés. Les auteurs de l'article eux-mêmes sont prudents sur ce point : leur affirmation porte sur ce que les interventions standards ne pourraient pas faire pour un modèle avec une éducation connue et contrôlée, et non sur une prédiction directe sur les laboratoires frontières.

Pourquoi c'est important au-delà de la salle de classe

L’expérience s’adresse directement aux débats en direct sur l’IA. Les laboratoires d’IA dépensent des milliards en programmes post-entraînement, partant de l’idée que l’apprentissage par renforcement peut pousser un modèle de base bien au-delà de ses capacités brutes. LittleLearner suggère que ces gains peuvent largement résider dans – et être limités par – ce que soutiennent les données de pré-formation. C’est un argument pour se soucier beaucoup plus de la conservation des données et pour traiter avec scepticisme les allégations de capacités post-formation « émergentes ».

Le communiqué est également un véritable instrument de recherche, pas seulement un article. L'équipe a publié ouvertement LittleCurriculum et tous les points de contrôle du modèle, et la page du projet décrit les expériences que le bac à sable permet : si RL peut réellement créer des capacités plutôt que de les récompenser, avec quelle efficacité en matière d'échantillonnage un modèle apprend un concept véritablement nouveau tel que les nombres négatifs lorsqu'il est introduit, et si les machines et les enfants ont besoin d'une exposition similaire - ou commettent des erreurs similaires - lors de l'apprentissage des fractions.

Pour un domaine qui fait rarement l’objet de contrôles clairs, un modèle avec une formation explicitement spécifiée est un cadeau rare. Et pour tous les autres, c’est un rappel qui mérite d’être épinglé au-dessus du bureau : aucun modèle – ni personne – ne peut sortir par la raison de ce qui ne lui a jamais été enseigné.

Gardez une longueur d'avance sur l'IA

Couverture de qualité évaluée par les pairs de la recherche remodelant l’IA, diffusée quotidiennement. Ajoutez notre hub à vos favoris pour connaître les derniers développements en matière d'IA.

Lire plus d'actualités sur l'IA →