Onderzoekers trainden een LLM alleen op materiaal van de vijfde klas – en ontdekten het capaciteitsplafond ervan

Wat gebeurt er als een groot taalmodel nooit materiaal ziet dat verder gaat dan het vijfde leerjaar? Een team van zeven onderzoekers beantwoordde die vraag letterlijk: ze bouwden LittleLearner, een LLM met 5 miljard parameters die helemaal opnieuw werd getraind op een corpus dat was gefilterd op het Amerikaanse basisschoolcurriculum, en testten vervolgens of iets – meer parameters, meer post-training, slimmere aanwijzingen – het model verder kon brengen dan wat de pre-trainingsgegevens het leerden. Het antwoord is, zo melden zij, nee.

Het artikel, "LittleLearner: Language Models Under Pedagogically-Controlled Knowledge Exposure", werd op 13 augustus ingediend bij arXiv door Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell en Wieland Brendel. Op 16 augustus was het het onderwerp van een snel groeiende Hacker News-discussie met meer dan 200 stemmen, terwijl onderzoekers en praktijkmensen debatteerden over wat het betekent voor de favoriete veronderstelling van de industrie: dat post-training capaciteiten uit het niets kan toveren. Het is precies het soort zorgvuldige, tegendraadse experiment waar we naar uitkijken in onze [AI-onderzoeksverslaggeving] (https://aibuzzwire.news).

Een sandbox met een kennisgrens

Moderne LLM's worden in wezen op alles getraind, waardoor het vrijwel onmogelijk is om te bepalen of een gedemonstreerde vaardigheid echt tijdens de training is geleerd of alleen maar door de juiste prompt is opgeroepen. De oplossing van het team was om de distributie van de trainingen zelf te beperken. Beginnend met FineWeb-Edu hebben ze een corpus van 88 miljard tokens gedistilleerd – genaamd LittleCurriculum – via een filterpijplijn in vijf fasen, afgestemd op Common Core-standaarden voor de kleuterschool tot en met groep 5. Concepten, feiten en woordenschat die boven groep 5 werden onderwezen, werden expliciet uitgesloten.

Op dit corpus trainden ze vanaf het begin modellen op drie schalen (0,6B-, 1,3B- en 5B-parameters), elk geleverd naast een aangepast besturingsmodel dat was getraind op ongefilterde gegevens met dezelfde architectuur en hetzelfde tokenbudget. Het resultaat is een model dat vloeiend genoeg is voor evaluatie met een open einde (je kunt chatten met een gehoste 5B-versie in een browser) en toch een scherpe, interpreteerbare kennisgrens heeft: als het niet in het basiscurriculum stond, heeft het model het nooit gezien.

Elicitatie, geen acquisitie

De kernbevinding is bot: de standaardtoolkit voor het slimmer maken van modellen versterkte wat LittleLearner al wist, maar niets daarvan verbeterde de prestaties buiten het bereik op betekenisvolle wijze.

Schaalvergroting verbeterde de nauwkeurigheid binnen de gecontroleerde kennis van het model en breidde zich bescheiden uit langs hetzelfde leertraject, maar deed weinig voor problemen die capaciteiten vereisten die verder gingen dan leerjaar 5-materiaal. Post-training met GRPO – de methode van versterkend leren achter een groot deel van de hausse aan redeneermodellen – heeft de vaardigheden binnen het basis- en voortgezet onderwijs aanzienlijk vergroot, maar slaagde er niet in om de vaardigheden buiten het basis- en voortgezet onderwijs te herstellen, zelfs niet wanneer getraind met gegevens die buiten het bereik vielen. En in-context leren, de alledaagse magie van het proppen van kennis in een prompt, hielp het model te gebruiken wat het had, maar ontsloot geen nieuwe redeneringen voorbij de grenzen.

Kortom, het voortrainingsfilter stelt het effectieve capaciteitsplafond in. De auteurs beschouwen het resultaat als bewijs voor een onderscheid dat voortdurend vervaagt: post-training en het uitlokken van prikkels; vooropleiding verwerft.

Schone controles, openbare controlepunten

Het is de methodologie die de claims hun kracht geeft. Omdat elk LittleLearner-model wordt geleverd met een bijpassende, ongefilterde besturing (dezelfde architectuur, hetzelfde aantal tokens, hetzelfde trainingsrecept) kan het team elk gedragsverschil uitsluitend aan het curriculumfilter toeschrijven. Wiskundespecialisten die een posttraining hebben gevolgd in de MathCAMPS-benchmark, laten de onderzoekers de prestaties beoordelen op schoolniveau, waarbij precies wordt nagegaan waar de vaardigheden binnen het toepassingsgebied eindigen. En in tegenstelling tot de meeste grenspapieren is alles openbaar: het corpus, de basis- en post-getrainde controlepunten op alle drie de schalen op HuggingFace, en een gehoste chatdemo, zodat onafhankelijke teams zelf de grens kunnen onderzoeken.

Die openheid voedt het Hacker News-debat. Commentatoren hebben het gedrag van het gehoste model op de kennisgrens getest – of het zich nu onthoudt, gokt of hallucineert als het voorbij groep 5 wordt gepusht – en discussiëren over de implicaties: sommigen beschouwen de resultaten als slecht nieuws voor de redeneermodel-hype, anderen wijzen erop dat voortrainingsgegevens op webschaal veel meer omvatten dan basisschoolconcepten, dus de plafonds van grensmodellen liggen navenant hoger. De auteurs van het artikel zijn zelf voorzichtig op dit punt: hun bewering gaat over wat de standaardinterventies niet zouden kunnen doen voor een model met een bekende, gecontroleerde opleiding, en niet over een directe voorspelling over grenslaboratoria.

Waarom het ook buiten het klaslokaal belangrijk is

Het experiment spreekt rechtstreeks tot live debatten in AI. AI-laboratoria besteden miljarden aan post-trainingsregimes, gebaseerd op het idee dat versterkend leren een basismodel veel verder kan duwen dan zijn ruwe mogelijkheden. LittleLearner suggereert dat deze winsten grotendeels kunnen voortkomen uit – en begrensd worden door – wat de data vóór de training ondersteunen. Dat is een argument om veel meer aandacht te besteden aan datacuratie, en om beweringen over ‘opkomende’ vaardigheden na de training met scepsis te behandelen.

De release is ook een echt onderzoeksinstrument, niet alleen maar een paper. Het team heeft LittleCurriculum en alle modelcontrolepunten openlijk vrijgegeven, en de projectpagina schetst de experimenten die de sandbox mogelijk maakt: of RL echt mogelijkheden kan creëren in plaats van deze te belonen, hoe steekproefefficiënt een model een echt nieuw concept leert, zoals negatieve getallen wanneer het wordt geïntroduceerd, en of machines en kinderen vergelijkbare blootstelling nodig hebben – of soortgelijke fouten maken – bij het leren van breuken.

Voor een vakgebied dat zelden zuivere controles krijgt, is een model met een expliciet gespecificeerde opleiding een zeldzame gave. En voor alle anderen is het een herinnering die de moeite waard is om boven het bureau te hangen: geen enkel model – of persoon – kan zich een weg banen uit wat hen nooit is geleerd.

Blijf AI een stap voor

Dagelijkse berichtgeving op peer-reviewniveau over het onderzoek dat AI opnieuw vormgeeft. Maak een bladwijzer van onze hub voor de nieuwste AI-ontwikkelingen.

Lees meer AI-nieuws →