Cercetătorii au pregătit un LLM numai pe materiale de clasa a cincea - și au găsit plafonul de capacitate

Ce se întâmplă când un model de limbă mare nu vede niciodată materiale dincolo de clasa a cincea? O echipă de șapte cercetători a răspuns literal la această întrebare: au construit LittleLearner, un LLM cu 5 miliarde de parametri, antrenat de la zero pe un corpus filtrat în curriculumul școlii primare din SUA, apoi a testat dacă ceva - mai mulți parametri, mai mulți parametri post-formare, sugestii mai inteligente - ar putea împinge datele modelului dincolo de ceea ce a învățat înainte de antrenare. Răspunsul, spun ei, este nu.

Lucrarea, „LittleLearner: Language Models Under Pedagogically-Controlled Knowledge Exposure”, a fost trimisă la arXiv pe 13 august de Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell și Wieland Brendel. Până pe 16 august, a fost subiectul unei discuții în creștere rapidă Hacker News, cu peste 200 de voturi pozitive, în timp ce cercetătorii și practicienii au dezbătut ce înseamnă pentru ipoteza preferată a industriei - că post-formarea poate evoca capacități din aer. Este exact genul de experiment atent și contrariant la care urmărim în acoperirea cercetării AI.

O cutie de nisip cu o margine a cunoștințelor

LLM-urile moderne sunt instruite în esență pe orice, ceea ce face aproape imposibil de a spune dacă o abilitate demonstrată a fost cu adevărat învățată în timpul antrenamentului sau doar obținută de promptul potrivit. Soluția echipei a fost să limiteze distribuția de antrenament în sine. Pornind de la FineWeb-Edu, au distilat un corpus de 88 de miliarde de jetoane – denumit LittleCurriculum – printr-o conductă de filtrare în cinci etape, aliniată la standardele de bază comune pentru grădiniță până la clasa a 5-a. Conceptele, faptele și vocabularul predat peste clasa a 5-a au fost excluse în mod explicit.

Pe acest corpus au antrenat modele la trei scale (parametri 0,6B, 1,3B și 5B) de la zero, fiecare livrat împreună cu un model de control potrivit antrenat pe date nefiltrate cu aceeași arhitectură și buget de simboluri. Rezultatul este un model care este suficient de fluent pentru o evaluare deschisă – puteți discuta cu o versiune 5B găzduită într-un browser – dar are o limită clară și interpretabilă a cunoștințelor: dacă nu era în curriculumul elementar, modelul nu l-a văzut niciodată.

Elicitare, nu achiziție

Constatarea de bază este clară: setul de instrumente standard pentru a face modelele mai inteligente a amplificat ceea ce LittleLearner știa deja, dar niciuna dintre ele nu a îmbunătățit semnificativ performanța în afara domeniului de aplicare.

Scalarea a îmbunătățit acuratețea în cadrul cunoștințelor controlate ale modelului și s-a extins modest pe aceeași traiectorie de învățare, dar a făcut puțin pentru problemele care necesită capacități dincolo de materialul de clasa a 5-a. Post-antrenament cu GRPO — metoda de întărire-învățare din spatele unei mari parte a boom-ului modelului de raționament — a sporit semnificativ abilitățile K-5 din domeniul de aplicare, dar nu a reușit să recupereze capacitățile dincolo de K-5 chiar și atunci când a fost antrenat cu date din afara domeniului de aplicare. Și învățarea în context, magia de zi cu zi a introducerii cunoștințelor într-un prompt, a ajutat modelul să folosească ceea ce avea, dar nu a deblocat un nou raționament dincolo de graniță.

Pe scurt, filtrul de preantrenament stabilește plafonul efectiv al capacității. Autorii încadrează rezultatul ca o dovadă a unei distincții pe care domeniul o estompează în mod constant: elicit post-formare și stimulare; preformarea dobândește.

Controale curate, puncte de control publice

Metodologia este cea care dă forța revendicărilor. Deoarece fiecare model LittleLearner este livrat cu un control nefiltrat potrivit - aceeași arhitectură, același număr de simboluri, aceeași rețetă de antrenament - echipa poate atribui orice diferență de comportament numai filtrului de curriculum. Specialiștii în matematică post-formați pe criteriul de referință MathCAMPS le-au permis cercetătorilor să evalueze performanța în funcție de clasa școlară, urmărind exact unde se termină abilitățile din domeniu. Și, spre deosebire de majoritatea ziarelor de frontieră, totul este public: corpus, punctele de control de bază și post-antrenate la toate cele trei scale de pe HuggingFace și o demonstrație de chat găzduită, astfel încât echipele independente să poată investiga singure granița.

Această deschidere alimentează dezbaterea Hacker News. Comentatorii au testat comportamentul modelului găzduit la marginea cunoștințelor – indiferent dacă se abține, ghicește sau halucinează când a trecut de clasa a 5-a – și s-au certat asupra implicațiilor: unii citesc rezultatele ca pe o veste proastă pentru hype-ul modelului de raționament, alții subliniază că datele de preformare la scară web conțin mult mai mult decât conceptele de școală elementară, așa că se situează la plafoane mai înalte ale modelelor de școală elementară. Autorii lucrării înșiși sunt atenți la acest punct: afirmația lor este despre ceea ce intervențiile standard nu ar putea face pentru un model cu o educație cunoscută, controlată, nu o predicție directă despre laboratoarele de frontieră.

De ce contează dincolo de clasă

Experimentul se referă direct la dezbaterile live în AI. Laboratoarele de inteligență artificială cheltuiesc miliarde pentru regimuri post-antrenament bazate pe ideea că învățarea prin consolidare poate împinge un model de bază cu mult dincolo de abilitățile sale brute. LittleLearner sugerează că aceste câștiguri pot trăi în mare parte în – și pot fi limitate de – ceea ce susțin datele de pretraining. Acesta este un argument pentru a ne preocupa mult mai mult de curatarea datelor și pentru a trata cu scepticism afirmațiile privind capacitățile „emergente” post-formare.

Lansarea este, de asemenea, un instrument de cercetare autentic, nu doar o lucrare. Echipa a lansat LittleCurriculum și toate punctele de control ale modelului în mod deschis, iar pagina proiectului schițează experimentele pe care le permite sandbox-ul: dacă RL poate crea cu adevărat o capacitate mai degrabă decât să o recompenseze, cât de eficient un model învață un concept cu adevărat nou, cum ar fi numerele negative atunci când este introdus și dacă mașinile și copiii au nevoie de expunere similară - sau comit greșeli similare - atunci când învață.

Pentru un domeniu care rareori primește controale curate, un model cu o educație specificată în mod explicit este un dar rar. Și pentru toți ceilalți, este un memento care merită fixat deasupra biroului: nici un model – sau persoană – nu își poate raționa ieșirea din ceea ce nu a fost învățat niciodată.

Rămâi înaintea AI

Acoperire peer-evaluare a cercetării de remodelare a IA, oferită zilnic. Marcați hub-ul nostru pentru cele mai recente evoluții AI.

Citiți mai multe știri AI →