Naukowcy przeszkolili LLM wyłącznie na materiale piątej klasy i odkryli pułap jego możliwości

Co się stanie, gdy duży model językowy nigdy nie zobaczy materiału wykraczającego poza piątą klasę? Zespół siedmiu badaczy odpowiedział na to pytanie dosłownie: zbudował LittleLearner, program LLM o wartości 5 miliardów parametrów, wytrenowany od podstaw na korpusie przefiltrowanym zgodnie z programem nauczania szkoły podstawowej w USA, a następnie przetestował, czy cokolwiek – więcej parametrów, więcej parametrów po szkoleniu, mądrzejsze podpowiedzi – może wypchnąć model poza to, czego nauczyły go dane przedtreningowe. Odpowiedź brzmi: nie.

Artykuł zatytułowany „LittleLearner: Language Models Under Pedagogically-Controlled Knowledge Exposure” został przesłany do arXiv 13 sierpnia przez Fanfei Li, Janę Zeller, Manuela Pradę-Corral, Thaddäusa Wiedemera, Prasannę Mayilvahanan, Ryana Cotterella i Wielanda Brendela. Do 16 sierpnia było to tematem szybko rozwijającej się dyskusji w serwisie Hacker News, w której uzyskano ponad 200 głosów „za”, podczas gdy badacze i praktycy debatowali, co to oznacza dla ulubionego założenia branży – że po szkoleniu można wyczarować umiejętności z powietrza. Właśnie tego rodzaju ostrożnego, sprzecznego z prawem eksperymentu obserwujemy w naszych relacjonach badań nad sztuczną inteligencją.

Piaskownica z granicą wiedzy

Współcześni nauczyciele LLM są szkoleni w zasadzie we wszystkim, co sprawia, że prawie niemożliwe jest stwierdzenie, czy zademonstrowana umiejętność została rzeczywiście nabyta podczas szkolenia, czy jedynie uzyskana dzięki właściwej podpowiedzi. Rozwiązaniem zespołu było ograniczenie samej dystrybucji szkoleń. Zaczynając od FineWeb-Edu, wydestylowano korpus zawierający 88 miliardów tokenów – nazwany LittleCurriculum – poprzez pięciostopniowy proces filtrowania dostosowany do standardów Common Core dla przedszkoli do klas 5. Pojęcia, fakty i słownictwo nauczane powyżej klasy 5 zostały wyraźnie wykluczone.

W tym korpusie przeszkolono od podstaw modele w trzech skalach (parametry 0,6B, 1,3B i 5B), z których każdy był dostarczany wraz z dopasowanym modelem kontroli wyszkolonym na niefiltrowanych danych przy tej samej architekturze i budżecie tokenów. Rezultatem jest model, który jest wystarczająco płynny, aby można go było oceniać w sposób otwarty – możesz rozmawiać z hostowaną wersją 5B w przeglądarce – a jednocześnie ma ostrą, interpretowalną granicę wiedzy: jeśli nie było tego w podstawowym programie nauczania, model nigdy tego nie widział.

Pozyskiwanie, nie pozyskiwanie

Główny wniosek jest jednoznaczny: standardowy zestaw narzędzi do tworzenia inteligentniejszych modeli wzmocnił to, co LittleLearner już wiedział, ale żaden z nich nie poprawił znacząco wydajności wykraczającej poza zakres.

Skalowanie poprawiło dokładność w ramach kontrolowanej wiedzy modelu i nieznacznie rozszerzyło tę samą ścieżkę uczenia się, ale niewiele dało w przypadku problemów wymagających umiejętności wykraczających poza materiał klasy 5. Szkolenie po z GRPO — metodą uczenia się przez wzmacnianie, która stoi za większością boomu modeli rozumowania — znacząco zwiększyło umiejętności mieszczące się w zakresie K-5, jednak nie udało się odzyskać zdolności wykraczających poza K-5, nawet w przypadku treningu z danymi spoza zakresu. A uczenie się w kontekście, codzienna magia upychania wiedzy w podpowiedzi, pomogła modelowi wykorzystać to, co miał, ale nie odblokowała nowego rozumowania wykraczającego poza granice.

Krótko mówiąc, filtr przedtreningowy wyznacza efektywny pułap możliwości. Autorzy przedstawiają wynik jako dowód na rozróżnienie, które pole stale się zaciera: pojawia się po szkoleniu i podpowiadaniu; przedtreningówka nabywa.

Czysta kontrola, publiczne punkty kontrolne

Metodologia nadaje twierdzeniom siłę. Ponieważ każdy model LittleLearner jest dostarczany z dopasowaną, niefiltrowaną kontrolką — tą samą architekturą, tą samą liczbą tokenów, tą samą recepturą uczenia — zespół może przypisać każdą różnicę w zachowaniu wyłącznie filtrowi programu nauczania. Specjaliści matematyczni przeszkoleni w zakresie testu porównawczego MathCAMPS pozwalają badaczom oceniać wyniki według ocen szkolnych, dokładnie śledząc, gdzie kończą się umiejętności objęte zakresem. I w przeciwieństwie do większości dokumentów granicznych, wszystko jest publiczne: korpus, punkty kontrolne bazowe i po przeszkoleniu we wszystkich trzech skalach na HuggingFace oraz hostowana demonstracja czatu, dzięki czemu niezależne zespoły mogą samodzielnie badać granice.

Ta otwartość napędza debatę w Hacker News. Komentatorzy testują zachowanie hostowanego modelu na granicy wiedzy – czy wstrzymuje się od głosu, zgaduje czy ma halucynacje, gdy przekracza 5. klasę – i kłócą się na temat konsekwencji: niektórzy odczytują wyniki jako złą wiadomość ze względu na szum wokół modelu rozumowania, inni wskazują, że dane z wstępnego szkolenia w skali internetowej zawierają znacznie więcej niż koncepcje ze szkoły podstawowej, więc pułapy modeli pionierskich są odpowiednio wyższe. Sami autorzy artykułu są pod tym względem ostrożni: ich twierdzenie dotyczy tego, czego nie mogłyby zrobić standardowe interwencje w przypadku modelu o znanej, kontrolowanej edukacji, a nie bezpośredniego przewidywania dotyczącego laboratoriów granicznych.

Dlaczego to ma znaczenie poza klasą

Eksperyment bezpośrednio nawiązuje do debat prowadzonych na żywo w AI. Laboratoria sztucznej inteligencji wydają miliardy na programy poszkoleniowe, opierając się na założeniu, że uczenie się przez wzmacnianie może wypchnąć model podstawowy znacznie poza jego pierwotne możliwości. LittleLearner sugeruje, że korzyści te mogą w dużej mierze wynikać z danych przedtreningowych i być przez nie ograniczone. Jest to argument, aby przywiązywać większą wagę do przechowywania danych i traktować twierdzenia o „pojawiających się” możliwościach po szkoleniu ze sceptycyzmem.

Publikacja ta jest także prawdziwym narzędziem badawczym, a nie tylko publikacją. Zespół udostępnił otwarcie LittleCurriculum i wszystkie punkty kontrolne modelu, a strona projektu szkicuje eksperymenty, na które pozwala piaskownica: czy RL może naprawdę tworzyć możliwości, zamiast je nagradzać, w jaki sposób model efektywnie uczy się naprawdę nowej koncepcji, takiej jak liczby ujemne, po jego wprowadzeniu oraz czy maszyny i dzieci potrzebują podobnej ekspozycji — lub popełniają podobne błędy — podczas uczenia się ułamków zwykłych.

W dziedzinie, która rzadko ma czystą kontrolę, model z wyraźnie określonym wykształceniem jest rzadkim prezentem. A dla wszystkich innych jest to przypomnienie, które warto przypiąć nad biurkiem: żaden model – ani osoba – nie jest w stanie wyprowadzić się z tego, czego nigdy ich nie nauczono.

Wyprzedź sztuczną inteligencję

Codziennie dostarczane, recenzowane relacje z badań zmieniających kształt sztucznej inteligencji. Dodaj do zakładek nasze centrum z najnowszymi osiągnięciami AI.

Przeczytaj więcej aktualności o sztucznej inteligencji →