Peneliti Melatih LLM Hanya pada Materi Kelas Lima - dan Menemukan Batasan Kemampuannya

Apa yang terjadi jika model bahasa besar tidak pernah melihat materi setelah kelas lima? Sebuah tim yang terdiri dari tujuh peneliti menjawab pertanyaan tersebut secara harfiah: mereka membuat LittleLearner, LLM dengan 5 miliar parameter yang dilatih dari awal pada korpus yang disaring ke kurikulum sekolah dasar AS, dan kemudian menguji apakah ada sesuatu — lebih banyak parameter, lebih banyak pasca-pelatihan, perintah yang lebih cerdas — dapat mendorong model melampaui apa yang diajarkan oleh data pra-pelatihannya. Jawabannya, menurut laporan mereka, adalah tidak.

Makalah, "LittleLearner: Model Bahasa di Bawah Paparan Pengetahuan yang Dikendalikan Secara Pedagogis," diserahkan ke arXiv pada 13 Agustus oleh Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, dan Wieland Brendel. Pada tanggal 16 Agustus, hal ini menjadi bahan diskusi Hacker News dengan lebih dari 200 suara positif, ketika para peneliti dan praktisi memperdebatkan apa artinya bagi asumsi favorit industri — bahwa pasca-pelatihan dapat memunculkan kemampuan secara tiba-tiba. Ini adalah eksperimen yang sangat hati-hati dan kontrarian yang kami perhatikan dalam liputan penelitian AI.

Kotak Pasir Dengan Batas Pengetahuan

LLM modern pada dasarnya dilatih dalam segala hal, sehingga hampir tidak mungkin untuk mengetahui apakah keterampilan yang ditunjukkan benar-benar dipelajari selama pelatihan atau hanya diperoleh dengan dorongan yang tepat. Solusi tim adalah membatasi distribusi pelatihan itu sendiri. Dimulai dari FineWeb-Edu, mereka menyaring korpus 88 miliar token — dijuluki LittleCurriculum — melalui jalur penyaringan lima tahap yang selaras dengan standar Common Core untuk taman kanak-kanak hingga kelas 5. Konsep, fakta, dan kosakata yang diajarkan di atas kelas 5 secara eksplisit dikecualikan.

Pada korpus ini mereka melatih model pada tiga skala (parameter 0,6B, 1,3B, dan 5B) dari awal, masing-masing dikirimkan bersama model kontrol cocok yang dilatih pada data tanpa filter dengan arsitektur dan anggaran token yang sama. Hasilnya adalah model yang cukup lancar untuk evaluasi terbuka - Anda dapat mengobrol dengan versi 5B yang dihosting di browser - namun memiliki batasan pengetahuan yang tajam dan dapat ditafsirkan: jika tidak ada dalam kurikulum dasar, model tidak akan pernah melihatnya.

Elisitasi, Bukan Akuisisi

Temuan intinya sangat jelas: perangkat standar untuk membuat model lebih cerdas memperkuat apa yang sudah diketahui LittleLearner, namun tidak ada satupun yang secara signifikan meningkatkan kinerja di luar cakupan.

Penskalaan meningkatkan akurasi dalam pengetahuan terkontrol model dan sedikit memperluas lintasan pembelajaran yang sama, namun tidak banyak membantu dalam soal yang memerlukan kemampuan di luar materi kelas-5. Pasca-pelatihan dengan GRPO — metode pembelajaran penguatan di balik sebagian besar ledakan model penalaran — secara signifikan meningkatkan kemampuan K-5 dalam cakupan, namun gagal memulihkan kemampuan di luar K-5 bahkan ketika dilatih dengan data di luar cakupan. Dan pembelajaran dalam konteks, keajaiban sehari-hari dalam memasukkan pengetahuan ke dalam sebuah prompt, membantu model menggunakan apa yang dimilikinya tetapi tidak membuka pemikiran baru yang melampaui batas.

Singkatnya, filter pra-pelatihan menetapkan batas kemampuan efektif. Para penulis membingkai hasilnya sebagai bukti perbedaan yang terus-menerus dikaburkan oleh bidang ini: pasca-pelatihan dan dorongan; perolehan pra-pelatihan.

Kontrol Bersih, Pos Pemeriksaan Umum

Metodologilah yang memberi kekuatan pada klaim tersebut. Karena setiap model LittleLearner dikirimkan dengan kontrol tanpa filter yang cocok — arsitektur yang sama, jumlah token yang sama, resep pelatihan yang sama — tim dapat mengaitkan perbedaan perilaku apa pun hanya pada filter kurikulum. Pakar matematika pasca-pelatihan pada benchmark MathCAMPS memungkinkan para peneliti menilai kinerja berdasarkan nilai sekolah, menelusuri dengan tepat di mana kemampuan dalam lingkup berakhir. Dan tidak seperti kebanyakan surat kabar perbatasan, semuanya bersifat publik: korpus, pangkalan, dan pos pemeriksaan pasca-pelatihan di ketiga skala di HuggingFace, dan demo obrolan yang dihosting, sehingga tim independen dapat menyelidiki sendiri batasnya.

Keterbukaan ini memicu perdebatan Hacker News. Para pemberi komentar telah menguji perilaku model yang dihosting pada tingkat pengetahuannya — baik abstain, menebak, atau berhalusinasi ketika melewati kelas 5 — dan memperdebatkan implikasinya: beberapa orang menganggap hasilnya sebagai berita buruk bagi sensasi model penalaran, yang lain menunjukkan bahwa data pra-pelatihan skala web mengandung jauh lebih banyak daripada konsep sekolah dasar, sehingga batas atas model frontier pun menjadi lebih tinggi. Penulis makalah ini sendiri berhati-hati dalam hal ini: klaim mereka adalah tentang apa yang tidak dapat dilakukan oleh intervensi standar untuk model dengan pendidikan yang diketahui dan terkontrol, bukan prediksi langsung tentang laboratorium terdepan.

Mengapa Hal Ini Penting di Luar Kelas

Eksperimen ini mencerminkan perdebatan langsung di bidang AI. Laboratorium AI menghabiskan miliaran dolar untuk program pasca-pelatihan yang didasarkan pada gagasan bahwa pembelajaran penguatan dapat mendorong model dasar jauh melampaui kemampuan aslinya. LittleLearner berpendapat bahwa kemajuan tersebut sebagian besar mungkin terjadi – dan dibatasi oleh – apa yang didukung oleh data pra-pelatihan. Hal ini merupakan argumen untuk lebih peduli terhadap kurasi data, dan untuk memperlakukan klaim kemampuan pasca-pelatihan yang "muncul" dengan sikap skeptis.

Rilis ini juga merupakan instrumen penelitian asli, bukan sekedar makalah. Tim merilis LittleCurriculum dan semua pos pemeriksaan model secara terbuka, dan halaman proyek menggambarkan eksperimen yang dimungkinkan oleh sandbox: apakah RL benar-benar dapat menciptakan kemampuan alih-alih memberikan penghargaan, seberapa efisien sampel dalam mempelajari konsep yang benar-benar baru seperti bilangan negatif ketika diperkenalkan, dan apakah mesin dan anak-anak memerlukan paparan serupa — atau membuat kesalahan serupa — saat mempelajari pecahan.

Untuk bidang yang jarang mendapatkan kontrol yang bersih, model dengan pendidikan yang ditentukan secara eksplisit adalah sebuah anugerah yang langka. Dan bagi semua orang, ini adalah pengingat yang layak untuk ditempelkan di atas meja: tidak ada model — atau orang — yang dapat memikirkan jalan keluar dari apa yang tidak pernah diajarkan kepada mereka.

Tetap Terdepan dalam AI

Liputan sejawat mengenai penelitian yang membentuk kembali AI, disampaikan setiap hari. Tandai hub kami untuk perkembangan AI terkini.

Baca berita AI selengkapnya →