연구원들은 5등급 자료에 대해서만 LLM을 교육했으며 그 능력 한계를 발견했습니다.

K-5 커리큘럼으로만 훈련된 5B 모델인 LittleLearner는 확장 및 사후 훈련이 지식을 증폭시키지만 사전 훈련이 제공한 수준을 뛰어 넘을 수 없음을 보여줍니다.

대규모 언어 모델이 5학년 이후의 자료를 전혀 볼 수 없으면 어떻게 됩니까? 7명의 연구자로 구성된 팀이 이 질문에 문자 그대로 답했습니다. 그들은 미국 초등학교 커리큘럼으로 필터링된 코퍼스를 통해 처음부터 훈련된 50억 매개변수 LLM인 LittleLearner를 구축한 다음, 더 많은 매개변수, 더 많은 사후 훈련, 더 영리한 프롬프트 등이 모델을 사전 훈련 데이터가 가르친 수준 이상으로 밀어낼 수 있는지 테스트했습니다. 그들이 보고한 대답은 '아니요'입니다.

"LittleLearner: 교육학적으로 제어되는 지식 노출 하의 언어 모델"이라는 논문은 Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell 및 Wieland Brendel이 8월 13일 arXiv에 제출했습니다. 8월 16일까지 200개 이상의 찬성표를 얻은 Hacker News 토론의 주제가 되었으며, 연구원과 실무자들은 업계에서 선호하는 가정, 즉 훈련 후 능력이 허공에서 나올 수 있다는 가정이 무엇을 의미하는지 토론했습니다. 이는 바로 우리가 AI 연구 보도에서 관찰하는 일종의 신중하고 역설적인 실험입니다.

지식 경계가 있는 샌드박스

현대 LLM은 본질적으로 모든 것에 대해 교육을 받기 때문에 시연된 기술이 실제로 교육 중에 배운 것인지, 아니면 단순히 올바른 프롬프트에 의해 도출된 것인지 구별하는 것이 거의 불가능합니다. 팀의 해결책은 훈련 분포 자체를 제한하는 것이었습니다. FineWeb-Edu를 시작으로 유치원부터 5학년까지의 공통 핵심 표준에 맞춰 정렬된 5단계 필터링 파이프라인을 통해 LittleCurriculum이라고 불리는 880억 개의 토큰 자료를 증류했습니다. 5학년 이상에서 가르치는 개념, 사실 및 어휘는 명시적으로 제외되었습니다.

이 코퍼스에서 그들은 처음부터 세 가지 규모(0.6B, 1.3B 및 5B 매개변수)로 모델을 훈련했으며, 각각은 동일한 아키텍처 및 토큰 예산으로 필터링되지 않은 데이터에 대해 훈련된 일치 제어 모델과 함께 제공되었습니다. 결과적으로 브라우저에서 호스팅된 5B 버전과 채팅할 수 있는 개방형 평가에 충분히 유창하면서도 명확하고 해석 가능한 지식 경계를 갖는 모델이 탄생했습니다.

획득이 아닌 유도

핵심 결과는 무뚝뚝합니다. 모델을 더 스마트하게 만들기 위한 표준 툴킷은 LittleLearner가 이미 알고 있는 내용을 증폭시켰지만 그 중 어느 것도 범위 밖 성능을 의미 있게 향상시키지 못했습니다.

확장은 모델의 통제된 지식 내에서 정확성을 향상시키고 동일한 학습 궤적을 따라 어느 정도 확장되었지만 5등급 자료 이상의 기능이 필요한 문제에는 거의 효과가 없었습니다. 추론 모델 붐의 이면에 있는 강화 학습 방법인 GRPO를 사용한 사후 훈련은 범위 내 K-5 능력을 크게 향상시켰지만 범위 밖 데이터로 훈련한 경우에도 K-5 능력 이상을 회복하지 못했습니다. 그리고 프롬프트에 지식을 채우는 일상적인 마법인 상황 내 학습은 모델이 가지고 있는 것을 사용하는 데 도움이 되었지만 경계를 넘어서는 새로운 추론을 열어주지는 못했습니다.

즉, 사전 훈련 필터는 유효 능력 상한을 설정합니다. 저자는 결과를 현장에서 지속적으로 모호하게 만드는 구별에 대한 증거로 구성합니다. 사전 훈련이 획득됩니다.

깔끔한 통제, 공개 검문소

방법론은 주장에 힘을 부여하는 것입니다. 모든 LittleLearner 모델은 일치하는 필터링되지 않은 컨트롤(동일한 아키텍처, 동일한 토큰 수, 동일한 교육 방법)과 함께 제공되므로 팀은 모든 행동 차이를 커리큘럼 필터에만 돌릴 수 있습니다. MathCAMPS 벤치마크에서 사후 교육을 받은 수학 전문가는 연구자가 학교 학년별로 성적을 평가하고 범위 내 능력이 끝나는 지점을 정확하게 추적할 수 있도록 합니다. 그리고 대부분의 개척지 논문과 달리 HuggingFace의 세 가지 규모 모두에서 말뭉치, 기본 및 훈련 후 체크포인트, 호스팅된 채팅 데모 등 모든 것이 공개되므로 독립 팀이 스스로 경계를 조사할 수 있습니다.

이러한 개방성은 Hacker News 논쟁을 촉발하고 있습니다. 논평자들은 호스팅된 모델의 행동을 지식 가장자리(5학년을 넘었을 때 기권, 추측 또는 환각)에서 테스트하고 그 의미에 대해 논쟁을 벌였습니다. 어떤 사람들은 결과를 추론 모델 과대광고에 대한 나쁜 소식으로 읽고, 다른 사람들은 웹 규모 사전 훈련 데이터에 초등학교 개념보다 훨씬 더 많은 내용이 포함되어 있으므로 프론티어 모델의 상한선이 이에 상응하여 더 높다고 지적합니다. 논문의 저자 자신도 이 점에 주의를 기울였습니다. 그들의 주장은 최첨단 연구실에 대한 직접적인 예측이 아니라, 알려지고 통제된 교육을 받은 모델에 대해 표준 개입이 무엇을 할 수 없는지에 대한 것입니다.

교실 밖에서 중요한 이유

실험은 AI의 실시간 토론에 직접적으로 적용됩니다. AI 연구소는 강화 학습이 기본 모델을 원래 능력 이상으로 밀어낼 수 있다는 아이디어를 전제로 훈련 후 요법에 수십억 달러를 지출합니다. LittleLearner는 이러한 이득이 사전 훈련 데이터가 지원하는 범위 내에서 크게 제한될 수 있다고 제안합니다. 이는 데이터 큐레이션에 더 많은 관심을 기울이고 훈련 후 "신생" 능력에 대한 주장을 회의적으로 다루어야 한다는 주장입니다.

릴리스는 단순한 논문이 아닌 진정한 연구 도구이기도 합니다. 팀은 LittleCurriculum과 모든 모델 체크포인트를 공개적으로 공개했으며, 프로젝트 페이지에서는 샌드박스가 가능하게 하는 실험을 간략하게 설명합니다. 즉, RL이 보상보다는 실제로 기능을 생성할 수 있는지 여부, 모델이 도입될 때 음수와 같은 완전히 새로운 개념을 얼마나 샘플 효율적으로 학습하는지, 기계와 어린이가 분수를 학습할 때 유사한 노출이 필요한지 또는 비슷한 실수를 하는지 여부가 설명됩니다.

명확한 통제를 받는 경우가 거의 없는 분야의 경우, 명시적으로 지정된 교육을 받은 모델은 흔치 않은 선물입니다. 그리고 다른 모든 사람들에게는 책상 위에 걸어 둘 가치가 있는 알림입니다. 어떤 모델이나 사람도 자신이 배운 적이 없는 것에서 벗어날 방법을 추론할 수 없습니다.