Pesquisadores treinaram um LLM apenas com material de quinta série – e encontraram seu teto de capacidade

O que acontece quando um grande modelo de linguagem nunca vê material além da quinta série? Uma equipe de sete pesquisadores respondeu a essa pergunta literalmente: eles construíram o LittleLearner, um LLM de 5 bilhões de parâmetros treinado do zero em um corpus filtrado para o currículo do ensino fundamental dos EUA, e então testaram se alguma coisa – mais parâmetros, mais pós-treinamento, prompts mais inteligentes – poderia levar o modelo além do que seus dados de pré-treinamento lhe ensinaram. A resposta, eles relatam, é não.

O artigo, "LittleLearner: Modelos de linguagem sob exposição de conhecimento pedagogicamente controlado", foi submetido ao arXiv em 13 de agosto por Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell e Wieland Brendel. Em 16 de agosto, foi objeto de uma discussão crescente no Hacker News, com mais de 200 votos positivos, enquanto pesquisadores e profissionais debatiam o que isso significa para a suposição favorita da indústria – que o pós-treinamento pode evocar capacidades do nada. É exatamente o tipo de experimento cuidadoso e contrário que observamos em nossa cobertura de pesquisa sobre IA.

Uma sandbox com borda de conhecimento

Os LLMs modernos são treinados essencialmente em tudo, o que torna quase impossível dizer se uma habilidade demonstrada foi genuinamente aprendida durante o treinamento ou meramente suscitada pela instrução certa. A solução da equipe foi restringir a própria distribuição do treinamento. A partir do FineWeb-Edu, eles destilaram um corpus de 88 bilhões de tokens — apelidado de LittleCurriculum — por meio de um pipeline de filtragem de cinco estágios alinhado aos padrões Common Core para o jardim de infância até a 5ª série.

Neste corpus, eles treinaram modelos em três escalas (parâmetros 0,6B, 1,3B e 5B) do zero, cada um enviado junto com um modelo de controle correspondente treinado em dados não filtrados com a mesma arquitetura e orçamento de token. O resultado é um modelo que é fluente o suficiente para avaliação aberta – você pode conversar com uma versão 5B hospedada em um navegador – mas tem um limite de conhecimento nítido e interpretável: se não estivesse no currículo do ensino fundamental, o modelo nunca o viu.

Elicitação, não aquisição

A conclusão principal é contundente: o kit de ferramentas padrão para tornar os modelos mais inteligentes ampliou o que LittleLearner já sabia, mas nada disso melhorou significativamente o desempenho fora do escopo.

O escalonamento melhorou a precisão do conhecimento controlado do modelo e estendeu-se modestamente ao longo da mesma trajetória de aprendizagem, mas fez pouco para problemas que exigiam capacidades além do material da 5ª série. Pós-treinamento com GRPO — o método de aprendizagem por reforço por trás de grande parte do boom do modelo de raciocínio — aumentou significativamente as habilidades do ensino fundamental e médio no escopo, mas não conseguiu recuperar as capacidades além do ensino fundamental e médio, mesmo quando treinado com dados fora do escopo. E a aprendizagem contextual, a magia cotidiana de colocar conhecimento em um prompt, ajudou o modelo a usar o que tinha, mas não desbloqueou novos raciocínios além dos limites.

O filtro de pré-treinamento, em resumo, define o limite máximo de capacidade efetiva. Os autores enquadram o resultado como evidência de uma distinção que o campo constantemente confunde: pós-treinamento e estímulo eliciado; o pré-treinamento adquire.

Controles limpos, pontos de verificação públicos

A metodologia é o que dá força às reivindicações. Como cada modelo LittleLearner vem com um controle não filtrado correspondente – mesma arquitetura, mesma contagem de tokens, mesma receita de treinamento – a equipe pode atribuir qualquer diferença comportamental apenas ao filtro de currículo. Especialistas em matemática pós-treinados no benchmark MathCAMPS permitem que os pesquisadores avaliem o desempenho por série escolar, rastreando exatamente onde termina a habilidade no escopo. E, ao contrário da maioria dos documentos de fronteira, tudo é público: o corpus, a base e os pontos de verificação pós-treinados em todas as três escalas no HuggingFace e uma demonstração de chat hospedada, para que equipes independentes possam sondar a fronteira por conta própria.

Essa abertura está alimentando o debate sobre o Hacker News. Os comentadores têm testado o comportamento do modelo hospedado no seu limite de conhecimento - quer se abstenha, adivinhe ou tenha alucinações quando ultrapassa o 5º ano - e discutindo as implicações: alguns lêem os resultados como más notícias para o hype do modelo de raciocínio, outros apontam que os dados de pré-formação à escala da web contêm muito mais do que conceitos do ensino básico, pelo que os limites máximos dos modelos de fronteira são correspondentemente mais elevados. Os próprios autores do artigo são cuidadosos neste ponto: a sua afirmação é sobre o que as intervenções padrão não poderiam fazer para um modelo com uma educação conhecida e controlada, e não uma previsão directa sobre laboratórios de fronteira.

Por que é importante além da sala de aula

O experimento fala diretamente aos debates ao vivo em IA. Os laboratórios de IA gastam bilhões em regimes pós-treinamento baseados na ideia de que o aprendizado por reforço pode levar um modelo básico muito além de suas habilidades brutas. LittleLearner sugere que esses ganhos podem residir em grande parte – e ser limitados por – o que os dados de pré-treinamento suportam. Este é um argumento para nos preocuparmos muito mais com a curadoria de dados e para tratarmos com ceticismo as alegações de capacidades pós-formação “emergentes”.

O comunicado também é um verdadeiro instrumento de pesquisa, não apenas um artigo. A equipe divulgou abertamente o LittleCurriculum e todos os pontos de verificação do modelo, e a página do projeto esboça os experimentos que o sandbox permite: se o RL pode realmente criar capacidade em vez de recompensá-lo, quão eficientemente um modelo aprende um conceito genuinamente novo, como números negativos, quando é introduzido, e se máquinas e crianças precisam de exposição semelhante - ou cometem erros semelhantes - ao aprender frações.

Para uma área que raramente recebe controles claros, um modelo com uma formação explicitamente especificada é um presente raro. E para todos os outros, é um lembrete que vale a pena afixar acima da mesa: nenhum modelo – ou pessoa – pode raciocinar para escapar daquilo que nunca lhes foi ensinado.

Fique à frente da IA

Cobertura com nível de revisão por pares da pesquisa que remodela a IA, entregue diariamente. Marque nosso hub para os últimos desenvolvimentos de IA.

Leia mais notícias sobre IA →