O laboratório de IA descentralizado Prime Intellect publicou os resultados de um experimento em grande escala testando quão bem os atuais modelos de IA de fronteira podem realizar pesquisas autônomas de aprendizado de máquina - e o melhor deles chegou notavelmente perto de igualar o recorde mundial humano em um famoso benchmark comunitário.
O projeto, apelidado de NanoGPT Speedrun Frontier e publicado em 22 de agosto, consistiu em 153 execuções autônomas em 18 modelos de fronteira tentando o speedrun do otimizador nanoGPT – uma competição na qual os pesquisadores buscam a maneira mais eficiente de treinar um modelo de linguagem pequeno para uma meta de qualidade fixa. A história rapidamente subiu à primeira página do Hacker News, onde atraiu dezenas de comentários debatendo o que os resultados dizem sobre a capacidade da IA para descobertas científicas genuínas. Para mais contexto sobre esta história, confira nossa tendências de IA.
O que o NanoGPT Speedrun realmente é
O benchmark vem do repositório modded-nanogpt mantido por Keller Jordan e uma longa lista de colaboradores da comunidade. O desafio é aparentemente simples de afirmar: usando 8 GPUs NVIDIA H100, treinar um modelo de linguagem que atinja 3,28 de perda de entropia cruzada no conjunto de validação FineWeb – o nível de desempenho que a replicação GPT-2 original de Andrej Karpathy alcançou após 45 minutos – o mais rápido possível.
Através de centenas de contribuições comunitárias nos últimos dois anos, o registo humano foi reduzido para menos de 75 segundos e menos de 400 milhões de fichas de treino, uma melhoria de mais de 30 vezes em relação à receita original. As soluções vencedoras parecem um catálogo de engenharia moderna de ML: o otimizador Muon, incorporações rotativas com QK-Norm, ativações ReLU-quadradas, quantização FP8 em atenção e passagens MLP, Flash Attention 3 com padrões de janela deslizante e dezenas de outras técnicas empilhadas umas sobre as outras.
O teste do Prime Intellect usou a trilha do otimizador de benchmark, que - de acordo com a documentação do repositório - minimiza o número de etapas de treinamento necessárias para atingir a perda alvo, sujeito a uma arquitetura, conjunto de dados e tamanho de lote fixos, com um orçamento efetivamente ilimitado. Isso o torna um teste puro de descoberta de algoritmo, em vez de velocidade bruta de hardware.
Como funcionou o experimento
Cada um dos 18 modelos recebeu a tarefa de forma autônoma: propor alterações na receita de treinamento, executar experimentos, inspecionar os resultados e iterar – com um script de verificação fixo e sementes aleatórias fixas garantindo que uma melhoria alegada seja real, e não uma tentativa de sorte. Como resumiu um comentarista do Hacker News, os modelos foram solicitados a pesquisar como melhorar o treinamento de um modelo pequeno, tentando repetidamente alterações, testando-as e usando os resultados para decidir o que tentar em seguida.
Os modelos funcionaram por meio de uma variedade de agentes - incluindo claude-code, OpenAI's codex, kimi-code, grok-cli, qwen-code e o próprio agente principal do Prime Intellect - e a equipe rastreou o consumo de token de cada execução, contagem de experimentos, chamadas de ferramentas e tempo decorrido do agente. No total, o experimento consumiu centenas de milhões de tokens por top model e bilhões em toda a rede.
A tabela de classificação: Fable 5 lidera o grupo
O resultado principal: o modelo identificado como Fable 5, executado através do chicote do código claude, preencheu 81,7% da lacuna entre a receita de linha de base e o registro humano, com um melhor resultado validado de 2.726 na métrica do placar. Chegar lá levou 8,7 dias de tempo acumulado do agente, cerca de 800 milhões de tokens, 811 experimentos e cerca de 3.000 chamadas de ferramentas.
O grupo de perseguição foi liderado pelo Opus 5, que fechou 53,6% da lacuna, seguido de perto pelo Kimi K3 com 52,2% quando impulsionado pelo agente principal do Prime Intellect (e 45,8% via kimi-code). Opus 4.8 conseguiu 39,4 por cento, várias variantes GPT-5.6 pousaram entre cerca de 11 e 36 por cento, Sonnet 5 fechou 26,8 por cento e Grok 4.5 e Qwen3.8 Max atingiram cerca de 24,6 por cento cada.
Mais abaixo, o DeepSeek V4 Pro fechou 12,3% da lacuna, o GPT-5.5 atingiu 8,1% e o antigo Kimi K2.7 terminou em 7,2%. Notavelmente, um modelo lançado recentemente — GLM 5.3 — ainda estava em execução no momento da publicação, sem nenhum registro validado ainda, um lembrete de que o benchmark pune os modelos que não conseguem validar de forma confiável suas próprias melhorias.
Por que é importante
Benchmarks como esse são importantes porque medem algo que as tabelas de classificação de codificação não podem: a capacidade de executar um ciclo de pesquisa genuíno – hipótese, experimento, análise, revisão – ao longo de dias, em vez de minutos. Essa capacidade é a base do campo emergente da investigação autónoma em IA, em que os agentes têm a tarefa não de escrever código de acordo com as especificações, mas de descobrir coisas que ninguém lhes mostrou.
A distribuição dos resultados é em si informativa. Quase todos os modelos do experimento encontraram as mesmas ideias principais vencedoras, de acordo com o texto do projeto - o que separou as melhores execuções foi o que um experimento deixa para trás: agentes mais fortes preservaram sinais fracos em resultados ruidosos por tempo suficiente para validá-los e compreenderam melhor seus próprios dados experimentais.
Advertências da comunidade
Os comentaristas do Hacker News levantaram questões metodológicas justas. As configurações de esforço e aproveitamentos variaram entre os modelos – o Fable 5 funcionou em uma configuração de raciocínio alto, enquanto o Opus 5 funcionou no máximo – e a aritmética de 153 execuções em 18 modelos implica que alguns modelos receberam mais tentativas do que outros. Se a classificação de um modelo reflecte a sua capacidade de investigação bruta ou a qualidade do seu equipamento permanece uma questão em aberto.
Ainda assim, a direção da viagem é clara. Quando as mãos humanas mais rápidas levaram anos de esforço colectivo para alcançar o recorde actual, os melhores agentes autónomos estão agora a colmatar a maior parte dessa lacuna em pouco mais de uma semana de tempo de computação. A próxima questão – se algum modelo pode fechar os 18,3% restantes – poderá ser respondida mais cedo do que o esperado.
Para obter mais informações sobre benchmarks e pesquisas que moldam a fronteira da IA, siga a cobertura contínua do AI Buzz Wire.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
