Um novo parâmetro de referência está a desafiar a forma como a indústria da IA mede a capacidade científica, e os seus primeiros resultados são humilhantes para os laboratórios de fronteira. Terminal-Bench-Science 0.1, lançado esta semana por pesquisadores da Universidade de Stanford e pela equipe por trás do popular benchmark de codificação Terminal-Bench, avalia agentes de IA em fluxos de trabalho reais de pesquisa científica contribuídos por cientistas atuantes – e o modelo mais forte testado, Claude Opus 5 executado por meio de Claude Code, completou apenas 30% das tarefas.
A página de anúncio do benchmark descreve seu princípio orientador sem rodeios: os cientistas, e não os desenvolvedores de modelos ou fornecedores de dados, devem definir o padrão para a capacidade científica em IA. O projeto foi construído em colaboração com especialistas de instituições de pesquisa de todo o mundo e seu primeiro lançamento inclui 70 tarefas abrangendo ciências da vida, física, ciências da Terra, matemática e engenharia.
Como isso difere dos benchmarks de livros didáticos
A maioria das avaliações científicas de IA testa o conhecimento: questões de múltipla escolha, problemas de livros didáticos, exercícios padronizados. Em vez disso, o Terminal-Bench-Science mede se os agentes podem executar os fluxos de trabalho tecnicamente exigentes e demorados que preenchem os dias dos pesquisadores reais – o tipo de trabalho que não aparece em nenhum exame. As tarefas são executadas em ambientes realistas e a classificação é baseada em artefatos concretos: análises, simulações, provas, código e produtos de dados, verificados com testes reproduzíveis específicos da tarefa, em vez de modelos de julgamento ou pontuação de múltipla escolha.
Esse design reflete uma teoria sobre o que os assistentes de IA deveriam eventualmente fazer pela ciência. Em vez de substituir o julgamento científico, argumentam os autores do benchmark, os agentes deveriam assumir a camada de execução – execução dos experimentos in silico, processamento dos dados, verificação das provas – para liberar os cientistas para as partes da pesquisa onde o julgamento humano é mais importante: definir questões, formar hipóteses, interpretar resultados e comunicar descobertas.
O projeto também é explicitamente construído como um alvo móvel. Onde muitos benchmarks são divulgados uma vez e abandonados – o anúncio chama isso de problema dos “documentos para publicar” – o Terminal-Bench-Science é concebido como um benchmark contínuo que evolui ao longo da fronteira, com lançamentos regulares destinados a manter a avaliação à frente do progresso do modelo e evitar a inflação de pontuações causada pela contaminação.
A primeira tabela de classificação: muito longe de ser confiável
A tabela de classificação v0.1, que atraiu atenção significativa quando chegou ao Hacker News esta semana, mostra uma queda acentuada em relação ao topo:
- Claude Opus 5 (Código Claude): 30,0%
- GPT-5.6 Sol (Códice): 22,4%
- Claude Fable 5 (Código Claude): 21,4%
- Claude Opus 4.8 (Código Claude): 10,5%
- GPT-5.6 Terra (Códice): 8,6%
- GLM 5.3 (Código Claude): 8,1%
- Kimi K3 (Código Claude): 7,1%
- Grok 4.6 (construção Grok): 7,1%
- GPT-5.6 Luna (Códice): 3,3%
Os resultados sugerem que os fluxos de trabalho científicos continuam a ser substancialmente mais difíceis para os agentes do que para a engenharia de software, onde o Terminal-Bench original e os benchmarks de codificação rivais viram as pontuações subirem rapidamente. Uma taxa de resolução de 30% para o melhor sistema disponível significa que em sete entre dez tarefas reais de pesquisa, mesmo um agente de primeira linha emparelhado com um equipamento forte não consegue produzir um trabalho verificávelmente correto.
A distribuição dentro das famílias modelo também é instrutiva. A diferença entre Claude Opus 5 e Claude Opus 4.8 - quase vinte pontos - e entre as variantes Sol, Terra e Luna do GPT-5.6 mostra o quanto a qualidade do resultado depende da interação do modelo e do agente, e não apenas da inteligência bruta do modelo. Cada entrada com pontuação alta usa um equipamento de codificação agente (Claude Code, Codex, Grok Build), reforçando o consenso emergente de que o andaime é tão decisivo quanto os pesos subjacentes.
Por que os cientistas construíram seu próprio benchmark
A estrutura do benchmark carrega um argumento institucional sutil. “Os riscos da ciência são demasiado elevados”, afirma o anúncio, “e os seus parâmetros de referência devem reflectir as prioridades da comunidade científica e não os interesses externos”. O projeto dá aos pesquisadores em atividade um mecanismo direto para codificar as tarefas que eles realmente precisam ser automatizadas – e para manter as reivindicações dos fornecedores de “acelerar a descoberta científica” contra um padrão verificável.
Isso é importante porque a lacuna entre o marketing e a realidade tem consequências reais. Se os laboratórios fronteiriços afirmam que os seus agentes podem acelerar a investigação, enquanto avaliações independentes e elaboradas por especialistas mostram taxas de resolução de um dígito a 30%, as decisões de financiamento, os planos de contratação e as políticas de laboratório baseadas nessas afirmações herdam o erro. Os benchmarks contínuos e de propriedade da comunidade são um corretivo: eles convertem afirmações vagas em números reproduzíveis.
Um sinal para instituições de pesquisa
Para universidades, laboratórios nacionais e equipes de P&D que avaliam quando implantar agentes, o benchmark oferece algo que as demonstrações dos fornecedores não podem: uma medição mantida pela comunidade de onde realmente fica a linha de confiabilidade. Uma taxa de resolução na casa dos 20 ou 20 anos significa que estes sistemas são hoje mais bem tratados como assistentes que requerem revisão, e não como executores autónomos de pipelines experimentais. As categorias de tarefas – abrangendo ciências da vida, físicas, da Terra, matemáticas e de engenharia – também fornecem aos especialistas de domínio um modelo para contribuir com fluxos de trabalho de campos que os benchmarks genéricos rotineiramente ignoram.
O contexto mais amplo da indústria reforça por que o momento é importante. A ciência tornou-se um dos casos de uso mais promovidos para IA de fronteira, com laboratórios divulgando contribuições para a descoberta de materiais, ciência de proteínas e matemática. Estas afirmações são difíceis de auditar: a produção científica é lenta a validar e o entusiasmo move-se mais rapidamente do que a replicação. Uma referência que classifica artefactos verificáveis em fluxos de trabalho reais dá às instituições de investigação uma forma de separar a capacidade demonstrada do teatro de demonstração – e de monitorizar, lançamento a lançamento, se o progresso da agência na ciência está a aumentar tão rapidamente como na engenharia de software, onde o Terminal-Bench fez o seu nome pela primeira vez.
Para a indústria de IA, a mensagem da v0.1 tem dois gumes. A fronteira está claramente avançando - os 30% do Opus 5 superam os 10,5% do antigo Opus 4.8 - mas o teto permanece longe da confiabilidade que os laboratórios reais exigem. Os designers do benchmark dizem que os lançamentos regulares rastrearão exatamente a rapidez com que essa lacuna é eliminada. Os cientistas que observam as tendências emergentes da IA nas ferramentas de pesquisa de agentes agora têm um padrão que eles próprios construíram.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
