A OpenAI está recuando depois que Claude Opus 5 da Anthropic dominou o benchmark ARC-AGI-3, publicando resultados que mostram seu próprio modelo GPT-5.6 Sol atingindo 38,3 por cento – desde que você use as configurações preferidas da OpenAI em vez do equipamento de teste oficial.
A disputa, que ocorreu em 30 de julho de 2026, atinge o cerne de um problema crescente na avaliação de IA: os benchmarks não medem mais apenas um modelo, mas toda a estrutura técnica envolvida nele. Para uma análise mais profunda dos últimos desenvolvimentos de IA e lançamentos de modelos, a AI Buzz Wire está acompanhando a história.
Os números e a captura
OpenAI informou que GPT-5.6 Sol atinge 38,3 por cento no ARC-AGI-3, ultrapassando Claude Opus 5 da Anthropic, que marcou 30,2 por cento depois de ter quadruplicado anteriormente o recorde do benchmark. A ressalva é significativa: esse número de 38,3% depende de dois recursos específicos da API de respostas da OpenAI.
O primeiro é o Raciocínio Retido, que preserva a cadeia de pensamento do modelo entre as etapas, em vez de descartá-la após cada ação. A segunda é Compactação, que resume o contexto mais antigo em vez de truncá-lo, permitindo que o modelo continue trabalhando em problemas longos sem perder o raciocínio anterior.
Executado através do equipamento padronizado oficial do ARC Prize - que evita intencionalmente configurações específicas do fornecedor para garantir comparações iguais - o GPT-5.6 Sol conseguiu apenas 7,8 por cento. A razão, argumenta a OpenAI, é que a configuração oficial descarta o raciocínio do modelo após cada etapa, prejudicando o desempenho em tarefas que exigem pensamento sustentado em várias etapas.
Uma referência construída para pureza
O ARC-AGI-3 foi concebido por François Chollet e pela equipa do Prémio ARC para testar a capacidade de um modelo resolver novos puzzles de raciocínio nunca antes vistos - um teste de inteligência geral em vez de conhecimento memorizado. Para manter as comparações justas, o sistema oficial elimina deliberadamente recursos específicos do fornecedor, medindo a capacidade bruta do modelo em um ambiente neutro.
O contra-argumento da OpenAI é que esta neutralidade pode tornar-se uma desvantagem. A empresa afirma que o equipamento oficial dependia de uma “API de conclusão no estilo OpenAI” mais antiga que não possuía os recursos que a API Claude já oferecia, efetivamente colocando a OpenAI em desvantagem estrutural em relação à Anthropic na comparação original.
Em essência, OpenAI está dizendo: você mediu nosso modelo com uma mão amarrada nas costas.
Resposta de Chollet
O cofundador do Prêmio ARC, François Chollet, respondeu traçando uma linha clara entre dois tipos de configurações de teste. Arreios “feitos sob medida para resolver o benchmark ou que contenham conhecimento sobre o formato do benchmark” estão fora dos limites, disse ele. Mas as configurações de API de uso geral “que não foram desenvolvidas para ARC-AGI-3 e que estão disponíveis para todos os usuários da API” são um jogo justo.
Na verdade, Chollet admitiu que a pontuação GPT-5.6 Sol do próprio ARC Prize colocava a OpenAI em desvantagem. Ele observou que a organização tem tido “muitas idas e vindas com a OpenAI sobre a melhor forma de testar seus modelos, especialmente no que diz respeito à compactação”, e saudou a empresa “começando a descobrir a resposta”.
Chollet sinalizou uma preocupação remanescente. Diferentes provedores usando diferentes configurações criam o que ele chamou de “um potencial problema de paridade” – mas ele considera isso aceitável “desde que as configurações e o custo sejam claramente relatados”.
Por que isso é importante além da tabela de classificação
O episódio sublinha uma tensão que está a remodelar a forma como a indústria da IA avalia o progresso. À medida que os modelos são cada vez mais implantados por meio de APIs ricas em recursos, em vez de sistemas autônomos, a linha entre a capacidade inerente de um modelo e a engenharia em torno dele continua se confundindo. Um benchmark que ignora o andaime pode subestimar o desempenho no mundo real; aquele que o adota pode recompensar as empresas por jogarem no teste.
É pouco provável que o debate ARC-AGI-3 seja o último. À medida que os modelos de fronteira se aglomeram perto do topo dos parâmetros de referência estabelecidos, as divergências sobre o que conta como uma medição justa — e qual o equipamento que define o padrão — só se intensificarão.
Fique à frente da IA
Quer acompanhar as notícias de última hora sobre IA sobre modelos, benchmarks e laboratórios que os constroem? AI Buzz Wire ajuda você.
Leia mais notícias sobre IA
