GPT-6 Astra publica pontuação ARC-AGI-3 de última geração, supera os humanos em eficiência de ação

O GPT-6 Astra da OpenAI publicou resultados de última geração no ARC-AGI-3, o benchmark de raciocínio abstrato projetado para medir a inteligência de agentes, de acordo com resultados publicados quarta-feira pela ARC Prize Foundation. O modelo obteve 62,7% no conjunto Semiprivado do benchmark sob o chicote padrão da fundação e 99,9% quando avaliado com um chicote do adaptador de provedor que preserva o estado de raciocínio interno do modelo entre as solicitações.

Os resultados chegaram um dia depois que a OpenAI iniciou o lançamento gradual do Astra, o modelo carro-chefe que a empresa definiu como o início de uma nova era. Para os leitores que tentam manter a pontuação à medida que o benchmark comercial dos laboratórios de fronteira explode, a página mais recentes desenvolvimentos de IA rastreia cada lançamento importante conforme ele acontece.

Dois arneses, duas pontuações muito diferentes

A diferença entre os dois números principais da Astra é o detalhe mais importante do relatório. O Prêmio ARC avalia os agentes sob diferentes aspectos, e cada um muda o que o modelo pode fazer com seu próprio contexto.

No equipamento Padrão, um modelo pode transmitir notas que escolhe manter enquanto trabalha em um ambiente. Com essa configuração, o Astra com esforço máximo de raciocínio obteve 62,7%, a um custo total de US$ 26.098 para a execução de avaliação. No extremo oposto, operar o mesmo equipamento com o raciocínio desligado produziu apenas 35,2%, mas custou mais – US$ 49.791 – porque o modelo precisava de muito mais ações para progredir.

O chicote do Provider Adapter é mais generoso: preserva o estado de raciocínio opaco do modelo entre as solicitações e usa compactação para conversas mais longas, permitindo que o Astra reutilize o trabalho anterior. Sob esse controle, o Astra obteve 99,9% em alto esforço de raciocínio para US$ 18.817 e 98,6% em esforço máximo para US$ 17.332. Mesmo a configuração de raciocínio mais baixa atingiu 96,7%.

Em outras palavras, a diferença entre uma pontuação parcial e uma pontuação quase perfeita não é apenas a capacidade bruta – é quanto do estado de funcionamento do modelo sobrevive entre as etapas.

Vencer os humanos na eficiência da ação

ARC-AGI-3 é construído em torno de ambientes de jogo novos, abstratos e baseados em turnos. Os agentes devem explorar sem instruções, inferir como o mundo funciona, identificar objetivos a partir de recompensas escassas e planejar ações em várias etapas. Os ambientes são calibrados para que os humanos possam resolver 100% deles, o que torna o desempenho humano a linha de base das medidas de referência.

O Astra não apenas resolveu a maioria dos níveis – ele os resolveu de forma eficiente. De acordo com o Prêmio ARC, o modelo usou menos ações do que a mediana testada em humanos em 96% dos níveis, ultrapassando a linha de base humana em eficiência de ação em todo o conjunto.

A economia da comparação é dura. Os participantes do teste humano receberam US$ 115 por sessão de 90 minutos mais US$ 5 por jogo concluído, totalizando cerca de US$ 12,78 por tentativa de jogo. Uma avaliação completa do Astra custa cinco dígitos, dependendo da configuração. Mas o ARC Prize notou um problema contra-intuitivo: maior esforço de raciocínio geralmente custa menos, porque o Astra resolveu jogos em menos ações, reduzindo o número total de chamadas de modelo e tokens queimados por execução.

Um modelo que constrói sua própria linguagem

Além das pontuações, o Prêmio ARC destacou um comportamento qualitativo observado pela equipe. Astra consistentemente transformou ambientes desconhecidos em modelos de mundo simbólicos compactos – representando a mecânica do jogo como regras lógicas e desenvolvendo sua própria abreviatura específica de domínio para rastrear o estado e planejar ações.

Essa é precisamente a habilidade que o ARC-AGI-3 foi projetado para testar. Enquanto as gerações anteriores do benchmark testavam o raciocínio fluido sobre novos padrões, a terceira geração testa se um agente pode explorar, modelar, definir metas e executar planos em ambientes que nunca viu - os componentes listados pelo Prêmio ARC como exploração, modelagem, definição de metas e planejamento e execução.

O cenário da era AGI

Os resultados do benchmark chegaram em meio à retórica máxima da própria OpenAI. Em uma coletiva de imprensa antes do lançamento de quinta-feira, o presidente da empresa, Greg Brockman, disse que “não era irracional sentir que estamos agora na era AGI”, embora não tenha feito uma declaração formal, de acordo com a cobertura do lançamento pelo The New Stack. Ele descreveu a AGI como um “conceito de missão ou conceito espiritual” em vez de um gatilho contratual.

O pesquisador da OpenAI, Aidan Clark, disse que o Astra foi o maior treinamento da empresa até o momento – o primeiro pré-treinado em mais de 100.000 GPUs na unidade Stargate no Texas – e o primeiro lançamento do OpenAI em que modelos anteriores desempenharam um papel significativo na supervisão do processo de treinamento. O acesso permanece faseado: a implementação começa com clientes empresariais no programa Daybreak, com disponibilidade Plus, Pro, Business e Enterprise, além de acesso API e AWS prometido nos próximos dias.

O asterisco na pontuação

O cuidado é necessário em diversas frentes. O desempenho do ARC-AGI-3 do Astra depende muito da configuração do chicote, como mostram os dois números principais, e os chicotes personalizados que preservam o estado do modelo têm sido um ponto recorrente de discórdia em disputas de benchmark. A análise do lançamento do New Stack observou que o Astra “apresenta grandes ganhos em tarefas especializadas, mas é caro e não lidera claramente o pacote de codificação” – um lembrete de que os benchmarks de quebra-cabeças de agentes e as cargas de trabalho comerciais diárias medem coisas diferentes.

O próprio Prêmio ARC enquadra o exercício como uma medida da "lacuna residual" entre a IA atual e a AGI, definindo AGI como a capacidade de adquirir qualquer habilidade que um ser humano possa, com a mesma eficiência que um ser humano pode. Uma pontuação quase perfeita em condições favoráveis ​​não elimina essa lacuna por si só. E por um custo de 17.000 a 50.000 dólares por avaliação, apenas laboratórios com bons recursos podem dar-se ao luxo de executar o benchmark nesta escala – embora os dados de custos do Prémio ARC mostrem que um raciocínio mais inteligente pode realmente reduzir a conta.

Por que é importante

A eficiência da ação é um eixo de comparação genuinamente novo. Um modelo que resolve todos os níveis, mas desperdiça milhares de chamadas ao fazê-lo, é menos útil – e mais caro – do que aquele que age como o Astra fez aqui: explorando deliberadamente, comprimindo o que aprende e agindo de acordo. Qualquer que seja a conclusão sobre o debate AGI, os dados do Prémio ARC mostram que os agentes fronteiriços estão agora a equiparar-se aos humanos, não apenas na capacidade de resolver novos problemas, mas também na forma como os resolvem economicamente.

Fique à frente da IA

Cada resultado de benchmark, lançamento de modelo e debate de segurança, monitorado conforme acontece — leia mais notícias sobre IA →