Um benchmark que pede que grandes modelos de linguagem escrevam bots competitivos de StarCraft em uma hora apresentou seus resultados mais detalhados até agora, e o veredicto é dividido: o GPT-6 Astra da OpenAI domina o campo de IA, mas os bots mais fortes escritos por humanos ainda vencem o melhor modelo 93% das vezes.
StarSkirmish Bench v0.2, publicado em 15 de outubro pelo desenvolvedor Kai McPheeters, avalia o quão forte um bot de StarCraft: Brood War cada LLM pode produzir dada uma única hora de relógio de parede. Cada modelo escreve um bot Protoss em C++, que é então jogado contra bots escritos por modelos rivais e contra concorrentes estabelecidos escritos por humanos. O teste foi projetado para investigar o raciocínio de longo horizonte e a codificação agente, uma vez que os modelos devem incorporar lições de jogos práticos para melhorar suas criações. Para mais contexto sobre esta história, confira nossa notícias de IA.
Como funciona o benchmark
As regras são deliberadamente simples. Uma hora, uma língua, uma corrida. A pontuação de cada modelo é a taxa média de vitórias em cinco execuções contra uma lista de bots competitivos escritos por humanos e bots de demonstração. A versão 0.2 adicionou uma reviravolta: cada modelo principal é executado dentro do chicote de codificação CLI primário de seu próprio laboratório, testando a pilha de agente completa em vez de um loop de API simplificado.
Há uma assimetria, que o autor do benchmark observa antecipadamente: o Gemini 4 Argon funciona em “alto” – o maior esforço de raciocínio disponível – enquanto todos os outros modelos funcionam no máximo.
GPT-6 Astra lidera, GPT-6.1 Sol ganha em valor
Os resultados colocaram o GPT-6 Astra no topo da tabela de classificação, que o artigo descreve como um claro passo à frente do GPT-6.1 Sol, em segundo lugar. A margem é importante para os observadores de benchmark: na maioria dos conjuntos de codificação de agentes, os modelos principais agrupam-se a poucos pontos uns dos outros, de modo que uma tabela de classificação que separa o campo em níveis distintos está fazendo mais trabalho de diagnóstico do que um top dez lotado. Gemini 4 Argon, Claude Opus 5.5 e Claude Fable 5.1 estão funcionalmente empatados atrás dos dois modelos OpenAI, todos pontuando entre 37 e 39. Muse Wonder Full da Meta ficou em sétimo.
A análise de custos pode ser a conclusão mais surpreendente. Plotado em relação ao custo médio da API de uma execução de uma hora, o GPT-6.1 Sol fica sozinho no quadrante mais atraente: segundo lugar, com pouco mais de um décimo do custo por execução do GPT-6 Astra. Para as equipes que avaliam o desempenho dos agentes em relação ao orçamento, a lacuna entre os dois modelos OpenAI é o título prático.
Os bots humanos permanecem muito à frente
Contra os bots mais fortes escritos por humanos – Stardust, PurpleWave e BananaBrain – o GPT-6 Astra vence apenas 7% de seus jogos. O autor do benchmark observa que o limite de raciocínio de uma hora é um fator, e que as condições do torneio para bots reais escritos por humanos são significativamente mais difíceis do que os três mapas de dois jogadores usados na avaliação.
Ainda assim, a lacuna é um corretivo útil para narrativas de domínio iminente da IA no software: numa tarefa com condições de vitória claras, estratégia profunda e longos horizontes de planeamento, décadas de engenharia comunitária ainda estão muito acima do que uma hora de codificação de modelo de fronteira pode produzir.
StarCraft há muito serve como campo de testes para IA em jogos precisamente porque resiste à força bruta. A estratégia em tempo real exige gerenciamento simultâneo de economia, reconhecimento e combate sob informações parciais, e a comunidade Brood War mantém torneios de bots competitivos há anos. Esse ecossistema acumulado é o que torna significativa a linha de base humana do benchmark – Stardust, PurpleWave e BananaBrain não são oponentes casuais, mas programas refinados e experientes em torneios.
Novos carros-chefe entram na briga
A versão 0.2 também serviu como um placar inicial para modelos recém-lançados. O Gemini 4 Argon do Google substituiu o Gemini 3.8 Flash da v0.1 e ficou em terceiro na estreia, enquanto o Muse Wonder Full da Meta substituiu o Muse Spark 1.3 e terminou em sétimo. GPT-6 Astra e Claude Opus 5.5 transitaram da cobertura da versão anterior.
O benchmark registra um rastreamento de agente para cada execução, registrando como cada modelo gastou sua hora – um conjunto de dados que transforma o placar em um estudo comportamental de como os modelos de diferentes laboratórios gastam o tempo entre o planejamento, a codificação e o teste de jogo. Se um modelo antecipa decisões de arquitetura ou itera rapidamente por meio de rascunhos com erros é exatamente o tipo de detalhe do processo que as pontuações agregadas escondem, e é onde as diferenças mais interessantes entre laboratórios tendem a surgir.
Por que é importante
Os benchmarks de codificação Agentic estão saturando rapidamente, com modelos principais agrupados perto do topo de muitos pacotes de engenharia de software. StarSkirmish oferece uma alternativa: um ambiente onde o teto é definido por especialistas humanos, o progresso é medido em taxas de vitória em vez de pontos percentuais de resolução de tickets, e o orçamento de uma hora reflete as restrições do mundo real no trabalho das agências.
Os resultados impressionaram os desenvolvedores. A postagem do Show HN atraiu mais de 200 votos positivos, com comentaristas investigando os rastros dos agentes e o gráfico de eficiência de custos. As discussões de referência no Hacker News tendem a se dividir entre problemas de metodologia e questões importantes sobre capacidade; este atraiu ambos, com a assimetria do esforço de raciocínio e o tamanho da amostra de cinco execuções entre as opções de design mais examinadas. À medida que os níveis de esforço de raciocínio aumentam e os aproveitamentos melhoram, o autor do benchmark planeja iterações contínuas – e por enquanto, a comunidade humana de bots de StarCraft mantém sua liderança confortável.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
