Ett riktmärke som ber stora språkmodeller att skriva konkurrenskraftiga StarCraft-botar på en timme har levererat sina mest detaljerade resultat hittills, och domen är delad: OpenAI:s GPT-6 Astra dominerar AI-fältet, men de starkaste mänskligt skrivna botarna slår fortfarande den bästa modellen 93 % av gångerna.
StarSkirmish Bench v0.2, publicerad 15 oktober av utvecklaren Kai McPheeters, utvärderar hur stark en StarCraft: Brood War-bot varje LLM kan producera med en timmes väggklockatid. Varje modell skriver en Protoss-bot i C++, som sedan spelas mot bots skrivna av rivaliserande modeller och mot etablerade mänskligt skrivna konkurrenter. Testet är utformat för att undersöka resonemang över långa horisonter och agentkodning, eftersom modeller måste införliva lärdomar från övningsspel för att förbättra sina skapelser. For more context on this story, see our ongoing AI trends.
Hur riktmärket fungerar
Reglerna är medvetet enkla. En timme, ett språk, ett lopp. Varje modells poäng är den genomsnittliga vinstfrekvensen över fem körningar mot en lista med konkurrenskraftiga mänskligt skrivna bots och demobotar. Version 0.2 lade till en twist: varje flaggskeppsmodell körs i sitt eget labbs förstaparts CLI-kodningskabel, och testar hela agentstacken snarare än en avskalad API-loop.
Det finns en asymmetri som benchmarkförfattaren noterar på förhand: Gemini 4 Argon körs på "hög" - den högsta resonemangsansträngning som finns tillgänglig för den - medan alla andra modeller körs på maximalt.
GPT-6 Astra leder, GPT-6.1 Sol vinner på värde
Resultaten placerade GPT-6 Astra högst upp på topplistan, vilket uppskrivningen beskriver som ett tydligt steg före GPT-6.1 Sol på andra plats. Marginalen spelar roll för benchmark-bevakare: i de flesta agentiska kodningssviter samlas flaggskeppsmodellerna inom några få punkter från varandra, så en topplista som delar upp fältet i distinkta nivåer gör mer diagnostiskt arbete än en fullsatt topp tio. Gemini 4 Argon, Claude Opus 5.5 och Claude Fable 5.1 är funktionellt knutna bakom de två OpenAI-modellerna, alla har fått mellan 37 och 39. Metas Muse Wonder Full tog sjuan.
Kostnadsanalysen kan vara det mer slående resultatet. Utritad mot den genomsnittliga API-kostnaden för en körning på en timme, landar GPT-6.1 Sol ensam i den mest attraktiva kvadranten: andra plats till drygt en tiondel av GPT-6 Astras kostnad per körning. För team som väger agentprestationer mot budget är gapet mellan de två OpenAI-modellerna den praktiska rubriken.
Mänskliga robotar ligger långt framme
Mot de starkaste mänskligt skrivna botarna – Stardust, PurpleWave och BananaBrain – vinner GPT-6 Astra bara 7 % av sina spel. Benchmarkens författare noterar att gränsen för en timmes resonemang är en faktor, och att turneringsförhållandena för riktiga mänskligt skrivna bots är betydligt svårare än de tre tvåspelarkartorna som används i utvärderingen.
Fortfarande är gapet ett användbart korrektiv till berättelser om överhängande AI-dominans i mjukvara: på en uppgift med tydliga vinstförhållanden, djupa strategier och långa planeringshorisonter står decennier av community engineering fortfarande långt över vad en timmes frontier-modellkodning kan producera.
StarCraft har länge fungerat som en provplats för spelande AI just för att den motstår brute force. Realtidsstrategi kräver samtidig hantering av ekonomi, scouting och strid under partiell information, och Brood War-communityt har upprätthållit konkurrenskraftiga bot-turneringar i flera år. Det ackumulerade ekosystemet är det som gör riktmärkets mänskliga baslinje meningsfull – Stardust, PurpleWave och BananaBrain är inte tillfälliga motståndare utan raffinerade, turneringshärdade program.
Nya flaggskepp Enter the Fray
Version 0.2 fungerade också som en tidig resultattavla för nyligen släppta modeller. Googles Gemini 4 Argon ersatte v0.1:s Gemini 3.8 Flash och placerade sig på tredje plats vid debuten, medan Metas Muse Wonder Full klev in för Muse Spark 1.3 och slutade sjua. GPT-6 Astra och Claude Opus 5.5 överfördes från den tidigare versionens täckning.
Riktmärket registrerar en agentspårning för varje körning, och loggar hur varje modell spenderade sin timme – en datauppsättning som förvandlar topplistan till en beteendestudie av hur olika laboratoriemodeller budgeterar tid mellan planering, kodning och speltestning. Huruvida en modell frontlastar arkitekturbeslut eller itererar snabbt genom buggy-utkast är exakt den typ av processdetaljer som samlade poäng döljer, och det är där de mest intressanta skillnaderna mellan labb tenderar att dyka upp.
Varför det är viktigt
Agentiska riktmärken för kodning mättas snabbt, med flaggskeppsmodeller som samlas nära toppen av många programvarutekniska sviter. StarSkirmish erbjuder ett alternativ: en miljö där taket sätts av mänskliga experter, framsteg mäts i vinstfrekvens snarare än procentenheter av biljettupplösning, och den timslånga tidsbudgeten speglar verkliga begränsningar för agentarbete.
Resultaten slog an hos utvecklarna. Show HN-inlägget fick mer än 200 uppröstningar, med kommentatorer som grävde i agentspåren och kostnadseffektiviteten. Benchmarkdiskussioner på Hacker News tenderar att delas upp mellan metodkäbbel och heta kapacitetsuttag; den här drog båda, med resonemang-ansträngningsasymmetri och urvalsstorleken i fem körningar bland de mest granskade designvalen. När resonemangsnivåerna stiger och selarna förbättras planerar benchmark-författaren fortsatta iterationer - och för närvarande behåller den mänskliga StarCraft-botgemenskapen sin bekväma ledning.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
