Een benchmark die grote taalmodellen vraagt om in één uur concurrerende StarCraft-bots te schrijven, heeft de meest gedetailleerde resultaten tot nu toe opgeleverd, en het oordeel is verdeeld: OpenAI's GPT-6 Astra domineert het AI-veld, maar de sterkste door mensen geschreven bots verslaan nog steeds 93% van de tijd het beste model.
StarSkirmish Bench v0.2, op 15 oktober gepubliceerd door ontwikkelaar Kai McPheeters, evalueert hoe sterk een StarCraft: Brood War-bot elke LLM kan produceren met een enkel uur wandkloktijd. Elk model schrijft een Protoss-bot in C++, die vervolgens wordt gespeeld tegen bots die zijn geschreven door rivaliserende modellen en tegen gevestigde, door mensen geschreven concurrenten. De test is bedoeld om redeneren over langere horizonten en agentische codering te onderzoeken, omdat modellen lessen uit oefenspellen moeten integreren om hun creaties te verbeteren. Voor meer context over dit verhaal, zie ons meer AI-verhalen.
Hoe de benchmark werkt
De regels zijn bewust eenvoudig gehouden. Eén uur, één taal, één race. De score van elk model is het gemiddelde winstpercentage over vijf runs tegen een selectie competitieve, door mensen geschreven bots en demo-bots. Versie 0.2 voegde een twist toe: elk vlaggenschipmodel draait in het eigen CLI-coderingsharnas van zijn eigen laboratorium, waarbij de volledige agentische stapel wordt getest in plaats van een uitgeklede API-lus.
Er is één asymmetrie, die de auteur van de benchmark vooraf opmerkt: Gemini 4 Argon werkt op "hoog" - de hoogste redeneerinspanning die daarvoor beschikbaar is - terwijl elk ander model op maximum draait.
GPT-6 Astra leidt, GPT-6.1 Sol wint op waarde
De resultaten plaatsen GPT-6 Astra bovenaan het klassement, wat in het artikel wordt beschreven als een duidelijke stap voor op GPT-6.1 Sol op de tweede plaats. De marge is van belang voor benchmarkwatchers: in de meeste agentic-coderingssuites clusteren vlaggenschipmodellen binnen een paar punten van elkaar, dus een scorebord dat het veld in verschillende niveaus verdeelt, doet meer diagnostisch werk dan een overvolle top tien. Gemini 4 Argon, Claude Opus 5.5 en Claude Fable 5.1 staan functioneel op één lijn met de twee OpenAI-modellen, die allemaal tussen de 37 en 39 scoren. Meta's Muse Wonder Full werd zevende.
De kostenanalyse is misschien wel de meest opvallende bevinding. Afgezet tegen de gemiddelde API-kosten van een run van één uur, belandt GPT-6.1 Sol alleen in het meest aantrekkelijke kwadrant: de tweede plaats met iets meer dan een tiende van de kosten van GPT-6 Astra per run. Voor teams die de prestaties van agenten afwegen tegen het budget, is de kloof tussen de twee OpenAI-modellen de praktische kop.
Menselijke bots blijven ver voorop
Tegen de sterkste door mensen geschreven bots – Stardust, PurpleWave en BananaBrain – wint GPT-6 Astra slechts 7% van zijn games. De auteur van de benchmark merkt op dat de redeneringslimiet van één uur een factor is, en dat de toernooiomstandigheden voor echte, door mensen geschreven bots aanzienlijk moeilijker zijn dan de drie kaarten voor twee spelers die bij de evaluatie worden gebruikt.
Toch is de kloof een nuttige correctie voor verhalen over de dreigende AI-dominantie in software: bij een taak met duidelijke winstvoorwaarden, diepgaande strategie en lange planningshorizon staan tientallen jaren van community-engineering nog steeds ver boven wat een uur grensmodelcodering kan opleveren.
StarCraft heeft lange tijd gediend als proeftuin voor game-playing AI, juist omdat het brute kracht weerstaat. Real-time strategie vereist gelijktijdig beheer van de economie, scouting en gevechten onder gedeeltelijke informatie, en de Brood War-gemeenschap onderhoudt al jaren competitieve bottoernooien. Dat verzamelde ecosysteem maakt de menselijke basislijn van de benchmark betekenisvol: Stardust, PurpleWave en BananaBrain zijn geen toevallige tegenstanders, maar verfijnde, door toernooien geharde programma's.
Nieuwe vlaggenschepen betreden de strijd
Versie 0.2 diende ook als een vroeg scorebord voor pas uitgebrachte modellen. Google's Gemini 4 Argon verving Gemini 3.8 Flash van v0.1 en werd derde bij zijn debuut, terwijl Meta's Muse Wonder Full inviel voor Muse Spark 1.3 en als zevende eindigde. GPT-6 Astra en Claude Opus 5.5 overgenomen van de dekking van de eerdere versie.
De benchmark registreert voor elke run een agenttrace en registreert hoe elk model zijn uur heeft doorgebracht - een dataset die het scorebord verandert in een gedragsstudie van hoe de modellen van verschillende laboratoria tijd besteden tussen planning, codering en playtests. Of een model architectuurbeslissingen nu vooraf laadt of snel itereert door concepten met fouten, is precies het soort procesdetails dat de verzamelde scores verbergen, en het is waar de meest interessante cross-lab verschillen vaak naar boven komen.
Waarom het ertoe doet
Benchmarks voor agentische codering raken snel verzadigd, waarbij vlaggenschipmodellen zich aan de top van veel software-engineeringsuites bevinden. StarSkirmish biedt een alternatief: een omgeving waarin het plafond wordt bepaald door menselijke experts, de voortgang wordt gemeten in winstpercentages in plaats van in procentpunten van de ticketresolutie, en het tijdsbudget van een uur weerspiegelt de beperkingen in de echte wereld op het werk van agenten.
De resultaten raakten een gevoelige snaar bij ontwikkelaars. De Show HN-post trok meer dan 200 stemmen, waarbij commentatoren zich verdiepten in de sporen van agenten en het kostenefficiëntiediagram. Benchmarkdiscussies op Hacker News hebben de neiging zich te splitsen tussen gezeur over de methodologie en hot-takes over mogelijkheden; deze trok beide, waarbij de asymmetrie van de redeneerinspanning en de steekproefomvang van vijf runs tot de meest onderzochte ontwerpkeuzes behoorden. Naarmate het niveau van de redeneerinspanningen toeneemt en de harnassen verbeteren, plant de auteur van de benchmark verdere iteraties - en voorlopig behoudt de menselijke StarCraft-botgemeenschap zijn comfortabele voorsprong.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
