Ein Benchmark, bei dem große Sprachmodelle aufgefordert werden, in einer Stunde konkurrenzfähige StarCraft-Bots zu schreiben, hat die bisher detailliertesten Ergebnisse geliefert, und das Urteil ist geteilt: Der GPT-6 Astra von OpenAI dominiert das KI-Feld, aber die stärksten von Menschen geschriebenen Bots schlagen immer noch das beste Modell in 93 % der Fälle.
StarSkirmish Bench v0.2, veröffentlicht am 15. Oktober vom Entwickler Kai McPheeters, bewertet, wie stark ein StarCraft: Brood War-Bot jedes LLM bei einer einzigen Stunde Arbeitszeit produzieren kann. Jedes Modell schreibt einen Protoss-Bot in C++, der dann gegen Bots ausgespielt wird, die von konkurrierenden Modellen geschrieben wurden, und gegen etablierte, von Menschen geschriebene Konkurrenten. Der Test soll das Denken über einen langen Zeitraum und die Agentenkodierung untersuchen, da Modelle Lehren aus Übungsspielen einbeziehen müssen, um ihre Kreationen zu verbessern. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.
So funktioniert der Benchmark
Die Regeln sind bewusst einfach gehalten. Eine Stunde, eine Sprache, ein Rennen. Die Punktzahl jedes Modells ist die durchschnittliche Siegrate über fünf Läufe gegen eine Liste konkurrierender, von Menschen geschriebener Bots und Demo-Bots. Version 0.2 fügte eine Wendung hinzu: Jedes Flaggschiffmodell läuft in der Erstanbieter-CLI-Codierungsumgebung seines eigenen Labors und testet den gesamten Agentenstapel und nicht eine abgespeckte API-Schleife.
Es gibt eine Asymmetrie, die der Benchmark-Autor vorab anmerkt: Gemini 4 Argon läuft auf „Hoch“ – dem höchsten ihm zur Verfügung stehenden Argumentationsaufwand –, während jedes andere Modell auf Maximum läuft.
GPT-6 Astra führt, GPT-6.1 Sol gewinnt aufgrund des Wertes
Mit den Ergebnissen liegt GPT-6 Astra an der Spitze der Bestenliste, was in dem Bericht als klarer Vorsprung vor GPT-6.1 Sol auf dem zweiten Platz beschrieben wird. Der Spielraum ist für Benchmark-Beobachter wichtig: In den meisten Agenten-Coding-Suites gruppieren sich die Flaggschiff-Modelle nur wenige Punkte voneinander entfernt, sodass eine Bestenliste, die das Feld in verschiedene Stufen unterteilt, mehr Diagnosearbeit leistet als eine überfüllte Top-Ten. Gemini 4 Argon, Claude Opus 5.5 und Claude Fable 5.1 liegen funktional gleich hinter den beiden OpenAI-Modellen und erzielten alle Werte zwischen 37 und 39. Metas Muse Wonder Full belegte den siebten Platz.
Die Kostenanalyse dürfte der auffälligere Befund sein. Im Vergleich zu den durchschnittlichen API-Kosten eines einstündigen Laufs landet GPT-6.1 Sol allein im attraktivsten Quadranten: Platz zwei mit etwas mehr als einem Zehntel der Kosten von GPT-6 Astra pro Lauf. Für Teams, die die Agentenleistung gegen das Budget abwägen, ist die Lücke zwischen den beiden OpenAI-Modellen die praktische Schlagzeile.
Menschliche Bots bleiben weit vorne
Gegen die stärksten von Menschen geschriebenen Bots – Stardust, PurpleWave und BananaBrain – gewinnt GPT-6 Astra nur 7 % seiner Spiele. Der Autor des Benchmarks weist darauf hin, dass die einstündige Argumentationsbeschränkung ein Faktor ist und dass die Turnierbedingungen für echte, von Menschen geschriebene Bots deutlich schwieriger sind als die drei in der Bewertung verwendeten Zwei-Spieler-Karten.
Dennoch ist die Lücke ein nützliches Korrektiv für Narrative einer bevorstehenden KI-Dominanz in der Software: Bei einer Aufgabe mit klaren Gewinnbedingungen, einer tiefgreifenden Strategie und langen Planungshorizonten liegen jahrzehntelange Community-Engineerings immer noch weit über dem, was eine Stunde Grenzmodell-Codierung hervorbringen kann.
StarCraft dient seit langem als Testgelände für KI-Spiele, gerade weil es roher Gewalt standhält. Echtzeitstrategie erfordert die gleichzeitige Verwaltung von Wirtschaft, Aufklärung und Kampf unter Teilinformationen, und die Brood War-Community veranstaltet seit Jahren wettbewerbsfähige Bot-Turniere. Dieses angesammelte Ökosystem macht die menschliche Grundlinie des Benchmarks aussagekräftig – Stardust, PurpleWave und BananaBrain sind keine Gelegenheitsgegner, sondern raffinierte, turniererprobte Programme.
Neue Flaggschiffe betreten den Kampf
Version 0.2 diente auch als frühe Anzeigetafel für neu erschienene Modelle. Gemini 4 Argon von Google ersetzte Gemini 3.8 Flash von v0.1 und belegte beim Debüt den dritten Platz, während Muse Wonder Full von Meta für Muse Spark 1.3 einsprang und den siebten Platz belegte. GPT-6 Astra und Claude Opus 5.5 wurden aus der Berichterstattung der früheren Version übernommen.
Der Benchmark zeichnet einen Agenten-Trace für jeden Lauf auf und protokolliert, wie jedes Modell seine Stunde verbracht hat – ein Datensatz, der die Bestenliste in eine Verhaltensstudie darüber verwandelt, wie die Modelle verschiedener Labore die Zeit zwischen Planung, Codierung und Spieltests einplanen. Ob ein Modell Architekturentscheidungen von vornherein vornimmt oder fehlerhafte Entwürfe schnell iteriert, ist genau die Art von Prozessdetails, die von aggregierten Bewertungen ausgeblendet werden, und hier kommen die interessantesten laborübergreifenden Unterschiede zum Vorschein.
Warum es wichtig ist
Die Agenten-Codierungs-Benchmarks sind schnell ausgelastet, und Flaggschiff-Modelle drängen sich an der Spitze vieler Software-Engineering-Suiten. StarSkirmish bietet eine Alternative: eine Umgebung, in der die Obergrenze von menschlichen Experten festgelegt wird, der Fortschritt in Gewinnraten und nicht in Prozentpunkten der Ticketlösung gemessen wird und das stundenlange Zeitbudget die realen Einschränkungen der Agentenarbeit widerspiegelt.
Die Ergebnisse haben bei den Entwicklern großen Anklang gefunden. Der Beitrag von Show HN erhielt mehr als 200 positive Stimmen, wobei sich die Kommentatoren intensiv mit den Spuren der Agenten und dem Kosteneffizienzdiagramm beschäftigten. Benchmark-Diskussionen auf Hacker News tendieren dazu, sich zwischen Streitigkeiten über die Methodik und Hot Takes über die Fähigkeiten aufzuspalten; Dieses zog beides an, wobei die Asymmetrie zwischen Argumentation und Aufwand und die Stichprobengröße von fünf Durchläufen zu den am meisten untersuchten Entwurfsentscheidungen zählten. Da der Denkaufwand steigt und sich die Nutzungsmöglichkeiten verbessern, plant der Autor des Benchmarks weitere Iterationen – und vorerst behält die menschliche StarCraft-Bot-Community ihren komfortablen Vorsprung.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
