Benchmark, který žádá velké jazykové modely, aby napsaly konkurenceschopné roboty StarCraft za jednu hodinu, přinesl své dosud nejpodrobnější výsledky a verdikt je rozdělený: OpenAI GPT-6 Astra dominuje na poli umělé inteligence, ale nejsilnější roboti napsaní lidmi stále porážejí nejlepší model v 93 % případů.
StarSkirmish Bench v0.2, vydaný 15. října vývojářem Kai McPheetersem, hodnotí, jak silného robota StarCraft: Brood War může každý LLM vyprodukovat při jediné hodině nástěnných hodin. Každý model napíše protosského bota v C++, který se pak hraje proti botům napsaným konkurenčními modely a proti zavedeným, lidmi psaným konkurentům. Test je navržen tak, aby zkoumal uvažování v dlouhém horizontu a agentní kódování, protože modely musí zahrnovat lekce z cvičných her, aby zlepšily své výtvory. For more context on this story, see our ongoing breaking AI news.
Jak Benchmark funguje
Pravidla jsou záměrně jednoduchá. Jedna hodina, jeden jazyk, jedna rasa. Skóre každého modelu je průměrná míra výher v pěti běhech proti seznamu konkurenčních robotů napsaných lidmi a demo robotů. Verze 0.2 přidala zvrat: každý model vlajkové lodi běží uvnitř vlastní laboratoře v první straně kódovacího svazku CLI a testuje celý zásobník agentů spíše než zkrácenou smyčku API.
Existuje jedna asymetrie, kterou autor benchmarku předem poznamenává: Gemini 4 Argon běží na „vysoké“ – nejvyšší možné úsilí o uvažování – zatímco každý jiný model běží na maximum.
GPT-6 Astra vede, GPT-6.1 Sol vítězí na hodnotě
Výsledky umístily GPT-6 Astra na vrchol žebříčku, což popis popisuje jako jasný krok před GPT-6.1 Sol na druhém místě. Pro ty, kteří sledují benchmark, záleží na marži: ve většině sad agentního kódování se vlajkové modely shlukují v několika bodech od sebe, takže žebříček, který rozděluje pole na různé úrovně, dělá více diagnostické práce než přeplněná desítka nejlepších. Gemini 4 Argon, Claude Opus 5.5 a Claude Fable 5.1 jsou funkčně svázány za dvěma modely OpenAI, všechny mají skóre mezi 37 a 39. Muse Wonder Full z Meta obsadil sedmé místo.
Nejvýraznějším zjištěním může být analýza nákladů. Vyneseno proti průměrným nákladům API na jednu hodinu běhu, GPT-6.1 Sol přistane sám v nejatraktivnějším kvadrantu: druhé místo s něco málo přes desetinu nákladů na jeden běh GPT-6 Astra. Pro týmy, které zvažují výkon agenta oproti rozpočtu, je rozdíl mezi dvěma modely OpenAI praktickým nadpisem.
Lidští roboti zůstávají daleko vepředu
Proti nejsilnějším robotům napsaným lidmi – Stardust, PurpleWave a BananaBrain – GPT-6 Astra vyhrává pouze 7 % svých her. Autor benchmarku poznamenává, že limit jedné hodiny uvažování je faktorem a že turnajové podmínky pro skutečné roboty psané lidmi jsou výrazně těžší než tři mapy pro dva hráče používané při hodnocení.
Přesto je tato mezera užitečnou korekcí příběhů o hrozící dominanci umělé inteligence v softwaru: na úkolu s jasnými vítěznými podmínkami, hlubokou strategií a dlouhými horizonty plánování jsou desetiletí komunitního inženýrství stále výrazně nad tím, co může vyprodukovat hodina kódování hraničního modelu.
StarCraft dlouho sloužil jako zkušební půda pro herní AI právě proto, že odolává hrubé síle. Strategie v reálném čase vyžaduje současné řízení ekonomiky, vyhledávání a boje pod částečnými informacemi a komunita Brood War udržuje soutěžní turnaje botů po celá léta. Tento nahromaděný ekosystém je to, co činí základní linii benchmarku smysluplnou – Stardust, PurpleWave a BananaBrain nejsou náhodní protivníci, ale rafinované, turnaje zocelené programy.
Nové vlajkové lodě Vstupte do boje
Verze 0.2 také sloužila jako raná výsledková tabulka pro čerstvě vydané modely. Gemini 4 Argon od Googlu nahradil Gemini 3.8 Flash v0.1 a při debutu se umístil na třetím místě, zatímco Muse Wonder Full z Meta nastoupil za Muse Spark 1.3 a skončil sedmý. GPT-6 Astra a Claude Opus 5.5 přeneseny z pokrytí dřívější verze.
Benchmark zaznamenává trasování agenta pro každý běh, zaznamenává, jak každý model strávil svou hodinu – soubor dat, který mění výsledkovou tabulku na behaviorální studii toho, jak modely různých laboratoří počítají čas mezi plánováním, kódováním a testováním přehrávání. Ať už model upřednostňuje rozhodnutí o architektuře nebo rychle iteruje chybnými návrhy, je to přesně ten druh detailů procesu, který skrývají souhrnná skóre, a právě zde se obvykle objevují nejzajímavější rozdíly mezi laboratořemi.
Proč na tom záleží
Srovnávací testy pro agentní kódování se rychle nasycují, přičemž vlajkové modely se shlukují blízko vrcholu mnoha sad softwarového inženýrství. StarSkirmish nabízí alternativu: prostředí, kde strop určují lidští experti, pokrok se měří spíše v míře výher než v procentech rozlišení tiketu a hodinový rozpočet odráží reálná omezení práce agentů.
Výsledky zasáhly vývojáře. Příspěvek Show HN získal více než 200 hlasů pro, přičemž komentátoři se zabývali stopami agentů a grafem efektivity nákladů. Benchmarkové diskuze na Hacker News mají tendenci se dělit mezi metodologické dohady a žhavé možnosti; tento kreslil obojí, asymetrie uvažování a úsilí a velikost vzorku s pěti sériemi patřily k nejvíce zkoumaným návrhům. S tím, jak se úroveň úsilí o uvažování zvyšuje a zlepšují se svazky, autor benchmarku plánuje další iterace – a prozatím si lidská komunita botů StarCraft udržuje své pohodlné vedení.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
