Test porównawczy, w którym prosi się duże modele językowe o napisanie konkurencyjnych botów StarCraft w ciągu godziny, dostarczył najbardziej szczegółowych wyników jak dotąd, a werdykt jest podzielony: GPT-6 Astra OpenAI dominuje w dziedzinie sztucznej inteligencji, ale najsilniejsze boty napisane przez ludzi wciąż pokonują najlepszy model w 93% przypadków.
StarSkirmish Bench v0.2, opublikowany 15 października przez programistę Kai McPheeters, ocenia, jak silny bot StarCraft: Brood War może wyprodukować każdy LLM w ciągu jednej godziny zegara ściennego. Każdy model pisze bota Protossów w C++, z którym następnie gra się przeciwko botom stworzonym przez konkurencyjne modele oraz przeciwko uznanym konkurentom napisanym przez ludzi. Test ma na celu zbadanie długoterminowego rozumowania i kodowania agentycznego, ponieważ modele muszą uwzględniać wnioski z gier praktycznych, aby ulepszyć swoje dzieła. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.
Jak działa test porównawczy
Zasady są celowo proste. Jedna godzina, jeden język, jedna rasa. Wynik każdego modelu to średni współczynnik zwycięstw w pięciu rundach przeciwko grupie konkurencyjnych botów napisanych przez ludzi i botów demonstracyjnych. Wersja 0.2 dodała coś nowego: każdy flagowy model działa w oparciu o wiązkę kodowania CLI własnego laboratorium, testując pełny stos agentów, a nie okrojoną pętlę API.
Autor testu porównawczego zauważa od razu jedną asymetrię: Gemini 4 Argon działa na „wysokim” poziomie – przy najwyższym dostępnym mu wysiłku rozumowania – podczas gdy każdy inny model działa na maksimum.
GPT-6 Astra prowadzi, GPT-6.1 Sol wygrywa pod względem wartości
Wyniki umieściły GPT-6 Astra na szczycie tabeli liderów, co w artykule opisano jako wyraźny krok przed GPT-6.1 Sol zajmującym drugie miejsce. Margines ma znaczenie dla obserwatorów testów porównawczych: w większości pakietów kodowania agentycznego modele flagowe skupiają się w kilku punktach od siebie, więc tabela liderów, która dzieli dziedzinę na odrębne poziomy, wykonuje więcej pracy diagnostycznej niż zatłoczona dziesiątka najlepszych. Gemini 4 Argon, Claude Opus 5.5 i Claude Fable 5.1 plasują się na podobnym poziomie pod względem funkcjonalnym za dwoma modelami OpenAI, a wszystkie uzyskują od 37 do 39 punktów. Muse Wonder Full firmy Meta zajęła siódme miejsce.
Analiza kosztów może być bardziej uderzającym odkryciem. W zestawieniu ze średnim kosztem API godzinnej pracy, GPT-6.1 Sol samotnie plasuje się w najbardziej atrakcyjnej ćwiartce: drugie miejsce z nieco ponad jedną dziesiątą kosztu przebiegu GPT-6 Astra. W przypadku zespołów porównujących wydajność agenta z budżetem praktyczną zasadą jest różnica między dwoma modelami OpenAI.
Ludzkie boty pozostają daleko przed nami
Przeciwko najsilniejszym botom stworzonym przez człowieka — Stardust, PurpleWave i BananaBrain — GPT-6 Astra wygrywa tylko 7% swoich gier. Autor testu porównawczego zauważa, że istotnym czynnikiem jest godzinny limit rozumowania oraz że warunki turniejowe dla prawdziwych botów napisanych przez ludzi są znacznie trudniejsze niż w przypadku trzech map dla dwóch graczy wykorzystanych w ocenie.
Mimo to ta luka stanowi użyteczną korektę narracji o rychłej dominacji sztucznej inteligencji w oprogramowaniu: w przypadku zadania z jasnymi warunkami wygranej, głęboką strategią i długimi horyzontami planowania dziesięciolecia inżynierii społecznościowej wciąż znacznie przewyższają to, co może wytworzyć godzina kodowania w oparciu o pionierski model.
StarCraft od dawna służy jako poligon doświadczalny dla sztucznej inteligencji w grach właśnie dlatego, że jest odporny na brutalną siłę. Strategia czasu rzeczywistego wymaga jednoczesnego zarządzania ekonomią, rozpoznaniem i walką przy częściowych informacjach, a społeczność Brood War od lat organizuje konkurencyjne turnieje botów. To właśnie ten skumulowany ekosystem sprawia, że ludzki poziom odniesienia w benchmarku ma znaczenie — Stardust, PurpleWave i BananaBrain nie są przypadkowymi przeciwnikami, ale wyrafinowanymi, zaprawionymi w turniejach programami.
Nowe okręty flagowe wchodzą do walki
Wersja 0.2 służyła także jako wczesna tablica wyników dla świeżo wydanych modeli. Gemini 4 Argon firmy Google zastąpił Gemini 3.8 Flash z wersji 0.1 i w debiucie zajął trzecie miejsce, podczas gdy Muse Wonder Full firmy Meta wstąpił do Muse Spark 1.3 i zajął siódme miejsce. GPT-6 Astra i Claude Opus 5.5 przeniesione z wcześniejszej wersji.
Test porównawczy rejestruje ślad agenta dla każdego uruchomienia i rejestruje, jak każdy model spędził godzinę — zbiór danych, który przekształca tabelę wyników w badanie behawioralne pokazujące, w jaki sposób modele z różnych laboratoriów budżetują czas między planowaniem, kodowaniem i testowaniem gry. To, czy model przejmuje decyzje dotyczące architektury od początku, czy też szybko iteruje po pełnych błędów wersjach roboczych, to dokładnie ten rodzaj szczegółów procesu, który ukrywają zagregowane wyniki, i to właśnie w tym miejscu ujawniają się najciekawsze różnice między laboratoriami.
Dlaczego to ma znaczenie
Testy porównawcze kodowania agentycznego szybko się nasycają, a modele flagowe znajdują się w czołówce wielu pakietów inżynierii oprogramowania. StarSkirmish oferuje alternatywę: środowisko, w którym pułap ustalają eksperci-ludzi, postęp mierzony jest we wskaźnikach wygranych, a nie w punktach procentowych rozpatrzenia zgłoszeń, a godzinny budżet odzwierciedla rzeczywiste ograniczenia pracy agenta.
Wyniki spodobały się programistom. Post Show HN zebrał ponad 200 głosów pozytywnych, a komentatorzy zagłębiali się w ślady agentów i wykres efektywności kosztowej. Dyskusje na temat testów porównawczych w Hacker News zwykle dzielą się na spory metodologiczne i gorące ujęcia dotyczące możliwości; ten narysował jedno i drugie, przy czym asymetria wysiłku rozumowania i pięciokrotna wielkość próby były jednymi z najbardziej szczegółowo analizowanych wyborów projektowych. W miarę wzrostu poziomu wysiłku rozumowania i ulepszania uprzęży autor testu porównawczego planuje dalsze iteracje — i na razie społeczność ludzkich botów StarCraft utrzymuje niezachwianą przewagę.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
