Un benchmark che chiede a modelli linguistici di grandi dimensioni di scrivere bot competitivi di StarCraft in un'ora ha fornito i risultati più dettagliati finora, e il verdetto è diviso: GPT-6 Astra di OpenAI domina il campo dell'intelligenza artificiale, ma i robot più potenti scritti da esseri umani continuano a battere il modello migliore il 93% delle volte.
StarSkirmish Bench v0.2, pubblicato il 15 ottobre dallo sviluppatore Kai McPheeters, valuta la potenza di un bot di StarCraft: Brood War che ciascun LLM può produrre in una singola ora di orologio da parete. Ogni modello scrive un bot Protoss in C++, che viene poi giocato contro bot scritti da modelli rivali e contro concorrenti affermati scritti da esseri umani. Il test è progettato per sondare il ragionamento a lungo orizzonte e la codifica degli agenti, poiché i modelli devono incorporare lezioni tratte da giochi pratici per migliorare le loro creazioni. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
Come funziona il benchmark
Le regole sono volutamente semplici. Un'ora, una lingua, una gara. Il punteggio di ogni modello è la percentuale di vincita media in cinque serie contro un elenco di bot competitivi scritti da esseri umani e bot demo. La versione 0.2 ha aggiunto una svolta: ogni modello di punta viene eseguito all'interno del cablaggio di codifica CLI di prima parte del proprio laboratorio, testando l'intero stack agentico anziché un ciclo API ridotto al minimo.
C'è un'asimmetria, che l'autore del benchmark nota in anticipo: Gemini 4 Argon funziona a "alto" - il massimo sforzo di ragionamento a sua disposizione - mentre ogni altro modello funziona al massimo.
GPT-6 Astra è in testa, GPT-6.1 Sol vince in termini di valore
I risultati mettono GPT-6 Astra in cima alla classifica, che l’articolo descrive come un chiaro passo avanti rispetto a GPT-6.1 Sol al secondo posto. Il margine è importante per gli osservatori dei benchmark: nella maggior parte delle suite di codifica ad agenti, i modelli di punta si raggruppano a pochi punti l'uno dall'altro, quindi una classifica che separa il campo in livelli distinti sta svolgendo più lavoro diagnostico di una top ten affollata. Gemini 4 Argon, Claude Opus 5.5 e Claude Fable 5.1 sono funzionalmente alla pari dietro i due modelli OpenAI, tutti con un punteggio compreso tra 37 e 39. Muse Wonder Full di Meta è arrivato settimo.
L’analisi dei costi potrebbe essere la scoperta più sorprendente. Tracciato rispetto al costo API medio di una corsa di un'ora, GPT-6.1 Sol si colloca da solo nel quadrante più attraente: secondo posto a poco più di un decimo del costo per corsa di GPT-6 Astra. Per i team che valutano le prestazioni degli agenti rispetto al budget, il divario tra i due modelli OpenAI è il titolo pratico.
I robot umani restano molto più avanti
Contro i robot più potenti scritti dall’uomo – Stardust, PurpleWave e BananaBrain – GPT-6 Astra vince solo il 7% dei suoi giochi. L'autore del benchmark sottolinea che il limite di un'ora per il ragionamento è un fattore e che le condizioni del torneo per i veri robot scritti da esseri umani sono significativamente più difficili rispetto alle tre mappe a due giocatori utilizzate nella valutazione.
Tuttavia, il divario è un utile correttivo alle narrazioni di un imminente dominio dell’IA nel software: in un compito con chiare condizioni di vittoria, strategia profonda e lunghi orizzonti di pianificazione, decenni di ingegneria comunitaria sono ancora ben al di sopra di ciò che un’ora di codifica di modelli di frontiera può produrre.
StarCraft è stato a lungo un banco di prova per l'intelligenza artificiale nei videogiochi proprio perché resiste alla forza bruta. La strategia in tempo reale richiede la gestione simultanea dell'economia, dell'esplorazione e del combattimento con informazioni parziali, e la comunità di Brood War mantiene da anni tornei di bot competitivi. Questo ecosistema accumulato è ciò che rende significativa la base umana del benchmark: Stardust, PurpleWave e BananaBrain non sono avversari casuali ma programmi raffinati e temprati nei tornei.
Nuove ammiraglie entrano nella mischia
La versione 0.2 è servita anche come primo quadro di valutazione per i modelli appena rilasciati. Gemini 4 Argon di Google ha sostituito Gemini 3.8 Flash della versione 0.1 e si è piazzato terzo al debutto, mentre Muse Wonder Full di Meta è intervenuto per Muse Spark 1.3 e si è classificato settimo. GPT-6 Astra e Claude Opus 5.5 sono stati ripresi dalla copertura della versione precedente.
Il benchmark registra una traccia dell'agente per ogni esecuzione, registrando il modo in cui ciascun modello ha trascorso la sua ora: un set di dati che trasforma la classifica in uno studio comportamentale di come i modelli di diversi laboratori pianificano il tempo tra pianificazione, codifica e test di gioco. Il fatto che un modello carichi in anticipo le decisioni sull'architettura o iteri rapidamente attraverso bozze difettose è esattamente il tipo di dettaglio del processo nascosto dai punteggi aggregati, ed è dove le differenze tra laboratori più interessanti tendono ad emergere.
Perché è importante
I benchmark di codifica agentica si stanno saturando rapidamente, con i modelli di punta che si raggruppano ai vertici di molte suite di ingegneria del software. StarSkirmish offre un'alternativa: un ambiente in cui il tetto è fissato da esperti umani, il progresso è misurato in percentuali di vincita piuttosto che in punti percentuali di risoluzione dei ticket e il budget di un'ora rispecchia i vincoli del mondo reale sul lavoro degli agenti.
The results struck a chord with developers. Il post di Show HN ha ottenuto più di 200 voti positivi, con i commentatori che hanno approfondito le tracce dell'agente e il complotto dell'efficienza in termini di costi. Le discussioni sui benchmark su Hacker News tendono a dividersi tra cavilli metodologici e hot take sulle capacità; questo ha ottenuto entrambi, con l'asimmetria dello sforzo di ragionamento e la dimensione del campione di cinque analisi tra le scelte progettuali più esaminate. Man mano che i livelli di sforzo di ragionamento aumentano e i finimenti migliorano, l'autore del benchmark prevede continue iterazioni e, per ora, la comunità dei bot umani di StarCraft mantiene il suo comodo vantaggio.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
