Un benchmark qui demande à de grands modèles de langage d'écrire des robots StarCraft compétitifs en une heure a livré ses résultats les plus détaillés à ce jour, et le verdict est partagé : le GPT-6 Astra d'OpenAI domine le domaine de l'IA, mais les robots écrits par l'homme les plus puissants battent toujours le meilleur modèle 93 % du temps.
StarSkirmish Bench v0.2, publié le 15 octobre par le développeur Kai McPheeters, évalue la puissance d'un robot StarCraft: Brood War que chaque LLM peut produire avec une seule heure d'horloge murale. Chaque modèle écrit un bot Protoss en C++, qui est ensuite joué contre des robots écrits par des modèles rivaux et contre des concurrents établis écrits par des humains. Le test est conçu pour sonder le raisonnement à long terme et le codage agent, puisque les modèles doivent intégrer les leçons des jeux pratiques pour améliorer leurs créations. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
Comment fonctionne le benchmark
Les règles sont volontairement simples. Une heure, une langue, une course. Le score de chaque modèle correspond au taux de victoire moyen sur cinq exécutions contre une liste de robots compétitifs écrits par des humains et de robots de démonstration. La version 0.2 a ajouté une nouveauté : chaque modèle phare s'exécute dans le faisceau de codage CLI propriétaire de son propre laboratoire, testant la pile agentique complète plutôt qu'une boucle API allégée.
Il existe une asymétrie, que l'auteur de référence note d'emblée : Gemini 4 Argon fonctionne à « élevé » – l'effort de raisonnement le plus élevé dont il dispose – alors que tous les autres modèles fonctionnent au maximum.
GPT-6 Astra en tête, GPT-6.1 Sol gagne en termes de valeur
Les résultats placent GPT-6 Astra en tête du classement, ce que le rapport décrit comme une nette longueur d'avance sur GPT-6.1 Sol à la deuxième place. La marge est importante pour les observateurs de référence : dans la plupart des suites de codage agentique, les modèles phares se regroupent à quelques points les uns des autres, de sorte qu'un classement qui sépare le domaine en niveaux distincts effectue plus de travail de diagnostic qu'un top dix surpeuplé. Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 sont fonctionnellement à égalité derrière les deux modèles OpenAI, avec des notes comprises entre 37 et 39. Muse Wonder Full de Meta a pris la septième place.
L’analyse des coûts constitue peut-être la conclusion la plus frappante. Comparé au coût moyen de l'API d'une exécution d'une heure, GPT-6.1 Sol se classe seul dans le quadrant le plus attractif : la deuxième place à un peu plus d'un dixième du coût par exécution de GPT-6 Astra. Pour les équipes qui évaluent les performances des agents par rapport au budget, l’écart entre les deux modèles OpenAI constitue le titre pratique.
Les robots humains restent loin devant
Contre les robots écrits par l'homme les plus puissants – Stardust, PurpleWave et BananaBrain – GPT-6 Astra ne remporte que 7 % de ses parties. L'auteur du benchmark note que la limite d'une heure de raisonnement est un facteur et que les conditions de tournoi pour de vrais robots écrits par des humains sont nettement plus difficiles que les trois cartes à deux joueurs utilisées dans l'évaluation.
Pourtant, cet écart constitue un correctif utile aux récits sur la domination imminente de l’IA dans le logiciel : sur une tâche avec des conditions de victoire claires, une stratégie approfondie et de longs horizons de planification, des décennies d’ingénierie communautaire dépassent encore largement ce qu’une heure de codage de modèle frontière peut produire.
StarCraft a longtemps servi de terrain d'essai pour l'IA de jeu, précisément parce qu'elle résiste à la force brute. La stratégie en temps réel exige une gestion simultanée de l'économie, de la reconnaissance et du combat avec des informations partielles, et la communauté Brood War organise des tournois de robots compétitifs depuis des années. Cet écosystème accumulé est ce qui donne du sens à la référence humaine du benchmark : Stardust, PurpleWave et BananaBrain ne sont pas des adversaires occasionnels mais des programmes raffinés et endurcis par les tournois.
De nouveaux produits phares entrent dans la mêlée
La version 0.2 a également servi de premier tableau de bord pour les modèles récemment sortis. Gemini 4 Argon de Google a remplacé Gemini 3.8 Flash de la version 0.1 et s'est classé troisième lors de ses débuts, tandis que Muse Wonder Full de Meta a remplacé Muse Spark 1.3 et a terminé septième. GPT-6 Astra et Claude Opus 5.5 repris de la couverture de la version précédente.
Le benchmark enregistre une trace d'agent pour chaque exécution, enregistrant la façon dont chaque modèle a passé son heure - un ensemble de données qui transforme le classement en une étude comportementale de la façon dont les modèles de différents laboratoires budgétisent le temps entre la planification, le codage et les tests de jeu. Qu'un modèle charge les décisions d'architecture en amont ou itère rapidement à travers des ébauches boguées est exactement le genre de détails de processus que les scores globaux cachent, et c'est là que les différences entre les laboratoires les plus intéressantes ont tendance à faire surface.
Pourquoi c'est important
Les références de codage agent saturent rapidement, les modèles phares se regroupant au sommet de nombreuses suites d'ingénierie logicielle. StarSkirmish offre une alternative : un environnement dans lequel le plafond est fixé par des experts humains, les progrès sont mesurés en taux de victoire plutôt qu'en points de pourcentage de résolution de tickets, et le budget horaire reflète les contraintes du monde réel sur le travail agent.
Les résultats ont touché une corde sensible auprès des développeurs. Le message de Show HN a suscité plus de 200 votes positifs, les commentateurs se penchant sur les traces des agents et sur le rapport coût-efficacité. Les discussions de référence sur Hacker News ont tendance à se diviser entre les arguments méthodologiques et les points forts en matière de capacités ; celui-ci a attiré les deux, l'asymétrie de l'effort de raisonnement et la taille de l'échantillon de cinq analyses étant parmi les choix de conception les plus examinés. À mesure que les niveaux d'effort de raisonnement augmentent et que les harnais s'améliorent, l'auteur du benchmark prévoit des itérations continues – et pour l'instant, la communauté des robots humains StarCraft conserve son avance confortable.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
