Тест, который требует, чтобы большие языковые модели писали конкурентоспособных ботов StarCraft за один час, дал самые подробные результаты, и вердикт разделился: GPT-6 Astra от OpenAI доминирует в области искусственного интеллекта, но самые сильные боты, написанные человеком, по-прежнему превосходят лучшую модель в 93% случаев.

StarSkirmish Bench v0.2, опубликованная 15 октября разработчиком Каем Макфитерсом, оценивает, насколько сильный бот StarCraft: Brood War может создать каждый LLM за один час настенных часов. Каждая модель пишет бота-протосса на C++, с которым затем играют против ботов, написанных конкурирующими моделями, и против признанных конкурентов, написанных людьми. Тест предназначен для проверки долгосрочного мышления и агентного кодирования, поскольку модели должны включать уроки из практических игр для улучшения своих творений. Подробнее об этой истории — в нашем тенденции ИИ.

Как работает тест

Правила намеренно просты. Один час, один язык, одна раса. Оценка каждой модели представляет собой средний процент побед в пяти испытаниях против списка конкурентоспособных ботов, написанных человеком, и демонстрационных ботов. В версии 0.2 добавлена ​​особенность: каждая флагманская модель работает внутри собственного программного обеспечения CLI, разработанного собственной лабораторией, тестируя полный агентский стек, а не урезанный цикл API.

Есть одна асимметрия, которую сразу отмечает автор теста: Gemini 4 Argon работает на «высокой» мощности — максимальном доступном для него усилии рассуждения — в то время как все остальные модели работают на максимуме.

GPT-6 Astra лидирует, GPT-6.1 Sol выигрывает по цене

Результаты поставили GPT-6 Astra на вершину таблицы лидеров, что в обзоре описано как явный шаг впереди GPT-6.1 Sol, занявшего второе место. Разница имеет значение для наблюдателей за показателями: в большинстве пакетов агентного кодирования флагманские модели группируются в пределах нескольких точек друг от друга, поэтому таблица лидеров, разделяющая область на отдельные уровни, выполняет больше диагностической работы, чем переполненная первая десятка. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 функционально связаны между двумя моделями OpenAI, набрав от 37 до 39 баллов. Muse Wonder Full от Meta заняла седьмое место.

Анализ затрат может оказаться более поразительным открытием. Если сравнивать среднюю стоимость API за один час пробега, GPT-6.1 Sol оказывается единственным в наиболее привлекательном квадранте: второе место с чуть более чем десятой частью стоимости GPT-6 Astra за пробег. Для команд, сопоставляющих производительность агентов с бюджетом, разрыв между двумя моделями OpenAI является практическим критерием.

##Человеческие боты остаются далеко впереди

Против сильнейших рукописных ботов — Stardust, PurpleWave и BananaBrain — GPT-6 Astra выигрывает лишь 7% своих игр. Автор теста отмечает, что ограничение на рассуждения в один час является важным фактором и что условия турнира для настоящих ботов, написанных людьми, значительно сложнее, чем три карты для двух игроков, использованные при оценке.

Тем не менее, этот разрыв является полезной поправкой к повествованиям о неизбежном доминировании ИИ в программном обеспечении: в задаче с четкими условиями победы, глубокой стратегией и длительными горизонтами планирования десятилетия работы сообщества по-прежнему намного превосходят то, что может дать час кодирования передовых моделей.

StarCraft долгое время служил испытательным полигоном для игрового ИИ именно потому, что он сопротивляется грубой силе. Стратегия в реальном времени требует одновременного управления экономикой, разведки и боя при частичной информации, и сообщество Brood War уже много лет поддерживает соревновательные турниры с ботами. Именно эта накопленная экосистема делает значимым человеческий базовый уровень теста: Stardust, PurpleWave и BananaBrain — не случайные противники, а изысканные, закаленные в турнирах программы.

Новые флагманы вступают в бой

Версия 0.2 также служила ранним табло для недавно выпущенных моделей. Gemini 4 Argon от Google заменил Gemini 3.8 Flash версии 0.1 и занял третье место в дебюте, а Muse Wonder Full от Meta заменил Muse Spark 1.3 и занял седьмое место. GPT-6 Astra и Claude Opus 5.5 перенесены из предыдущей версии.

Тест записывает трассировку агента для каждого запуска, фиксируя, как каждая модель провела свой час — набор данных, который превращает таблицу лидеров в поведенческое исследование того, как модели разных лабораторий распределяют время между планированием, кодированием и игровым тестированием. Независимо от того, принимает ли модель архитектурные решения заранее или быстро проходит через черновые версии с ошибками, это именно та деталь процесса, которую скрывают совокупные оценки, и именно здесь обычно всплывают наиболее интересные межлабораторные различия.

Почему это важно

Тесты агентного кодирования быстро насыщаются, и флагманские модели занимают верхние позиции во многих пакетах разработки программного обеспечения. StarSkirmish предлагает альтернативу: среду, в которой потолок устанавливается экспертами, прогресс измеряется процентом побед, а не процентными пунктами разрешения заявок, а часовой бюджет отражает реальные ограничения агентской работы.

Результаты нашли отклик у разработчиков. Пост Show HN собрал более 200 голосов, а комментаторы копались в следах агентов и графике экономической эффективности. Обсуждения контрольных показателей на Hacker News имеют тенденцию разделяться между придирками к методологии и горячими взглядами на возможности; в этом исследовании были использованы оба варианта: асимметрия рассуждений и усилий и размер выборки из пяти проб были одними из наиболее тщательно изучаемых вариантов дизайна. По мере того, как уровень логических усилий растет, а средства совершенствования улучшаются, автор теста планирует продолжать итерации — и на данный момент сообщество ботов StarCraft сохраняет свое уверенное лидерство.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →