Тест, який вимагає від великих мовних моделей написати конкурентоспроможних ботів StarCraft за одну годину, дав найдетальніші результати, і вердикт розділився: GPT-6 Astra від OpenAI домінує у сфері штучного інтелекту, але найсильніші боти, написані людиною, все одно перемагають найкращу модель у 93% випадків.
StarSkirmish Bench v0.2, опублікований 15 жовтня розробником Kai McPheeters, оцінює, наскільки потужний бот StarCraft: Brood War може створити кожен магістр права за одну годину роботи настінного годинника. Кожна модель пише бота Protoss на C++, який потім грає проти ботів, написаних конкуруючими моделями, і проти визнаних конкурентів, написаних людьми. Тест призначений для дослідження довгострокових міркувань і агентського кодування, оскільки моделі повинні включати уроки з практичних ігор, щоб покращити свої творіння. For more context on this story, see our ongoing AI trends.
Як працює тест
Правила свідомо прості. Одна година, одна мова, одна раса. Оцінка кожної моделі є середнім показником перемоги в п’яти загонах проти списку конкурентоспроможних ботів, написаних людиною, і демонстраційних ботів. У версії 0.2 додана особливість: кожна флагманська модель працює в системі кодування CLI своєї власної лабораторії, тестуючи повний стек агентів, а не скорочений цикл API.
Є одна асиметрія, на яку автор тесту звернув увагу: Gemini 4 Argon працює на «високому» рівні — максимальному доступному для нього зусиллі міркування — тоді як усі інші моделі працюють на максимумі.
GPT-6 Astra лідирує, GPT-6.1 Sol перемагає за ціною
Результати поставили GPT-6 Astra на вершину таблиці лідерів, що описується як чіткий крок попереду GPT-6.1 Sol на другому місці. Для спостерігачів за бенчмарком маржа має значення: у більшості пакетів програмного кодування флагманські моделі групуються в межах кількох точок одна від одної, тому таблиця лідерів, яка розділяє поле на окремі рівні, виконує більше діагностичної роботи, ніж переповнена десятка лідерів. Gemini 4 Argon, Claude Opus 5.5 і Claude Fable 5.1 функціонально пов’язані з двома моделями OpenAI, усі набрали від 37 до 39 балів. Meta’s Muse Wonder Full посіла сьоме місце.
Аналіз витрат може бути більш вражаючим відкриттям. Порівняно із середньою вартістю API за одну годину пробігу, GPT-6.1 Sol виявився єдиним у найпривабливішому квадранті: друге місце з трохи більше ніж десятою частиною вартості за пробіг GPT-6 Astra. Для команд, які зважують продуктивність агента та бюджет, розрив між двома моделями OpenAI є практичним заголовком.
Людські боти залишаються далеко попереду
Проти найсильніших рукотворних ботів — Stardust, PurpleWave і BananaBrain — GPT-6 Astra виграє лише 7% своїх ігор. Автор бенчмарку зазначає, що обмеження на одну годину міркування є фактором, і що умови турніру для справжніх ботів, написаних людиною, значно складніші, ніж три карти для двох гравців, які використовуються в оцінці.
Тим не менш, цей розрив є корисним корективом для розповідей про неминуче домінування штучного інтелекту в програмному забезпеченні: у завданні з чіткими умовами перемоги, глибокою стратегією та довгостроковими горизонтами планування десятиліття спільного проектування все ще значно перевищують те, що може дати година кодування передової моделі.
StarCraft довгий час служив полігоном для ігрового штучного інтелекту саме тому, що він протистоїть грубій силі. Стратегія в реальному часі вимагає одночасного управління економікою, розвідкою та боями за часткової інформації, і спільнота Brood War роками підтримує змагальні турніри ботів. Саме ця накопичена екосистема надає значущість людській базовій лінії тестування — Stardust, PurpleWave і BananaBrain — це не випадкові суперники, а вишукані, загартовані на турнірах програми.
Нові флагмани вступають у бій
Версія 0.2 також служила першим табло для щойно випущених моделей. Gemini 4 Argon від Google замінив Gemini 3.8 Flash версії 0.1 і посів третє місце під час дебюту, а Muse Wonder Full від Meta виступив за Muse Spark 1.3 і посів сьоме місце. GPT-6 Astra та Claude Opus 5.5 перенесені з покриття попередньої версії.
Тест фіксує трасування агента для кожного запуску, фіксуючи, як кожна модель витратила свою годину — набір даних, який перетворює таблицю лідерів у поведінкове дослідження того, як моделі різних лабораторій витрачають час між плануванням, кодуванням і тестуванням. Незалежно від того, чи модель спочатку завантажує рішення щодо архітектури, чи швидко повторює чернетки з помилками, це саме той тип деталей процесу, який приховують сукупні оцінки, і саме тут виявляються найцікавіші міжлабораторні відмінності.
Чому це важливо
Еталонні тести кодування Agentic швидко насичуються, а флагманські моделі кластеризуються на вершині багатьох пакетів програмної інженерії. StarSkirmish пропонує альтернативу: середовище, де стеля встановлюється експертами-людьми, прогрес вимірюється коефіцієнтом виграшу, а не відсотковими пунктами вирішення заявки, а годинний бюджет відображає реальні обмеження на роботу агентів.
Результати вразили розробників. Публікація Show HN отримала більше 200 голосів «за», а коментатори копалися в слідах агента та сюжеті про економічну ефективність. Обговорення бенчмарків на Hacker News, як правило, поділяються на придирки щодо методології та гарячі прийоми можливостей; цей привернув обидва, з асиметрією міркувань і зусиль і розміром вибірки з п’яти прогонів серед найбільш ретельно досліджуваних варіантів дизайну. У міру того, як рівень зусиль міркування зростає, а джгути покращуються, автор тесту планує продовжувати ітерації — і наразі спільнота ботів-людей StarCraft зберігає впевнене лідерство.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
