大規模な言語モデルに競争力のある StarCraft ボットを 1 時間で作成するよう求めるベンチマークが、これまでで最も詳細な結果をもたらしました。その評決は分かれています。OpenAI の GPT-6 Astra が AI 分野を支配していますが、人間が作成した最も強力なボットが依然として 93% の確率で最良のモデルを上回っています。

開発者の Kai McPheeters によって 10 月 15 日に公開された StarSkirmish Bench v0.2 は、各 LLM が 1 時間の実測時間でどれだけ強力な StarCraft: Brood War ボットを生成できるかを評価します。各モデルは C++ で Protoss ボットを作成し、ライバルのモデルによって作成されたボットや、人間が作成した既存の競合他社と対戦します。モデルは作成物を改善するために練習用ゲームからの教訓を組み込む必要があるため、このテストは長期的な推論とエージェント コーディングを調査するように設計されています。 この件の詳細は、AIの最新動向をご覧ください。

ベンチマークの仕組み

ルールは意図的にシンプルになっています。 1 時間、1 つの言語、1 つのレース。各モデルのスコアは、競合する人間が作成したボットおよびデモ ボットの名簿に対する 5 回の実行の平均勝率です。バージョン 0.2 では工夫が加えられています。すべての主力モデルは、独自のラボのファーストパーティ CLI コーディング ハーネス内で実行され、必要最低限​​の API ループではなく、完全なエージェント スタックをテストします。

ベンチマーク作成者が事前に指摘している非対称性が 1 つあります。Gemini 4 Argon は「高」 (利用可能な最高の推論努力) で実行されますが、他のすべてのモデルは最大で実行されます。

GPT-6 Astra がリード、GPT-6.1 Sol がバリューで勝利

その結果、GPT-6 Astra がリーダーボードのトップとなり、これは 2 位の GPT-6.1 Sol を大きくリードしていると記事では説明されています。ベンチマーク監視者にとってマージンは重要です。ほとんどのエージェント コーディング スイートでは、フラッグシップ モデルが互いに数ポイント以内に集まっているため、フィールドを個別の層に分けるリーダーボードは、混雑したトップ 10 よりも多くの診断作業を行っています。 Gemini 4 Argon、Claude Opus 5.5、および Claude Fable 5.1 は、2 つの OpenAI モデルに機能的に同点であり、すべて 37 ～ 39 のスコアを獲得しました。Meta の Muse Wonder Full は 7 位でした。

コスト分析は、より顕著な発見かもしれません。 1 時間の実行の平均 API コストに対してプロットすると、GPT-6.1 Sol は最も魅力的な象限に単独でランクインします。実行あたりのコストは GPT-6 Astra の 10 分の 1 強で 2 位です。エージェントのパフォーマンスと予算を比較検討するチームにとって、2 つの OpenAI モデル間のギャップは実質的なヘッドラインです。

人間ボットは依然としてはるかに先を行っています

人間が作成した最強のボットである Stardust、PurpleWave、BananaBrain に対して、GPT-6 Astra はゲームのわずか 7% しか勝ちませんでした。ベンチマークの作成者は、1 時間の推論制限が要因であること、および実際の人間が作成したボットのトーナメント条件は、評価に使用された 3 つの 2 プレイヤー マップよりもはるかに難しいと指摘しています。

それでも、このギャップは、ソフトウェアにおける AI の差し迫った優位性の物語を修正するのに役立ちます。明確な勝利条件、深い戦略、長い計画期間を備えたタスクでは、数十年にわたるコミュニティ エンジニアリングが、フロンティア モデルのコーディングで 1 時間で得られるものよりもはるかに優れています。

StarCraft は、まさにブルートフォースに耐えられるからこそ、長い間、ゲームプレイ AI の実験場として機能してきました。リアルタイム戦略では、部分的な情報の下で経済、偵察、戦闘を同時に管理する必要があり、Brood War コミュニティは長年にわたって競争力のあるボット トーナメントを維持してきました。その蓄積されたエコシステムが、ベンチマークのヒューマン ベースラインを意味あるものにしています。Stardust、PurpleWave、BananaBrain は、カジュアルな対戦相手ではなく、洗練された、トーナメントで強化されたプログラムです。

新しい主力艦が参戦

バージョン 0.2 は、新しくリリースされたモデルの初期スコアボードとしても機能しました。 Google の Gemini 4 Argon が v0.1 の Gemini 3.8 Flash に代わってデビュー 3 位となり、一方 Meta の Muse Wonder Full が Muse Spark 1.3 に代わって 7 位に終わりました。 GPT-6 Astra および Claude Opus 5.5 は、以前のバージョンのカバレッジから引き継がれました。

このベンチマークは、各実行のエージェント トレースを記録し、各モデルがその時間をどのように費やしたかを記録します。このデータセットは、リーダーボードを、さまざまなラボのモデルが計画、コーディング、プレイテストの間にどのように時間を割り当てているかを示す行動研究に変えます。モデルがアーキテクチャの決定をフロントローディングするか、バグのあるドラフトを迅速に反復するかは、まさに集計スコアに隠れる種類のプロセスの詳細であり、最も興味深いクロスラボの違いが表面化する傾向がある場所です。

なぜそれが重要なのか

エージェントティック コーディング ベンチマークは急速に飽和しており、主力モデルが多くのソフトウェア エンジニアリング スイートの最上位近くに集中しています。 StarSkirmish は代替案を提供します。つまり、上限が人間の専門家によって設定され、進捗状況がチケット解決のパーセンテージ ポイントではなく勝率で測定され、1 時間の予算がエージェントの作業に対する現実世界の制約を反映する環境です。

その結果は開発者の共感を呼びました。 Show HN の投稿には 200 を超える賛成票が集まり、コメント投稿者はエージェントの追跡とコスト効率のプロットを詳しく掘り下げました。 Hacker News でのベンチマークの議論は、方法論に関する屁理屈と機能に関する注目点に分かれる傾向があります。この例では、推論と労力の非対称性と、最も精査された設計選択の中で 5 回のサンプル サイズを使用することで、両方を実現しました。推論の努力レベルが上昇し、活用法が改善されるにつれて、ベンチマークの作成者は継続的な反復を計画しています。そして今のところ、人間の StarCraft ボット コミュニティがその快適なリードを保っています。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →