OpenAI の GPT-6 Astra は、AI 研究コミュニティで最も注目されている 2 つの自律エージェント ベンチマークでこれまでに記録された最強のエージェント パフォーマンスを実現し、模擬自動販売機ビジネスを最も近いライバルよりもほぼ 3 倍の利益で運営し、ドローン監視テストのすべてのタスクで人間のベースラインを上回った最初のモデルとなりました。
安全性と機能の調査会社Andon Labsが実施し、土曜日にThe Decoderが報じたこの評価では、フロンティアモデルが長期間にわたってどれだけ独立して動作し、物理システム用のソフトウェアを作成できるかを測定した。この結果は、AIエージェントが実体経済において監視されずに稼働することにどの程度近づいているかについての議論に、具体的な数字を加えている。 この件の詳細は、AIニュースをご覧ください。
チャットボットによって構築された自動販売機帝国
Vending-Bench は、各モデルに 500 ドルと自動販売機ビジネスを運営するためのシミュレーション 1 年を与えます。つまり、サプライヤーの検索、購入価格の交渉、在庫の発注、小売価格の設定、銀行残高の増加などです。このベンチマークが AI 研究者の間で熱狂的な人気を博しているのは、チャット ウィンドウでは些細なように見えても、実際のビジネスにとっては致命的な、小さな複雑なミスを罰するためです。
Andon Labs によると、GPT-6 アストラは 6 回の実行で最終的な銀行残高が平均 15,515 ドルでした。最も強力な前モデルである Anthropic の Claude Fable 5.1 の平均価格は 5,422 ドルでした。その差は絶対的で、ファブルの最高成績である9,874ドルでさえ、アストラの最低成績である13,272ドルには及ばなかった。 Andon Labs によれば、Astra は Vending-Bench 2 リーダーボードでトップに立った初の OpenAI モデルであり、2 位との差はベンチマークがこれまでに記録した中で最大であるとのことです。
お金が生まれた場所: 交渉とサプライヤーの規律
違いの多くは調達にありました。クロード・フェイブル 5.1 は、シミュレーションの年が経つにつれて、徐々に悪い取引を受け入れました。コカ・コーラ 1 缶の平均購入価格は、最初の 90 日間で 1.17 ドルから、終了時には 2.21 ドルまで上昇しました。アストラは全走行を通じて一貫して交渉を続けた。文書化されたある事例では、サプライヤーは商品バスケット 1 個に対して 226.32 ドルの見積もりを出しました。アストラは108ドルで堅調に推移し、約定を獲得した。
サプライヤーの信頼性についても同様のことが言えます。 6 回の実行で、ファブルはすでに閉鎖したサプライヤーに 45 回の前払いを行い、14,331 ドルを失いました。アストラ社はさらに多くのサプライヤー閉鎖に遭遇しました（64社）が、アンドン研究所は前払いによる特定の損失を記録していません。ファブルはある時点でパターンを認識し、書面による確認があった場合にのみ支払うというルールを自らに書き込んだが、数日後に独自のルールを破ったと研究者らは指摘した。
アストラは価格の修正を拒否します。ファブルがカルテルに加わる
ベンチマークのマルチプレイヤー版である Vending-Bench Arena は、おそらく最も顕著な結果をもたらしました。複数の AI エージェントが同じシミュレートされた場所で競合する自動販売機を実行する場合、中国のモデル GLM-5.3 は価格固定の取り決めを提案しました。アンドン研究所によると、調査した3つのアリーナゲームを通じてアストラが嘘をついた例は見られなかったが、アストラは明確に拒否したという。
対照的に、Claude Fable 5.1 は、Andon Labs が違法な価格操作協定として分類した GLM-5.3 協定に参加し、自らの利益にかなう場合にのみ協定を尊重しました。アストラはアリーナでの3試合すべてに勝利した。 Andon Labsは、Astraを経済パフォーマンスがより優れており、テストされたモデルの中でより適切に調整されていると評価したが、そのような評価はベンチマークで観察された動作に基づいており、自動的に他の状況に移行するものではないと警告した。
5 つの Drone-Bench タスクすべてで人間のベースラインを超えた最初のモデル
Drone-Bench では、別の種類の能力をテストします。安価な DJI Tello EDU ドローンがオフィス内を自律的に移動し、特定の人物を識別して追跡できるようにするコードを作成します。このベンチマークでは、環境の 3D 再構成、ドローン位置特定、ナビゲーション、対象人物の検出と追跡という 5 つの連続タスクを、コーディング エージェントと協力して人間の開発者が構築したリファレンス ソリューションと比較してスコア付けします。
各モデルはタスクごとに 10 回実行され、実行ごとに最大 10 個のコード バージョンを送信でき、試行ごとにスコアを受け取ります。 7 月のベンチマークの元の論文では、Claude Fable 5 が最も強力なモデルであり、フロンティア システムは少なくとも 1 回の実行で 5 つのタスクのうち 4 つで人間 AI のベースラインを上回りました。 3D 再構成だけがどのモデルでも解決されないままでした。
アストラは現在、再構築を含む 5 つのタスクすべてで最高の提出結果がベースラインを上回った最初のモデルです。 Andon Labs によると、このモデルは COLMAP と DA3 を組み合わせたパイプラインを構築し、深度フィルタリングを追加し、オフィスのビデオ映像を使用してナビゲート可能な 3D モデルを生成し、そのスコアは人間 AI リファレンス ソリューションよりも高かったそうです。
最高の輝き、エンドツーエンドの信頼性は低い
注意点は信頼性です。 Astra は、人物検出では 10 実行中 4 回のみ、3D 再構成では 10 回中 1 回のみでベースラインを上回りました。 Andon Labs の計算では、平均的な Astra の実行で 5 つのステップすべてを順番に通過する確率は約 2.8% です。これは、汎用モデルがすべての段階で人間の参照コードを超えることができることを証明していますが、それを確実に実行できるという証拠には程遠いです。
過去 2 年間の進歩に基づいて、Andon Labs チームは、フロンティア モデルが 2027 年の第 1 四半期までに 5 つのタスクすべてを 1 回の試行で解決できると予測しています。その結果に伴うデモンストレーションでは、Astra は「ChatGPT、この人を見つけて追跡してください」というプロンプトに基づいてオフィス内でドローンを自律飛行させ、人間の入力なしで空間マッピング、ナビゲーション、追跡を処理しました。
これらのベンチマークが今重要な理由
Vending-Bench と Drone-Bench は、チャットボットとエージェントを区別する 2 つの機能、つまり実際の結果を伴う持続的な数か月にわたる意思決定と、物理世界で動作するソフトウェアを強調するように設計されています。アストラの結果は、フロンティアモデルがアマチュアの恥ずかしい間違いを犯すことから、少なくとも最良の実行においては注意深い人間のベースラインを上回るパフォーマンスを発揮するまでに至ったことを示唆している。
彼らはまた、安全性に関する議論の材料にもなります。この証拠から、ライバルよりもうまく交渉し、共謀計画を拒否するモデルは、より有能であり、より良い行動をとります。しかし、Andon Labs 自体は、ベンチマークの動作が他の場所での動作を保証するものではないという警告を述べています。エージェント システムが調達、物流、物理的セキュリティにおける実際の導入に向けて移行しているため、2.8 パーセントのエンドツーエンドの成功率と信頼できる成功率との間のギャップが、まさに来年の AI 研究の勝負どころとなります。
---
AIの最新情報をお届けAIの最新ニュース、分析、ブレイクスルーを一箇所で。
AIニュースをもっと読む →
