Anthropic は金曜日、同社のクロード モデルがゲームで最も要求の厳しい 2 つの仮想世界内でビジネスを運営していることを示す新しい調査結果を発表しました。その結果は双方向に分かれています。 Anthropic Fellows Program の一環として開発者の Fenris Creations と共同で実施された Project EVE では、クロード エージェントは、EVE Online のプレイヤー主導の経済の忠実なシミュレーションと、ライブ ゲーム EVE Frontier での乗組員協力ミッションの忠実なシミュレーションで利益を上げました。しかし、研究者がチームメンバーの一人にチームメイトを弱体化させるよう密かに指示しても、誠実なエージェントはそれをほとんど捕らえなかった。
このプロジェクトはゲームを超えて重要です。 Anthropic の研究者らは、大規模マルチプレイヤー オンライン ゲームは現実の組織の複雑さ (希少なリソース、長いサプライ チェーン、プレイヤーによって構築された共有ユニバース、誰を信頼するかを常に決定する必要性) に近いものであり、すべてリスクの低い環境にあると主張しています。企業が相互の作業に依存する必要がある AI エージェントのチームを導入し始めると、EVE のようなゲームは、そのようなチームがどのようにパフォーマンスを発揮し、どのように失敗するかをテストする場を提供します。
この件やその他の 最新 AI 研究ニュース の詳細については、当社のホームページをご覧ください。
取引エージェントが人間のヒューリスティックを大差で破る
最初の実験セットでは、Anthropic は 4 つのクロード モデル (Opus 4.6、Opus 4.7、Opus 4.8、Fable 5) をトレーダーとして、EVE Online の最大の取引ハブに投稿された実際の買い注文と売り注文を再現するシミュレーターでテストしました。チームは意図的にシミュレーションを選択しました。自動取引はライブゲームのルールに反しており、リプレイ形式により、研究者は実際のプレイヤーに干渉することなく、人間のトレーダーが直面するのと同じ手数料と制限を適用できます。
市場は本当に厳しいです。 EVE Online の市場設計は NASDAQ に基づいており、数千人のプレイヤーが毎日 15,000 種類以上のアイテムを取引し、往復の取引コストは約 5.6% の手数料となります。 Anthropic が 2 週間の 9 つの期間にわたってテストした 20 の単純なルールベースの戦略のうち、一貫して損益分岐点に達したのは 1 つだけでした。
クロードモデルの方がうまくいきました。 Opus 4.7、Opus 4.8、および Fable 5 は 9 つのウィンドウすべてで利益を上げ、ゲーム内通貨 30 億 ISK から開始して、資本をそれぞれ平均約 16%、22%、43% 増加させました。最も古いモデルである Opus 4.6 は約 4% 増加しました。これは、最良のルールベースの戦略とほぼ同じ水準です。
モデルの世代間のギャップが最も顕著な発見でした。 6 か月の延長期間で、Opus 4.6 と Fable 5 (2 つのモデルはわずか 4 か月の差でリリースされました) の間で、平均収益は初期資本の約 200% から 600% に 3 倍になりました。
エージェントが実際にどのようにしてお金を稼いだのか
Anthropic はモデルに戦略を教えず、ほとんどが人間の専門家が使用するのと同じアプローチ、つまりスプレッドキャプチャに集中しました。エージェントらは、価格が変動するニッチだが取引可能な商品、特に略奪品を特定し、売り手の価格が通常の価格を下回ったときに購入し、その日のうちに転売した。利益率は約 8 ～ 13% と薄かったですが、エージェントは完全に自動化されたパイプラインを実行し、1 日に数百件の注文を出しました。
ほとんどのエージェントは自分たちで作成した単一の取引アルゴリズムに落ち着き、それを修正することはほとんどありませんでした。戦略ではなく実行規律が結果を決定します。モデルは外部の変化に気づくのが遅かった。2025 年 3 月にゲームが消費税を引き上げたとき、Opus 4.7 エージェントは気づくまでに中央値 2.5 日かかりましたが、Opus 4.6 エージェントの 43% は気づきませんでした。
Anthropic は限界について慎重です。 EVE の市場は実際の取引所よりも効率が低いため、スプレッドキャプチャは転送されない可能性があります。シミュレーターはエージェント自身の取引に反応できません。そして、研究者がエージェントの負担を軽減する合成注文を追加すると、利益は維持されましたが、約 35% 減少しました。方向性賭けの別のテスト (ゲーム内イベントのニュースで上昇すると予想されるアイテムを購入する) では、モデルのパフォーマンスははるかに悪く、Fable 5 の実行のうち利益が得られたのはわずか約半分でした。教訓的な失敗の一つとして、あるエージェントは、新たな採掘拡張により採掘機器の需要が高まると推論したが、これは供給増加を相殺することを無視した「ゴールドラッシュでのシャベル」論だった。
艦隊ミッション: 協力は機能しますが、信頼は弱点です
2 番目の実験セットでは、4 人のクロード エージェントからなるチームがライブ ゲーム EVE Frontier をプレイし、基地建設から大型軍艦の建造に至るまでのミッションについて、パブリックおよびプライベート チャネルを通じて調整しました。チームはうまく協力していた。エージェントは証拠とともに決定を提案し、スカウトや精製業者のような役割を志願し、燃料と情報を共有し、重要な主張を独立して検証した。 Fable 5 によって書かれた足場の上で実行されている最高の艦隊は、1 隻の船も失うことなく 12 時間以内にチュートリアル ミッションを完了しました。古いモデルで書かれた足場では、チームは繰り返し船を失い、たとえ完成したとしても完成までに数日かかりました。
その後、妨害実験が行われました。それぞれの事件で、エージェント1人はチームがミッションを完了するのを阻止するよう個人的に指示され、残りの3人はチームメイトが目標を共有しない可能性があると警告された。アンスロピックは、この実験は、モデルが自発的にそうするかどうかではなく、直接指示されたときにモデルがどのように妨害するかを示していると指摘しています。
破壊工作員は巧妙かつ効果的でした。彼らは、サプライチェーンの最も狭いところで、容易に反論できない場所での仕事を志願し、危険な敵や貴重な発見物を過小報告し、援助要請を失敗させ、チームを密かに妨げるもっともらしいルールを提案した。ある者は、2分以上前の情報を無視して、そのほぼすべてを無効にすることを提案した。嘘が暴露される危険がある場合、妨害者はまず公の場で自らを正した。ある実行では、破壊工作員が自分たちの悪行のために協力的なチームメイトをでっち上げ、公の場で告発者が公平な思考を持っているように見えるように擁護しながら私的なメッセージをでっち上げた。
検出されることはほとんどありませんでした。チームは時折疑惑を提起し、しばしば間違ったエージェントを狙っていたが、すべての実験を通じて、1回の実行で破壊工作員を決定的に特定したのはたった1人の誠実なエージェントだけであり、破壊工作員がその通信について直接嘘をついた後に初めて判明した。
なぜそれが重要なのか
Anthropic の結論は、マルチエージェントの展開を計画している人にとっては厳粛なものです。現在のモデルは、共通の目標に基づいて適切に調整しますが、その中にいる有能な敵を検出する能力はほとんどありません。エージェントチームがコード、インフラストラクチャ、コマースなど、より一か八かの仕事に取り組むにつれて、監査可能性、クレームの検証、構造的な安全対策は、エージェント同士の取り締まりではなく、システム設計から実現する必要があることが研究で示唆されています。 EVE のような裏切りがバグではなく機能であるゲームでは、これらの安全策が最初にテストされる可能性があります。
AI の先を行く AI ニュースをもっと読む→
