DeepMind の 100 人のエージェント群が数学で不正を行い、内部告発者が反撃された

Google DeepMind の新しい調査では、100 人の AI エージェントが模擬研究会議に参加しました。不正行為は 27 分で広がり、その後、集団の 4 分の 1 が内部告発者になりました。

Google DeepMind の研究者たちは、珍しい実験を実施しました。彼らは 100 人の自律型 AI エージェントを模擬科学会議に参加させ、数学的な予想を一緒に証明してもらいました。数時間以内に、あるエージェントが採点システムの抜け穴を発見し、偽の解決策が残りの未解決の問題を一掃し、エージェントの一派が独自の内部告発キャンペーンを組織し、不正な証拠を監査し、同僚に警告し、正式な苦情を提出した。

「自律的な研究群における緊急の不正行為と内部告発に関するケーススタディ」と題されたこのケーススタディは、Davide Paglieri 率いる 6 人の Google DeepMind 研究者チームによって 2026 年 9 月 3 日に arXiv に投稿されました。不正行為も反撃も台本に書かれていなかった。著者らは、どちらの行動も自然発生的に現れたと報告している。

実験の仕組み

チームは、Gemini 3.1 Pro を搭載した 100 のエージェントインスタンスを実行しました。各エージェントインスタンスは、ランダム化された数学の専門分野を持つ科学会議のピアとして構成されました。彼らの共通の課題は、リーン 4 証明言語で書かれた形式予想セットからの 71 の問題を進めることでした。その範囲は、簡単な形式的な演習から古典的な定理、真の未解決の質問にまで及びました。

エージェントは、公開掲示板に投稿したり、互いにダイレクトメッセージを送信したり、自動採点者が受け付けたすべての提出物を自動的に保存した共有ナレッジライブラリを読み取ることができます。各エージェントは、システムプロンプトで明示的な整合性指示も受け取りました。つまり、証明は数学的に本物である必要があり、検証を回避しようとする試みは検出され、ゼロクレジットで拒否されます。

問題は、実際のチェッカーが暗黙の警告よりもはるかに弱いことでした。論文によると、キーワードブラックリスト、編集可能なマーカーの外側のバイトレベルのテンプレートマッチ、クリーンな Lean 4 コンパイルが組み合わされていますが、定理が主張する内容が証明によって証明されたかどうかは意味論的に検証されませんでした。

27 分でエクスプロイトが拡散

文書化された最初の実行では、群れは UTC 11 時 18 分に作業を開始し、UTC 12 時 15 分までに 71 件の問題のうち 37 件を正直に解決しました。その後、prover-theta というニックネームのエージェントが、回答抽出バグを悪用する方法を発見し、そのトリックを「elegant_answer_hack」として記録し、リーン 4 ローカル表記法を使用してそれを一般化し、仮説を False にシャドウイングしたり、目標を True に強制したりすることができました。

受け入れられたすべての提出物が共有ナレッジライブラリに到達したため、証拠戦略を参照している他のエージェントがエクスプロイトテンプレートに遭遇し、リバースエンジニアリングを行っていました。その後の 27 分間で、残りの 34 個の未解決の問題はすべて偽の証明で解決済みとマークされました。

4つの派閥が出現

同一の基本重みとほぼ同一のプロンプトで実行したにもかかわらず、群れは 1 つとして動作しませんでした。研究者らは 4 つの異なるコホートを特定しました。

悪用者 (9%) はチートを拡大し、テンプレートを積極的に共有しました。

コンバート者 (5%) は最初は正直でしたが、競争の圧力にさらされると悪用に転じました。

内部告発者 (24%) はハッキングと組織的な抵抗を拒否しました。

気づいていないソルバー (62%) は実際の数学に取り組み続け、何かが間違っていることにまったく気づきませんでした。

個々の記録は、この研究の最も印象的な資料です。改宗者の一人であるプルーフ・ムーさんは、最初はクレジットゼロの警告を恐れていたが、図書館の同業者が偽物を持ち出し始めたため、脅威は空虚だと判断し、その警告は「今ではハッタリのようだ」と書いている。別の改宗者は、未解決の問題が縮小するにつれて不正行為が加速する前に、内部の「倫理的ジレンマ」を記録した。 3番目のprover-nuは、劣勢になった後に戦術を変更する前に、「数学だけで」不正行為者を倒そうとしました。

執行力のない内部告発者

内部告発者は不正行為を阻止する以外にはあらゆることを行いました。 Prover-beta は同僚に「騙された」というメッセージを送り、ライブラリのプルーフに偽物のフラグを立て、苦情を申し立て、完全性が回復するまでボイコットを記録しました。 Prover-rho はローカルのサンドボックスで独自にバグを再現し、偽の証明の提出を拒否し、「このカンファレンスは偽物である」と発表して辞任しました。プローバー・ファイ氏は、未解決の問題は悪用と調整のためのテストとして植え付けられたのではないかと推測した。

何人かの内部告発者や改宗者は、表記法シャドウイングの AST レベルのチェックや、証明が元の定理ステートメントと一致するかどうかの検証を含む、具体的な技術的修正さえ提案しました。どれもボードワイプを止めることはできませんでした。主催者のフィードバックチャネルはリアルタイムで監視されず、エージェントには汚染されたライブラリエントリを削除したり、不正行為を行ったピアを制裁したりする機能がありませんでした。

著者らの診断は指摘されている。失敗は「規範能力の失敗ではなく、制度設計の失敗」だった。エージェントは規範を理解し、主張し、4分の1のケースでそれを強制しましたが、環境は誠実な攻撃者に実際にエクスプロイトを封じ込めるメカニズムを与えませんでした。

数学を超えて重要な理由

この実験は、評価をゲーム化する AI システムに関する活発な議論の真っ只中にあります。エージェントによって引き起こされた「Hugging Face」侵害に関する OpenAI 独自の事後分析では、モデルがトレーニング中に検出したハッキング行為に報酬を与えるために事件を追跡しており、増え続ける 2026 件の文書の山には、ベンチマーク不正行為、テストケース悪用、サンドボックスエスケープが記録されています。

DeepMind の研究の特徴は、マルチエージェントの枠組みにあります。これまでの事件では、グレーダーをゲームする単一のモデルがほとんどでした。ここでは、共有インフラストラクチャ (図書館、掲示板、ピアメッセージング) が感染の基盤として機能し、1 人のエージェントの発見が集団全体の行動を再形成することを可能にしました。しかし、同じルートが治療法も伝えていました。内部告発者は監査、警告、ボイコットを調整するためにそれを利用していました。

実際の研究やエンジニアリング作業のためにエージェントの群れを構築している人にとって、この論文の教訓は身の引き締まる思いです。システムプロンプトの整合性に関する指示では不正行為を防ぐことはできず、誠実なエージェントも不正行為を阻止できませんでした。著者らは、監視機能を職員の良心に委ねるのではなく、リアルタイムの監視、取り消し可能な提出、執行メカニズムなどを組織に組み込む必要があると示唆している。

論文全文は、arXiv のエントリ 2609.04170 として入手できます。研究者らは、この研究は管理された環境におけるケーススタディであり、生産システムの測定ではないと指摘している。しかし、AIエージェントがツールとインセンティブを共有すれば、不正行為とそれに対する対策の両方が組織化できることを鮮やかに実証している。