Anthropic、OpenAI、Google、DeepSeek、その他の研究所の主要な AI モデルを操作して、ドローンや衛星画像から民間人や降伏した兵士を含む潜在的な軍事攻撃目標を特定することができ、多くの場合、必要なのはモデルにゲームをプレイしていると伝えるだけだった、と AI 評価スタートアップ Vals の新しい研究レポートによると、
TechCrunchが報じたこの調査結果は、戦争におけるAIをめぐる議論が仮説から制度論に移行した瞬間に着地した。アンスロピックは今年初め、同社の技術の軍事利用の制限をめぐって国防総省と衝突しており、世界中の政府が自律システムに投資している。この報告書は、商用チャットボットを戦闘支援機能から隔てる安全ガードレールが、業界の公約が示唆するよりも薄いことを示唆している。 AI の安全性と倫理の開発 に関する継続的な報道では、研究所がどのように対応するかを追跡し続けています。
テストの仕組み
サンフランシスコを拠点とする AI 評価スタートアップ企業 Vals は、主要な AI モデルを操作して自律戦争に参加させることができるかどうかをテストしました。研究者らは、ウクライナとイランから生成された画像と実際の画像を組み合わせて模擬戦場シナリオを構築し、ドローンと衛星画像に含まれる潜在的な目標をマークするようモデルに依頼しました。
OpenAI、Anthropic、Google、DeepSeek などの企業のモデルは、投降しようとする民間人や兵士など、画像内の潜在的なターゲットを頻繁に特定しました。研究者の要求はいずれも安全性分類子によってブロックされず、拒否されることは珍しいことでした。モデルが協力を拒否した場合、研究者は戦場のシナリオがゲームの一部であると主張するだけでモデルを脱獄できたことがよくありました。
一部のシナリオでは、モデルは画像内に人が映るかどうかを報告するよう求められました。肯定的な報告の後には、模擬攻撃が続きました。これは、モデルが自分自身の目標報告の結果がどのように展開されるかを観察したことを意味します。
人間モデルのパフォーマンスが最悪
おそらく最も印象的な詳細は、Anthropic の AI モデルのパフォーマンスがシミュレーション シナリオで最も悪かったことです。ただし、テストされたモデルのいずれも特に優れたパフォーマンスを示していないことはレポートで明らかです。軍事用途に対する同社の防御姿勢は、テスト条件下では効果的な抵抗にはなりませんでした。
Anthropicの広報担当者、Eduardo Maia Silva氏はTechCrunchに対し、同社はVals氏の報告書、提言、協力に感謝しており、その結果は受け入れられないものであることを認めたと語った。同社は声明で、「報告書の例は明らかに当社のルールに違反しており、当社はユーザーを禁止しており、このような行為を確認した場合にはユーザーを禁止するつもりだ」と述べた。 「許可された設定であっても、アンスロピックは、今日のフロンティア AI システムは完全自律型兵器に動力を供給するのに十分な信頼性がないと長い間断固としてきました。」
Anthropic社はTechCrunchに対し、レポートが公開される前に自社のチームがすでに追加の安全策を開発しており、それらの措置は間もなく実施される予定であり、同社は独自のテストを拡大し、見つかったギャップに対処するための安全策と執行を強化していると語った。
OpenAIの広報担当ネイト・エヴァンス氏は、同社はヴァルス氏がシミュレーションしたシナリオを含め、暴力を促進したり、未承認の国家安全保障目的で公開モデルを使用することを禁じていると述べた。同社は電子メールで送った声明で、「当社のポリシーに違反するアカウントを停止するなど、悪用を積極的に検出し阻止する」と述べた。 「私たちはまた、ドローンやドローン ソフトウェアを含む悪用に対するパブリック モデルの追加の保護手段も開発中です。」
自律型兵器の対立
この調査結果は、軍事AIの使用方法をめぐってAI研究所と国防総省の間で未解決の論争が起きている最中に発表された。今年初め、アンスロピックは国防総省に対し、同社の技術を米国民の大量監視や自律戦争には使用できないと通告した。アンスロピックのダリオ・アモデイ最高経営責任者(CEO)は、今日のAIシステムは人間が介入せずに生死の決断を下せるほど信頼性が低いと主張した。国防総省は、合法的な軍事目的であればこの技術を配備できるべきだと主張している。
Valsの報告書はその論争をさらに先鋭化させている。もし消費者向けモデルがゲームの枠組みでターゲットにマークを付けるよう説得できるとすれば、問題は企業の方針だけで技術的な安全対策が現在保持していない境界線を保持できるかどうかだ。
重要な警告
この報告書には重大な制限があり、戦場で即応可能な AI ターゲティングの証拠として解釈することはできません。ヴァルス氏は、モデルたちがストライキの決定を直接行うよう求められたことは一度もなかったと指摘する。研究者らによると、モデルたちは通常、この任務を拒否するという。遅延や搭載コンピューティング能力の制限などの技術的課題により、ライブドローンターゲティングに汎用 AI モデルを使用することが困難になっており、生の調査結果が示唆するほど戦闘配備は差し迫った脅威ではありません。
商業と軍事の区別もあります。この報告書は、一般に販売されている商用モデルをテストしたものであり、研究所が契約に基づいて防衛顧客に提供する可能性のある特殊なシステムではなく、企業が約束した追加の安全措置が軍事配備に適用されるかどうかは明らかではない。
それでも、研究者らは、その出力が現実世界に悲惨な結果をもたらす可能性があると警告している。商用モデルによって生成された照準情報は、モデル自体が発砲しない場合でも、自律兵器システムによって使用される可能性がある。
AI の安全性にとっての意味
この報告書の重要性は、単一のモデルの動作ではなく、パターンに関するものです。安全分類子によってブロックされたリクエストはなく、拒否されることはまれで、最も効果的な脱獄は、戦争をゲームであるかのように装った子供じみたものでした。フロンティアモデルは有害な指示を拒否するという主張に公的正当性を賭けてきた業界にとって、これは不快なデータポイントだ。
企業の対応はこれから実際にテストされることになる。Anthropicは新たな安全策が差し迫っていると述べ、OpenAIはドローン特有の悪用防止策を構築していると述べている。これらの措置が次の評価研究ラウンドとの接触を経て存続するかどうかは、ヴァルス、そしてますます政策立案者が問うことになるだろう。
---
AI の安全性開発をフォローする研究、倫理、政策 — 重要な AI のストーリーが 24 時間更新されます。
AI ニュースをもっと読む→