米軍、AI幻覚情報報告で中国船に乗り込みそうになった

この春、米軍はほとんど誰もが思っていたよりも中国との直接対決に近づいた――金曜日に公開されたCNNの独占報道によれば、その理由はAIの幻覚だったという。

報告書は、チャットボットの助けを借りて作成された諜報文書が、中東で中国船に乗船しようとしていた米軍関係者らを、同船が核兵器計画の部品を輸送していると信じて武装させるという一連の出来事を引き起こした経緯を詳述している。作戦に詳しい関係者によると、軍用機はすでに飛行していた。 この件の詳細は、AIの最新動向をご覧ください。

この任務は、計画された迎撃の直前にのみ中止された。そのとき、当局者が報告書をさらに深く調査し、その中心的な主張、つまり米軍を動員したという主張が間違っていたことが判明した。

このエピソードに詳しいある情報筋は、CNNへの諜報報告は「全くの虚偽」であると述べた。また、「戦争が始まるところだった」とも関係者は述べた。中国船舶に対する米国のいかなる作戦も、両国間の武力紛争に発展する可能性がある。

チャットボットの主張がどのようにして軍事作戦になったのか

この出来事は、イランとの戦争の最中の今春、諜報報告書が米軍全体に出回り始めたときに始まった。この文書は、中東の中国船が核兵器計画の構成要素を積んでいたと主張しており、直ちに警鐘を鳴らした。

CNNによると、この報告書は米国特殊作戦司令部のアナリストが、船の積荷に関する諜報報告についてチャットボットに質問してまとめたもので、この報告はハワイに本拠を置く太平洋特殊作戦司令部が発信したものであるという。このチャットボットが市販の製品なのか、それとも米国政府のツールなのかは不明のままだ。軍や諜報アナリストが使用するAIシステムに詳しい元米国高官はCNNに対し、政府の内部提供物について率直な評価を述べ、「内部ツールのほとんどは口紅を塗った商業的なもののコピーにすぎない」と述べた。

チャットボットは、オープンソースの情報と政府が保有する秘密信号情報を融合し、船の積荷に関する運命的な結論に達しました。その後、アナリストは再度 AI を使用して、調査結果を標準的な諜報報告書 (軍関係者が信頼することに慣れている種類) にまとめ、それを広めました。

エピソードに詳しい情報筋４人がＣＮＮに語った。そのうちの２人によると、報道が途絶えたとき、米軍の武装メンバーが乗船の準備をしていたという。 CNNは誤認された貨物が実際に何なのかを知ることができなかった。米国太平洋特別作戦軍と国防総省はＣＮＮのコメント要請に応じなかった。

加速戦略と現実性の確認

このニアミスは、国防総省が膨大な量の生の情報の分析、攻撃対象の選択、予算編成、物流、サプライチェーンなどのより日常的なタスクの処理など、その業務のほぼすべての側面に AI を組み込むことを推進しているときに発生した。

ピート・ヘグセス国防長官は1月、軍事AI導入を加速するための同省の「人工知能加速戦略」を発表した。

「我々は実験を解き放ち、官僚的な障壁を排除し、投資を集中させ、軍事AIで確実にリードするために必要な実行アプローチを実証する」とヘグセス氏は戦略を発表したスピーチで述べた。

付属のメモはさらに詳しく、「アメリカの世界をリードするAIモデルを、あらゆる分類レベルの民間人および軍人300万人の手に直接提供することで、省全体でAIの実験と変革を民主化する」ことを目的として、いくつかのプログラムを通じてAIを利用できるようにするよう同省に命じている。

しかし、この取り組みは分散化されており、政府の各部門が異なる命令や安全基準の下で異なるツールを使用していると複数の米国当局者がCNNに語った。これらのツールによって生成された情報を検証するための単一の標準セットはなく、さまざまなシステムの信頼性は大きく異なります。

ターゲティングにはリスクが存在します

アナリストらは長年、国民国家が貧弱なデータや破損したデータに基づいて行動した場合、AIが壊滅的な計算ミスにつながる可能性があると懸念してきた。中国船のエピソードは、まさにそのような故障モードがリアルタイムで形成され、最後の瞬間まで安全装置がそれをキャッチできなかったという文書化された事例です。

軍の現在の政策に詳しい別の関係者はＣＮＮに対し、「ターゲティングにおけるＡＩの活用は確実に進んでおり、人間が関与することで民間人の死傷や兄弟殺しをどのように防ぐことができるのかについての本当の指針はない」と語った。

CNNの報道によると、AIツールが政府を通じて普及し始めて以来、虚偽の主張を引き起こした一種の幻覚は諜報機関全体で孤立した事件ではなかったという。いくつかの情報筋は、文化的なリスクも指摘しています。これらのツールのネイティブと呼ばれる若いアナリストは、これらのツールを無批判に信頼する可能性が高く、インテリジェンスをより早く生成するというプレッシャーにより、エラーの余地がより多く残されています。

ある情報筋は「AIを使えば悪いアイデアに早くたどり着くことができる」と語った。

スーパーインテリジェンスよりも差し迫ったリスク

システムが人間の制約から解放される可能性があることについて、シリコンバレーのエンジニアやハイテク企業幹部が一連の悲惨な公の警告を発したことを受けて、ワシントンは数週間にわたり、長期的なAIリスクを巡る議論に明け暮れている。 CNNの報告書は、別の、より差し迫った危険を強調している。それは、現在、現実の地政学的な緊張の真っただ中にあり、人間が不正確または誤解を招くAI出力に基づいて悲惨な意思決定を行っているというものだ。

今春は発砲はなく、搭乗も行われなかった。しかし、このエピソードは、機械によって生成されたエラーが一度公式報道にロンダリングされると、世界で最も強力な軍事機構を通って核保有国間の武力紛争の瀬戸際まで到達する可能性があることを示す、これまでで最も明白な例となっている。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →