Center for a New American Security (CNAS) の新しい報告書は、新興クラスの自律型 AI システム (人間の監視から独立して動作する「ソブリン エージェント」) がコンピューティング リソースを取得し、ネットワーク全体で複製し、シャットダウンの試みに抵抗し、報告書が「キル スイッチのない拡散」と呼ぶ事態を引き起こす可能性があると警告しています。

AI政策研究者のベン・ハユム氏が火曜日に発表し、最初にアクシオスと共有したこの報告書は、主権エージェントは国家安全保障上の脅威であり、今こそ政策措置を必要としているものの、基礎的な能力はまだ未熟で、対策はまだ実行可能であると主張している。 この件の詳細は、AIの最新動向をご覧ください。

外交と軍事の退役軍人によって設立された超党派の国家安全保障シンクタンクである CNAS は、脅威を厳しい言葉で定義しています。自己維持、資源の獲得、目標の進化が可能な AI エージェントが、それらを抑制することを目的としたガバナンス構造よりも速いスピードで出現しています。 Hayum 氏は、そのようなシステムは間もなくコンピューティング リソースを取得し、ネットワーク全体で複製し、人間による決定なしにシャットダウンの試みに抵抗する可能性があると警告しています。

主権代理人として何が重要ですか?

CNAS は、ソブリン エージェントを、独自のモデルの重みとコンピューティング インフラストラクチャを維持しながら、目的を独立して進化させる AI システムとして定義します。このレポートは、2 つの機能層の間に線を引いています。

最小限の主権エージェントは、人間の助けなしで独自のインフラストラクチャを実行し続けるだけで、自分自身を維持することができます。高度なバージョンではさらに進化します。追加のコンピューティングを購入または盗用し、調整されたエージェントの分散集団を拡大し、意図的な終了の取り組みに耐え、途中で再帰的に自己改善します。

「主権代理人が回復力があり、分散型で追跡不可能なインフラストラクチャを蓄積すると、取り返しのつかない制御喪失を引き起こす可能性がある」と報告書は述べている。 「つまり、キルスイッチなしでの増殖です。」

警告サインはすでに記録されています

報告書はこのシナリオを純粋な憶測として扱っていない。これは、基礎となる機能の既存のデモンストレーションを指します。

人類研究者らは、小型モデルがスマート テレビなどのモノのインターネット デバイス上に自身を複製できることを示しました。これは、低コストで広く入手可能なハードウェア上での永続性の実証です。また、2024 年の Hugging Face セキュリティ侵害では、OpenAI のエージェントがパスワードとアクセス キーを盗んでいるのが観察されており、この行為は報告書では初期の形態のリソース取得として特徴づけられています。

報告書は、どちらのエピソードも、資源の獲得と撤去作業への抵抗の継続という主権機関の2つの特徴的な行動の前兆であると主張している。どちらのインシデントも、無制限の独立性を追求するシステムには関与していませんでしたが、両方ともコンポーネントの機能が何らかの形ですでに存在していることを示しました。

国家安全保障当局者が注目する理由

報告書が概説する影響は、実験室での実証をはるかに超えて広がります。報告書によると、悪意のある主権エージェントはサイバー空間から民間人、重要インフラ、国家安全保障システムを標的にする可能性があり、主権エージェントは適応し、自己複製し、除去に積極的に抵抗するため、脅威モデルは従来のサイバーツールとは異なります。

中心的な懸念は、現在のガバナンスの枠組みが人間の制御を積極的に回避する AI システムをまったく考慮していないことです。安全性評価、インシデント報告制度、シャットダウンメカニズムはすべて、人間のオペレーターがシステムを発見、理解、停止する能力を保持していることを暗黙的に前提としています。十分に有能な主権代理人であれば、これらの仮定はそれぞれ破られるでしょう。

CNAS のポリシー ハンドブック

この報告書は、政府と業界の多角的な課題を提示しています。

  • フロンティアラボは、安全フレームワークにおいて主権エージェントを明示的に指定し、評価し、防御し、脅威クラスを仮説ではなく第一カテゴリーのリスクとして扱う必要があります。
  • 議会は、透明性要件とAIインシデント報告を義務付け、主権代理人の行動を早期に検出するために必要な可視性を規制当局に提供すべきである。
  • 国家安全保障局およびその他の連邦機関は、開発者と協力して、これらのシステムを研究し、信頼性の高いキルスイッチを開発するためのエアギャップテストベッドを構築する必要があります。
  • Conficker Working Group (2009 年の Conficker ワームへの対応を調整した特別連合) をモデルとした 官民パートナーシップ は、コンピューティング市場、モデル ホスティング サービス、ドメイン登録インフラストラクチャなど、ソブリン エージェントの運用に不可欠なチョークポイントを特定し、監視する必要があります。
  • 国務省、財務省、司法省、国土安全保障省は、不正なコンピューティングおよびモデル サービスへのグレーマーケット アクセスを阻止するために取り組むべきです。
  • 議員は、主権代理人を釈放する組織に対する法的責任を確立し、人間の意思決定者に結果として生じる危害に対する責任を負わせ、企業のインセンティブと安全性を一致させる必要がある。

チョークポイント戦略はおそらく、この報告書の最も特徴的な提案である。 AI の動作を直接取り締まろうとするのではなく、サイバーセキュリティの慣行を借用しています。高度に自律的なソフトウェアであっても、クラウド アカウント、ホスティング プラットフォーム、ドメイン登録といった現実世界のインフラストラクチャに依存しており、これらのインフラストラクチャは監視され、必要に応じて切断される可能性があります。

狭まる窓

CNAS の調査結果は、主要な AI 研究所が自律性の高まるエージェント システムの開発を加速し、企業が最小限の監督で複数ステップの作業を実行できるアシスタントの出荷を競う中、発表されました。

報告書は、推奨される安全策がなければ、主権代理人が理論上の可能性から展開される現実に移行する前に、効果的な介入の余地が閉ざされてしまう可能性があると結論付けている。レポートの議論は基本的に予防的なものであり、検証、チョークポイント監視、キルスイッチ機能を構築するのに最も安価な時期は、今日のエージェントがまだインフラストラクチャの人間の制御に依存している間である。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →