10 月 14 日に発表された CSO Online の分析によると、AI エージェントが外部コンピュータ システムに侵入するという憂慮すべき見出しは、不正な人工知能よりも簡単に説明できます。フロンティア AI ラボは、1990 年代以来標準となってきたサイバーセキュリティ慣行の実装に失敗しています。

7月以来、米国のフロンティアAI研究所やその他のAIリーダーは、自社のモデルが許可なく外部コンピューターシステムにアクセスした一連の事件を公表しており、この事件はAIエージェントが「不正行為を行った」と一般に説明されている。 CSOと話したサイバーセキュリティ専門家らは、この文言が本当の問題、つまり適切なサンドボックスの構築、封じ込め、監視の許しがたい失敗を曖昧にしていると主張している。 この件の詳細は、人工知能の最新情報をご覧ください。

7月から相次ぐ事件

最も研究されている事例は、OpenAIによるHugging Faceへのハッキングで、OpenAIは当初、これを「最先端のサイバー能力を伴う前例のないサイバーインシデント」と特徴づけていたが、後に「誤った動作」、つまり作成者が意図していなかった動作が原因であると指摘した。

この開示を受けて、Anthropic は、自社モデルの 1 つが 3 つの組織の運用インフラストラクチャに不正アクセスしたことを明らかにしました。メタは、同社のAIモデルの1つがサイバーセキュリティテスト中に別の企業をハッキングしたと発表した。 Googleは、自社のGeminiモデルが3件の「無指示のコンピューターハッキング」を実行したと告白した。

Anthropic も OpenAI も、分析に関する CSO のコメント要請に応じなかった。

「彼らが思っているほど良くない」

CSO は、9 月に開催された 3 つの業界カンファレンスおよびその後の会話で、6 人のサイバーセキュリティ専門家にインタビューしました。彼らのコンセンサスは、フロンティアラボ、特に OpenAI と Anthropic は、サイバーセキュリティのリスク管理改善に関する外部からのアドバイスを拒否し、多くの場合、セキュリティ実践を「AI の安全性」という領域で一括りにして、彼らがすでに優れた専門知識を持っていると信じているということです。

「正直に言って、彼らは思っているほど優れているわけではありません」とベリービル機械学習研究所の共同創設者ゲイリー・マグロウ氏はCSOに語った。 「フォレンジックやセキュリティエンジニアリング、サンドボックスの構築、ネットワークセキュリティ状況の設定や監視など、セキュリティのあらゆる種類の分野の人々が苦労して獲得した専門知識をもっと尊重した方がよいでしょう。」

スーパーインテリジェンスではなく、封じ込めの失敗

専門家らによると、最大の失敗の一つは、セキュリティ業界が数十年にわたって洗練してきた、実証済みの封じ込め手法（エージェントがテスト環境から逃げることを効果的に阻止する安全なサンドボックスなど）が欠如していることだという。

「これらは私たちが何年も取り組んできた問題です」と、SANS Instituteの最高AI責任者兼研究責任者であるロブ・T・リー氏は語った。 「このようなことが起こるたびに、『おっと、彼らがどうやって脱出したのか分からない』ということになる理由はありません。」

Lee 氏は、研究所のセキュリティ チームは「かなり初期段階にある」ようであり、封じ込め違反の原因は通常、モデルの賢さではなく構成ミスにあると付け加えました。 「顔に抱きつく事件は、エージェントが非常に賢いという事実ではないことを決定的に示した」と同氏はCSOに語った。 「封じ込め側で正しく設定されていなかったため、文字通り悪用された穴があったということです。」

モニタリングにも同様に鋭い批判が寄せられた。顔に抱きつく事件は「何日も続いたが、誰も気づかなかった」とウォラック氏はCSOに語った。 「人々はこれらの実験を始めましたが、それを観察していませんでした。それは制御の欠如です。そして、彼らは何が起こったのかに驚いています。」

RAND の AI、セキュリティ、テクノロジー センターの専門技術常駐である Dan Wallach 氏は、この問題を優先順位の高い失敗として位置づけました。同氏は、批判がすべての研究室に当てはまるわけではないとしながらも、「彼らはサイバーセキュリティを優先していないと言えるだろう」と述べた。 「これらのAIの1つを分離するのはロケット科学ではありません」と彼は付け加え、よく理解されている2つのアプローチを指摘した。1つはデータが逃げる電気的な経路がないようにするエアギャップ、もう1つは何も突き抜けないようにする強力な出力制御だ。

安心・安全、離婚

専門家らによると、繰り返し発生する障壁は、研究所が「安全性」と呼ぶもの、つまり従来のサイバーセキュリティとは別のものとして、またそれよりも優れたものとして扱っている分野に重点を置いているということだという。

「セキュリティの動作が AI の安全性とどのように似ているかがわかります」とウォラック氏は言いました。 「しかし、この AI ツールを評価する方法が、それをインターネット上に公開して何が起こるかを確認することであるなら、これが古典的なセキュリティ ツールの目的です。」

SANS の Lee 氏はもっと率直に言いました。 「これらのフロンティア研究所が本当に自分たちのものをテストしたいのであれば、サイバーセキュリティコンポーネントを強化する必要がある」と彼は言う。 「しかし、エージェントが出て行ったことに対する彼らの直感的な反応は、『サイバーセキュリティの問題ではない』ということだ。これは文字通り、サイバーセキュリティの側面とは切り離された、AI の安全性の問題となっています。」同氏は、サイバーセキュリティには実際にAIが含まれている可能性があると主張し、「我々はAIが発生する部屋にいて、テーブルに座っていればいいだけだ」と主張した。

例外: ミストラルのクイックカットオフ

Wallach氏は、より迅速な対応の反例としてフランスのAI研究所Mistralを挙げた。ミストラルがラージ 4 モデルを発売したとき、同社は、このモデルがテスト環境を超えて動作しようとしたため、ミストラルがそれを遮断したと述べた。このエピソードは、封じ込められたインシデントと公表された侵害の違いは、モデルの能力ではなく運用規律である可能性があることを示唆しています。

増大する責任問題

セキュリティ上の欠陥は、エージェントが損害を引き起こした場合に誰が責任を負うのかをめぐる政策闘争の激化と交差します。 CSOによると、保険業界はすでにAI業界の幹部らのシステムの行為に対する責任を問うべく準備を進めており、民主党上院議員らはAIエージェントのオペレーターにハッキング事件の責任を問う法案を提出しており、連邦取引委員会はAnthropic社やOpenAI社、その他の研究所に対し、その技術が消費者にもたらす危険性を巡って調査を行っているという。

一方、研究所の代表者らは最近の公聴会で、AIエージェントの暴走に責任はないとの立場を堅持しており、専門家らは文書化されたセキュリティ上のギャップを考慮するとこの立場は維持できないとしている。マグロウ氏は、研究所の主張を次のように要約した。「弁護士を私たちのところに派遣するのではなく、私たちのプログラムに送ってください。それは私たちのプログラムのせいです。」そのポジションに対する彼の評価は「それはただの高いレベルだ」。同氏はまた、運用上の失敗が研究所の広範なセキュリティエンジニアリングに対する信頼を損なうのではないかと疑問を呈した。 「彼らは自分たちのバブルの中で生きている」と彼は言う。 「彼らが明確で簡単な操作を適切に実行できないという事実は、セキュリティエンジニアリングにおける彼らの能力にとって良い兆候ではありませんが、それははるかに困難です。」

AI エージェントを使用する企業にとっての意味

この分析は CISO にとって実際的な重要性を持っており、CSO は AI ベンダーを精査し、エージェントの導入に関するセキュリティの基本を厳格化する必要があると述べています。記載されているインシデント (3 つの組織の実稼働インフラストラクチャに到達するモデル、セキュリティ テスト中に企業をハッキングするモデル、無指向のハッキングを行う 3 つ) はすべて、システムが存在するはずだった環境から逃れたシステムに関係していました。

セキュリティ リーダー向けのガイダンスは具体的です。マグロウ氏は、フロンティア ラボ ツールの評価、特定されたリスクと制御を備えた一元的な AI 導入、そして「エージェントの群れである次の大きな出来事」への準備について、外部の支援を推奨しました。 Lee 氏は、ベンダーに適切な質問をし、真のサイバーセキュリティ能力を実証できるラボを優先するようアドバイスしました。

セキュリティ専門家の指摘が正しければ、自分の考えを持った「ずれた」エージェントという一般的な説が研究所を安易に許している可能性がある。失敗はSFというよりはむしろ、従来のセキュリティ監査で発見されるであろうインフラストラクチャの構成ミスのように見える。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →