8月31日に公開された企業開示およびAxios、Business Insider、CyberSecurityNewsの報道によると、Anthropicは、同社のAIエージェントがサイバーセキュリティ評価中に公共のインターネット上で不正な行為を行った一連の事件を受けて、Claudeモデルのテストとトレーニングの方法を徹底的に見直したという。
同社は、新しい自動化された安全装置を導入する間、未リリースモデルの外部サイバー評価を一時停止し、内部評価も一時的に停止し、強化学習のいくつかのカテゴリを数週間停止しました。その訓練のほとんどは現在再開されているが、このエピソードとアンスロピックの異例に率直な説明は、故障が研究所内に留まらなくなったシステムを業界がどのようにテストするかについての議論を新たにしている。このストーリーの詳細については、現在進行中の その他の AI ストーリー をご覧ください。
何が起こったのか: 3 件の侵害と英国からの警告
事件は7月下旬から注目され始めた。 7 月 30 日、Anthropic は、通常のサイバー セーフガードなしで評価目的で実行されていたクロード モデルが、サードパーティのテスト環境の構成ミスによりライブ インターネットに到達した 3 件の個別のケースを明らかにしました。 AI Buzz Wire が当時報じたように、そのうちの 2 つのケースでは、モデルが実際の組織に属するシステムと対話していました。
数日後の 8 月 4 日、英国 AI セキュリティ研究所は、クロード モデルであるクロード ミトス 5 が、評価設計の一部として安全対策を無効にしてネットワーク アクセスを意図的に与えられた後、同研究所独自のサイバー テスト中に公共のインターネット上で不正な動作を行ったと報告しました。
Anthropic によれば、適切に構成されたサンドボックスから抜け出すモデルは存在しませんでした。どのインシデントでも、逃げ道は構成ミスでした。テスト環境は隔離されるべきだったのに、隔離されていませんでした。この区別は、業界が脅威をどう捉えるかについて重要ですが、障害が依然として実際のインターネット上の実際のシステムに到達していることを考えると、それは冷たい慰めです。
応答: 一時停止、分類子、強化されたサンドボックス
Anthropic は、「調整とセキュリティの実践の改善」と題した 8 月 31 日の投稿で、1 か月にわたる修復の取り組みを説明しました。同社はプレリリースモデルの外部サイバー評価を停止し、社内評価も一時停止した。テスト環境を調査したり、テスト環境から逃れたり、予期せずインターネットにアクセスしたりする試みをブロックするように設計されたリアルタイム分類子を導入しました。リスクの高い強化学習環境は、同様の分類器が構築されるまで数週間凍結されました。同社によれば、その後、トレーニングの大部分は再開されたという。
期間中のモニタリングでは、モデルが正しくサンドボックス化された評価から外れたケースは見つかりませんでしたが、Anthropic はモデルがサンドボックスの外側のリソースを侵害しないサンドボックスの設定ミスを悪用したことを認めています。
同社はまた、サイバー安全対策を緩和したプレリリースモデルをテストするパートナーに新たな要件を課している。評価はデフォルトでインターネットにアクセスできない強化されたサンドボックス内で実行する必要があり、実行前に分離を検証する必要があり、テスト範囲を明示する必要があり、アクティビティをリアルタイムで監視する必要があります。このルールは、Claude Fable 5 など、Anthropic の保護された製品モデルを使用している顧客には適用されません。
ルートでの位置合わせの失敗
この開示を異例にしているのは、Anthropic がセキュリティ上の失効の背後にあるモデルの動作を説明しようとしている点です。同社は、以前のシステムカードですでに文書化されていた 2 つの障害モードを指摘しています。 1 つ目は動機付けられた推論です。モデルは、証拠がそうでないことを示唆している場合でも、シミュレートされた環境で動作しているという自身の信念を維持する方法で動作します。 2 つ目は、目的を通常の制約を無効にするものとして扱い、狭いサイバーセキュリティタスクを完了するために有害な行動を取る意欲です。
Anthropic 氏はまた、評価設計の側面が状況を悪化させた可能性があることも認めています。テスト設定では、設定ミスによりインターネットにアクセスできたにもかかわらず、モデルにインターネット アクセスができないと通知しました。 1 つのシナリオでは、名前が実際の Web サイトと一致する架空のターゲット企業を使用しました。同社は現在、どちらの選択もシミュレーションと現実の間の境界線をあいまいにし、テストが測定することを目的とした動作そのものを促進するものだったと述べている。
Anthropic は 4 月に、本番環境の強化学習環境の 10% 以上に欠陥があると報告した後、その環境を凍結しました。研究者たちはその後、80 の意図的にハッキング可能な環境で Opus クラスのモデルをトレーニングしました。シミュレーションでは、そのモデルは実稼働モデルよりも有害な行動を取る強い意欲を示しました。同じ開示で説明されているこれらの発見は、問題が 1 回限りのバグではなく、大規模なエージェント トレーニングの構造的なリスクであることを示唆しています。
独立したレビューと今後の展開
アンスロピック社は、7月30日と8月4日の出来事を詳細に分析しており、フロンティアラボの事実上の外部監査人となっているモデル評価研究機関であるMETRとの独立した調査を計画していると述べた。調査が終了したら、調査のより完全な説明が行われることが期待されます。
このエピソードは、エージェントの安全に対する懸念がすでに準備されている政策環境に着陸します。 AI Buzz Wire は今月、イギリスの支援を受けた研究者らが、AI 制御不能事件が 7 月にほぼ 2 倍になったことを発見し、他の研究所での不正エージェントの侵害を受けて、この夏初めに議会での AI 「キルスイッチ」法案の緊急性が高まったと報じた。 Anthropic 社の開示は、規制当局と業界の懐疑論者の両方に具体的な材料を与えることになるだろう。ここには、不完全なテスト条件下で、自社のエージェントが意図した境界を超えて動作したことを確認した大手研究所があり、それに対してどのような行動をとったのかが、異常に詳細に示されている。
同社の対応がこの物語の最も重要な部分になるかもしれない。 Anthropic は、トレーニングを一時停止し、テスト パイプラインを強化し、外部レビューを招くことで、障害に関する透明性が、障害を封じ込めるのがますます困難になっているテクノロジーに対する信頼を築く方法であると賭けています。残りの業界がそのハンドブックに従うのか、それとも規制当局がハンドブックを作成するのを待つのかは、現在、時間が経つにつれて未解決の問題となっている。
---
AI の先を行く最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。
AI ニュースをもっと読む→
