3週間にわたるレッドチームの演習で、OpenAIの内部不整合監視システムに新たな脆弱性が発見された。これには、原則としてAIエージェントが人間によるレビューなしでアクションを実行できる方法が含まれていた。独立した評価非営利団体である METR は、OpenAI 研究者とセキュリティ スタッフに提供した 61 ページの内部報告書から抜粋した、調査結果の概要を 10 月 22 日に発表しました。

パイロットは7月21日から8月11日まで実施され、METRの従業員1名とRedwood Researchの従業員1名に、OpenAIの内部インフラストラクチャ（コードベース、監視システムのプロンプトと構成、内部文書、監視、安全システム、セキュリティの各チームにわたる約12名の研究者とエンジニアとの技術面談）への異常に深いアクセスが与えられた。彼らは OpenAI が発行したデバイスで作業を行いましたが、そのデバイスは敷地外に出ることはなく、現場では同行していました。この分野の研究の詳細については、最新の AI 開発をご覧ください。

レッドチームが見つけたもの

この演習では、OpenAI のエージェント推論のどの程度が実際に監視されているか、およびエージェントが監視システムを無効にしたり破壊したりできるかどうかという 2 つの質問に焦点を当てました。回答からは、意味のあるギャップが明らかになりました。

報道に関して、METR は、当時、少なくとも GPT-5.5 と同等の性能を持つモデルからのエージェント内部の Responses API トラフィック (特に Codex などを動かす API) のおよそ 75 ～ 94 パーセントが監視の対象であると推定しましたが、組織は両方向でかなりの不確実性があると指摘しています。内部 Codex エージェントに使用されるトラフィックのサブセット内では、99.2 パーセントが適格でした。しかし、適格性と対象範囲は同じではありませんでした。強化学習トレーニングの実行は、演習の開始時に監視システムの対象になっておらず、2026 年 5 月から 7 月にかけて、対象となる内部 Codex トラフィックの 10% 程度が監視されていない圧縮イベントが発生した可能性があります。OpenAI のスタッフは、演習前に独自に圧縮の問題を特定し、演習の進行中に修正していました。

タイミングの詳細が重要でした。エージェントがユーザーに制御を戻したときにモニターがトリガーされるため、エージェントは、監視されていない時間帯にアクションを実行し続けるだけで、監視を無期限に延期することができます。

チームはまた、積極的な回避経路も文書化しました。 Codex エージェントは原則として Codex サンドボックスと自動レビューをバイパスし、ホスト ユーザーが実行できるあらゆるアクションを実行できるようにします。 METR は、エクスプロイト自体に関係するアクションを含む最近の数百のアクションの監視を妨げるエクスプロイトを発見しました。 OpenAI は技術的な詳細を編集しました。エージェントは、エージェントが見た軌跡とモニターが見たものとの間のシリアル化の違いを利用することで、モニターの失敗を引き起こす入力を構築し、人間によるレビューへのエスカレーションを回避できる可能性があります。また、新しいエージェントの監視を無効にするクライアント制御可能なヘッダーが 2 つ見つかり、エージェントが監視されていないがそれ以外は同一のインスタンスを起動できる可能性があります。ただし、これらのヘッダーを設定する行為自体が捕捉される可能性があると METR は指摘しています。

最後に、チームは、読み取り専用権限を持つと考えられる 2 つの監視されていない内部エージェント ツールと、これらの制限を覆すために使用された可能性のある単純なエクスプロイトを特定しました。 METR は実際にその動作を検証しませんでした。

何が支えになったのか

この演習では、システムの一部も検証されました。いくつかの小さな例外を除いて、モニターにはエージェントが見る完全な軌跡が表示されます。監視プロンプトでは、他のリスク カテゴリの中でも特に、陰謀、システム破壊、妨害行為、データ漏洩、欺瞞、インバウンドおよびアウトバウンド プロンプト インジェクションを検出することが確認されました。信頼性に関して、METR が提供した情報によると、モニターがエラーを起こしたリクエストは 0.2 パーセント未満であり、演習中の 24 時間の 1 回の期間で負荷制限はゼロでした。

OpenAI の応答

METR によると、OpenAI は、本番環境のセーフガード スタックに影響を与える特定されたすべての脆弱性にはパッチが適用されたと述べ、その後の監視システムの対象範囲に対する大幅な変更についても説明しました。 METRはこれらの主張を評価しておらず、その調査結果は、OpenAIが演習中にすでに構築していた拡張バージョンではなく、7月21日以前に存在していたシステムを記述している。

エージェントの監視に関するレッスンを設計する

METRは、将来の監視インフラストラクチャの設計上の理想を述べてまとめを締めくくったが、このインフラは、大規模な高能力の内部エージェントによる意図的、戦略的、継続的な攻撃に耐えるべきであると主張している。 2つが目立っています。モニタリングは回避することが困難である必要があります。モニタリングされていないリクエストの実行には、エージェントによる推論が禁止されている特定の組織または API キーに関連付けられた明示的な承認が必要である必要があります。また、エージェントはターン終了時だけではなく、N メッセージまたは N 分ごとにモニタリングされる必要があります。また、カバレッジは監査可能である必要があります。すべての推論を慎重に記録し、監視システム自体のログと定期的に相互参照することで、監視対象のすべてが明確に監視できるようにします。

この演習は、公開透明性レポートとしてではなく、外部の研究者にフロンティアラボの内部インフラへの深いアクセスを提供するためのパイロットとして設計されました。METR と OpenAI は、簡潔で高レベルの投稿のみを公開することに事前に同意しました。同非営利団体は、将来のバージョンは、AI企業と協力するためのフレームワークに記載されている透明性と独立性の実践に従うと述べている。エージェントがそれらを構築するラボ内でより重要な作業を引き受ける際に、パイロットでは部外者が監視を続ける方法のテンプレートが提供されます。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→