独立した研究者チームは、監査人がモデルの重みに完全にアクセスできる場合でも、AI モデルが検出を回避することが数学的に保証されている完全に機能する隠れた機能を搭載できることを実証しました。 「AI モデルは任意の機能を証明できる」と題されたこの論文は、2026 年 10 月 9 日に Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas、Christian Schroeder de Witt によって arXiv に投稿され、サイトのトップページを飾った後、今週 Hacker News で大きな注目を集めました。

この研究は、最新の AI の安全実践の中核となる前提に衝撃を与えています。つまり、危険な動作は、機能評価を通じて導入前に表面化できるというもので、モデルが実行できることはすべて引き出すように設計されたテストでモデルを精査します。著者らは、この仮定が敵対的な条件下では崩れることを示しています。この論文が述べているように、能力評価の信頼性は「隠れた能力が引き出されるという仮定に依存する」――そしてその仮定が明らかに失敗する場合に攻撃が構築される。安全性研究の 最新の AI 開発 をフォローしている読者にとって、この論文は、有能なモデルが原則として、実際に何ができるかを隠しながら評価に合格する可能性があることを、これまでで最も厳密に実証したものの 1 つです。

隠蔽スキームの仕組み

研究者らは、ホストモデルの重みの中にいわゆる暗号化されたニューラルネットワークを埋め込むバックドア攻撃を構築した。隠されたネットワークは暗号化された形式でそこに存在し、秘密のトリガーを受け取るまでモデルの目に見える動作には何も寄与しません。その時点で、モデルは隠された回路を解読して実行します。

構築の中心となる暗号化メカニズムは、著者らがデジタル ロッカーと呼んでいるものです。標準的な暗号の仮定の下では、これらのロッカーにより、モデルの重みに完全にアクセスできる監査人であっても、隠された回路を引き出すことや解釈することが明らかに困難になります。言い換えれば、隠蔽は、隠蔽が微妙であるか、あるいは見つけにくいかどうかには依存しません。これは、暗号化通信を保護するのと同じ種類の数学的強度保証に依存しています。

これは、モデルがパスワードやショート メッセージなどの固定文字列を非表示にできることを示した、この分野での以前の研究を拡張します。新しい論文はゴールポストを大きく動かします。現在隠蔽できるのは任意の計算、つまり静的な秘密ではなく、完全に機能する機能です。

実際の監査技術に対してテスト済み

チームは概念実証の構築を PyTorch に実装し、モデル監査の標準ツールキットを使用して攻撃しました。評価では、微調整、重み付けノイズ、勾配ベースのトリガー検索、潜在的な敵対的トレーニングによる誘発をテストしました。これらの一連の手法は、真剣な監査人が実際に疑わしいモデルから隠れた動作をどのように抽出しようとするかを表しています。

テスト タスクは小規模な化学反応予測問題であり、現実世界に関わる能力の代用として意図的に選択されました。化学予測タスクは、配備前評価で最も重視される能力のカテゴリーである CBRN 関連 (化学、生物学、放射線学、原子力) スキルの代用です。隠された実装は、投げかけられたあらゆる引き出し手法に抵抗しました。

著者らは、暗号による保証と組み合わせると、その結果は引き出しベースの機能監査の根本的な限界を明らかにしていると主張しています。モデル開発者 (またはモデルを改ざんした悪意のある第三者) が機能を隠蔽する動機を持っている場合、動作を引き出すことに依存する監査ではその機能を見つけることができない可能性があります。

これが AI の安全性にとって重要な理由

能力評価は、フロンティア AI ラボがモデルをリリースしても安全かどうかを判断する方法の標準的な部分になっています。この論文は、現在量産モデルがこのように機能を隠しているとは主張していません。むしろ、これは監査層自体に構造的な弱点があることを示しています。モデルのトレーニングを制御する攻撃者は、原理的には、いくら調べても明らかにならない機能を組み込むことができます。

その影響はいくつかの方向に広がります。ラボにとって、これはモデルの重みに関する偏執的なサプライ チェーン セキュリティの根拠を強化します。バックドアによるチェックポイントは信頼性のリスクであるだけでなく、潜在的に検出不可能なリスクでもあります。監査人や規制当局にとって、純粋に動作サンプリングに基づく評価は、モデルがどのようにトレーニングされ処理されたかについてのより強力な保証によって補完される必要がある可能性があることを示唆しています。そして、研究コミュニティにとって、それは具体的な防御上の課題を定義します。著者らは、特にこのクラスの攻撃に対する防御の改善をサポートするためにモデルを公開しました。

この論文には、より広範な哲学的な内容も含まれています。 AI の安全性の多くは、自信を得る方法をテストできるという考え、つまり、十分なレッドチームによってモデルが何ができるかを見つけることができるという考えに基づいています。証明可能な隠蔽メカニズムによってテストが無駄になるわけではありませんが、すべてのテストに合格したことを、何も見つからないことの証明として扱うことができなくなることを意味します。フロンティア モデルの機能が向上し、自律性が高まるにつれ、監査で示される内容とモデルに含まれる可能性のある内容との間のギャップは、まさにこの分野が真剣に取り組まざるを得なくなる種類の問題です。

暗号構造と評価の詳細を含む著者らの完全な論文は arXiv で入手でき、公開された概念実証モデルは、防御側にデジタル ロッカー スタイルの隠蔽に対抗する検出方法を構築するための具体的な出発点を提供します。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→