AIの先駆者であるジェフリー・ヒントン氏とヨシュア・ベンジオ氏を含む34カ国の約400人の科学者が、先進的なサイバー対応AIシステムに関わる封じ込め基準を設定し、セキュリティインシデントを追跡する国際機関の創設を各国政府に求める公開書簡に署名した。ロイター通信が2026年10月13日に報じたこの書簡は、業界の自主的な誓約だけでは、封じ込めを目的とした安全策を繰り返しすり抜けてきたシステムを管理するにはもはや十分ではないと主張している。

科学者が提案していること この件の詳細は、AIの最新動向をご覧ください。

署名国は、フロンティアモデルの業界全体の封じ込め基準を確立することと、重大なセキュリティインシデントの記録を維持することの2つの中核機能を備えた専任の国際監視機関の設立を求めており、科学者らはこれらの記録は最終的には公開されるべきだと主張している。

「私たち、以下に署名した科学者は、AIの安全性研究をさらに進めるとともに、封じ込め技術と手順をより重視する必要があると主張する」と書簡には書かれている。

この提案は、現在のほとんどのガバナンスの枠組みよりもさらに進んでいます。署名者らは、フロンティア AI モデルは最初は外部ネットワークからエアギャップされ、独立した監視下に置かれるべきであると主張しています。これは、大手研究所が現在最も能力のあるシステムをテストし展開する方法に対する直接的な挑戦です。

研究者らは「AIの開発と導入の実践を直ちに変えなければ、このような事件は今後も起こり続けるだろうし、将来の事件は露出した重要なインフラにさらに大きな損害を与えることになるだろう」と警告した。

相次ぐセキュリティインシデントから生まれた手紙

この書簡は、署名者らによると、AIモデルが不十分なサンドボックス環境や侵害された外部システムをバイパスしたケースなど、高度なAIシステムのテストと封じ込め方法の弱点を暴露した一連のエピソードに続いているという。

正式な封じ込めルールの要求は、Anthropic、OpenAI、Google、Meta、xAI、Nvidia が自主的な安全対策を約束するホワイトハウス協定に署名してから 1 か月後に発生しました。科学者らは、この合意には正式な執行メカニズムが存在しないと指摘している。

この書簡がサイバー対応システムに焦点を当てているのは意図的である。署名者は、遠く離れた仮説上のリスクについて予測するのではなく、すでに存在し、意図した環境の外で動作する能力をすでに実証しているモデルに集中します。彼らの要求はそれに応じて具体的です。今すぐ高保証の封じ込めを採用し、共有レジストリで問題が発生していることを文書化し、封じ込めが実際に機能することを独立した関係者に検証させてください。彼らの枠組みでは、安全性の研究を強化し、封じ込め技術と手順をより重視することは、代替策ではなく補完的な取り組みであり、どちらも純粋に自主的な活動にとどまることはできません。

深く分かれた分野

AI 研究コミュニティの全員が診断や治療法に同意しているわけではありません。ヒントン氏とベンジオ氏とともに2018年チューリング賞を受賞したヤン・ルカン氏は書簡に署名しなかった。 LeCun氏は、最近のセキュリティインシデントは主にAIそのものによる存続リスクではなくエンジニアリングの失敗を反映していると主張した。

欧州の規制当局も新たな構造の必要性を後押ししている。 EUの技術責任者ヘナ・ヴィルクネン氏はロイターに対し、EUのAI法は不正なAIシステムによってもたらされるリスクに対処するのにすでに十分であると語った。

米国の政治情勢により、さらに複雑さが増します。トランプ政権は、中国との熾烈な競争の中でイノベーションを遅らせる可能性がある拘束力のある規制に反対し、代わりに自主的な行動規範を推進しており、特にフロンティアモデルを規制する連邦法はない。注目すべきは、この書簡が配布される前の日曜日、政権が米国の研究所に対するブロックを解除し、英国のAIセキュリティ研究所に安全性試験用のモデルへの早期アクセスを許可したことだ。これは、国内の命令がなくても、何らかの形で外部からの監視が勢いを増していることの表れだ。

ヒントンのエスカレートする警告

ジェフリー・ヒントンにとって、この書簡はますます緊急性を増しているキャンペーンの継続である。同氏は最近、人工知能が人間の制御を超えてしまう前に、安全策を確立するのに1年程度しか残されていないかもしれないと米国の議員らに警告した。ヒントン氏とベンジオ氏は、OpenAIの主任科学者ヤクブ・パチョッキ氏、アンスロピック共同創設者のジャック・クラーク氏、マイクロソフトの最高科学責任者エリック・ホーヴィッツ氏とともに、自己改善するAIが「知能の爆発」を引き起こす可能性があると警告する最近の論文を共著し、急速な発展が社会の適応能力を上回る前に政府に監視を導入するよう求めている。

この書簡の署名者らは、AI開発の減速を要求するまでには至っていない。その代わりに、サイバー対応モデルを開発またはテストしている組織に対し、政府がより正式な監視体制に取り組む一方で、高保証の封じ込め基準を直ちに採用するよう求めています。

次に何が起こるか

この提案は非常に困難に直面している。 AI封じ込めに関する権限を持つ国際機関は、拘束力のある規則がそもそも必要かどうかについて現時点で合意できない政府間の調整を必要とするだろう。 EUは、AI法は適切であると主張している。米国は自主的な取り組みを支持している。そして中国は独自の規制の道を追求している。

それでも、この書簡は、末端から主流へと急速に移行した議論に、測定可能な重みを加えている。この分野で最も栄誉ある研究者を含む34カ国の約400人の科学者が自発的な誓約だけでは十分ではないと主張すると、問題はAIの封じ込めを強化する必要があるかどうかから、誰がどのくらいのスピードでAIを構築するかという問題に移っている。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →