ガーディアン紙が月曜日に報じたところによると、ノーベル賞受賞者のジェフリー・ヒントン氏、同じくAIのパイオニアであるヨシュア・ベンジオ氏、Anthropic共同創設者のジャック・クラーク氏、OpenAIの首席科学者ヤクブ・パチョッキ氏ら20人以上の研究者が、史上最も重大な技術開発となる可能性があるAIの「知能爆発」に備えるよう各国政府に警告したとのこと。

「もしAIの研究開発の自動化が知能の爆発を引き起こしたらどうなるか」と題されたこの論文は、テクノロジーが暴走する前に行動するよう政治家に促している。その著者らは、このシナリオを「AI主導でAIの進歩が劇的に加速され、通常なら数年かかる進歩が数カ月以下に圧縮される」と説明している。 最新の AI 研究ニュース を追跡している読者にとって、この報告書は、その警告よりも誰が署名したかということよりも注目に値します。学界全体と競合するフロンティア研究機関からの数字が共同で主張しており、自動化研究は政策立案者が最も準備ができていないシナリオであると主張しています。

知能の爆発が意味するもの

著者らの中心的な関心は、AI システムが人間の介入なしで自らを改善する可能性、つまり再帰的自己改善として知られるプロセスであり、論文では自動化された AI 研究開発と広く呼ばれています。

AIシステムがAI研究開発において専門家レベルの能力に達すれば、一人の開発者が「数百万人」のトップレベルの人間の研究者と同等の労働力を運用できるようになる、と論文は主張している。著者の見解では、AI 研究開発の自動化は、知能爆発の引き金となる可能性が最も高いと考えられます。なぜなら、AI システムはすでに独自のテクノロジーの向上に貢献しており、AI システムが作成に役立つ改良されたシステムは、構築後すぐに展開できるからです。

ガーディアン紙によると、同紙は「知能の爆発は人類史上で最も重大な技術開発となる可能性があり、数年にわたる進歩を数か月以下に圧縮し、AIシステムに対する人間の制御を脅かし、国家、企業、政府機関内および政府機関の間の権力のチェックを著しく弱体化させる」と述べている。

著者がウィンドウが閉じていると言っている理由

この報告書の緊急性は、現時点では欠陥があるように見える AI システムが、現在人間のチームで数か月かかる研究開発プロジェクトを 2028 年までに完全に自動化できる可能性があるというタイムラインの主張に基づいています。

「AIの研究開発自動化による生産性の向上は、知能爆発を引き起こすのに必要な閾値にはまだ達していないが、より新しいシステムによる生産性の向上はその閾値に近づいている可能性が高い」と著者らは書いている。 「ひとたび知性の爆発が始まると、行動の余地は閉ざされるかもしれない。」

同論文は、「ソフトウェア主導の知能爆発の可能性を示唆する予備証拠」があり、それが「高度な能力や超人的なAIシステムの極めて急速な開発」につながる可能性があると付け加えている。

彼らが警告するリスク

知能の爆発は医学の進歩と急速な技術の飛躍をもたらす可能性があるが、著者らは3つの主要な危険性を概説している。

  • 暴走する脅威 強力なシステムにより、生物学的脅威やサイバー脅威が、それらに対抗するために必要な手段よりも速く発展する可能性があります。
  • 制御の喪失 人間が AI 研究開発にあまり関与しなくなるにつれて、構築するシステムを指示したり制約したりする機会を失う可能性があります。
  • 戦略的不安定 各国は、情報爆発を利用して、たとえばサイバースペースにおけるささやかなリードを決定的な国家的優位に変える可能性があります。

報告書は、こうした影響は「不確実」であると率直に述べている。技術的なブレークスルーが特殊な材料や規制要件に対応する特定のサプライチェーンを実装するには時間がかかる可能性がありますが、AI システムによってリスクが軽減される速度が速くなる可能性もあります。

政府がやるべきこと

著者らは、情報爆発への備えが「政府指導部の最高レベルを含め、緊急の優先事項であるべきである」と述べ、候補者の一連の政策を提示している。

  • AI関連の研究開発に関する透明性のある進捗報告を義務付ける（AI企業内に独立した監査人を置くことを含む）
  • 一定期間内に AI システムが改善できる速度を制限する
  • データセンターと協力して、特定の AI 研究開発プロジェクトを一時停止できるようにする
  • 自動化された AI 研究開発システムが完全に隔離され、人間の制御から逃れることができないようにする
  • 情報爆発が引き起こす可能性のあるさまざまなシナリオに対応した「緊急対応計画」を作成する

この提案は、西側の AI 政策で既に進められているアイデア (インシデント報告の義務化、第三者による評価、コンピューティング ガバナンス) を拡張するものですが、それらを特定のエンドポイント、つまり研究自体の自動化に適用します。

なぜこれらの著者が、そしてなぜ今なのか

署名者たちはこの紙に異常な重みを与えている。ヒントンとベンジオは現代 AI の「ゴッドファーザー」の 2 人であり、ニューラル ネットワークの基礎研究で知られています。両者とも、自分たちが開発に貢献したテクノロジーについて警告する著名な声となっている。 Clark 氏は Anthropic の共同設立者であり、Pachocki 氏は OpenAI の主任科学者です。

彼らの警告は、その方向に向けた目に見える業界の動きの中で発せられました。ガーディアン紙によると、Anthropicは現在、AIが独自のコードの80％を生成しているが、OpenAIは新しいモデルのトレーニングなどの分野で自律型AIエージェントを使用していると述べた。両研究所は、AI開発が安全性の点で重大な段階に達していると警告した後、独立した評価者にモデルを評価させることにも同意した。

著者らが望むペースで各国政府が動くかどうかは別の問題だ。しかし、この論文の核心的な主張、つまりブレーキを構築すべき時期は車がブレーキを必要とする前であるという主張は、現在では機械に最も近い人々によって支持されている。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→