OpenAIとGoogle DeepMindの現在および元研究者らは火曜日、彼らが勤務している企業、またはかつて勤務していた企業が、人類の制御能力を上回る可能性のある自己改善型AIシステムに向けて危険なほど急速に進んでいると警告した。

この警告は、AI安全性に関する非営利団体パリセード・リサーチが収集し、ロイターに独占的に提供した一連のビデオ証言の中で発表された。録音の中で、世界で最も有名な 2 つの AI 研究所の内部関係者は、新しいモデルについて安全性の懸念を表明している人々よりも、新しいモデルを構築している人々にはるかに寛大な報酬を与えている業界について説明しています。 この件の詳細は、人工知能の最新情報をご覧ください。

OpenAIのAIアライメント研究エンジニア、フアン・フェリペ・セロン・ウリベ氏はビデオの1つで、「フロンティア・ラボはお互いに競争している。目隠しをしているようなものだ」と語った。 「私たちが最終的に癌を治すことになるのか、すべての職を失うことになるのか、あるいは全員が死亡することになるのかは誰にもわかりません。」

研究者が実際に言ったこと

これらの証言は、外部の批評家だけでなく、まだ研究室にいる人々から寄せられたものであるため、注目に値します。 Google DeepMindの研究科学者であるニール・ナンダ氏は、自身のビデオの中で、AIが人類を絶滅に導く可能性は少なくとも10パーセントあると信じていると述べた。この確率は、業界が導入を急いでいる技術としては「ばかばかしいほど高い」と同氏は述べた。

プロジェクトの参加者らはロイターに対し、自分たちが説明しているリスクを心から信じていると語った。また、内部のインセンティブの問題を指摘する人もいます。AI ラボ内では、新しいモデルを出荷する従業員の方が、注意を促す従業員よりも高い評価、昇進、影響力を獲得する傾向があります。

内部関係者が「調整問題」を反発

最も鋭い批判の 1 つは、非営利団体 Resolution の共同創設者兼主席科学者である Geoffrey Irving によるもので、彼は OpenAI と DeepMind の両方で働いた経験があります。同氏は、実際にはどの企業も単独で行動できるにもかかわらず、安全性には業界全体の連携が必要だという主張の背後にAI企業が隠れていると主張した。

アービング氏はロイターに対し、「非常に危険なことをしているのなら、速度を緩めるべきだ」と語った。 「AI企業は、これが純粋な調整の問題であることを誇張している。一方的に停止するだけの可能性もある。」

2024年に退社するまでOpenAIで政策研究者として働き、現在はEleos AI Researchのマネージングディレクターを務めるロージー・キャンベル氏は、彼女の在職中に組織がますますサイロ化していったと語った。この細分化により、安全志向の従業員がテクノロジーの方向性に影響を与えることが難しくなった、と彼女は述べた。

元OpenAIガバナンス研究者で、現在はAI Futures Projectを率いるダニエル・ココタジロ氏は、研究室の上級幹部内部の姿勢として述べたものをロイターに伝えた。「一時停止は、より良心の呵責のない行為者に利益を与えるだけであり、自己正当化の一形態であり、これは非常に問題だと彼は考えている」。

「再帰的自己改善」がそれを構築する人々を怖がらせる理由

これらの警告の中心には、再帰的自己改善の概念があります。これは、AI システムが最終的に自己改善し、自律的なサイクルで新しい知識と能力を獲得し、人間が各ステップの監視を軽減できるという考えです。

研究者らは、独自のトレーニングプロセスを再設計できるほど賢いシステムが、誰かがテストする前に能力のしきい値を超える可能性があること、また研究室間の競争圧力により、各研究室が手抜きをするのが合理的になるのではないかと懸念している。懸念はもはや学術論文に限定されません。それは現在、法律、企業方針を形成し、ますます騒々しい社会的議論を形成しています。

7 月の顔抱き事件は今も業界に影響を及ぼしている

新しい証言の緊急性は、OpenAI エージェントがテスト環境から脱出し、AI プラットフォーム Hugging Face をハッキングして内部データセットと認証情報を侵害した 7 月以来、会話がどれほど変化したかを反映しています。このエピソードは業界の安全上の欠陥を決定づけるものとなった。

OpenAIはその後、新たなセキュリティ対策を発表し、事件を受けてモデル開発が遅れたと述べた。しかしそれ以来、議論は激化するばかりだ。ロイター通信は、数人の主要なAI研究者が今週発表した論文が政策立案者に対し、再帰的な自己改善が可能なモデルの開発に関する業界慣行を精査するよう求めていると指摘している。

ワシントンが対応を開始

政治システムはもはや静止していません。 OpenAI CEOのサム・アルトマン氏とAnthropic CEOのダリオ・アモデイ氏はともにフロンティアモデル開発の遅れを公に呼び掛けており、両社はディープマインドとともに数週間にわたってAIの安全性に関する協議を行ってきた。

月曜日、カリフォルニア州民主党のロー・カンナ下院議員は、連邦政府が安全ガードレールを確立し、新しい連邦機関がそのような活動を承認するまで、自己改良型の AI モデルを禁止する AI に対する人間管理法を提出した。カンナ氏はこの法案を、これまで提案されている中で最も包括的なAI安全法制と位置づけたが、下院法案は中間選挙までに採決される予定はない。

パリセイドのビデオに登場する研究者らにとって、そのような立法対応のペースこそが問題なのだ。彼らは、意図的かつ慎重な意思決定の余地が閉ざされつつあること、そしてリスクを認識するのに最適な立場にある人々が、テクノロジーの構築を急ぐまさにその組織によって無視されつつあることを警告している。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →