Anthropicのダリオ・アモデイ最高経営責任者（CEO）は、強力なモデルが慎重な保護策なしにリリースされた場合、オープンソースの人工知能への加速する傾向により社会を危険な道に導く可能性があると議員らに警告し、AI政策で最も物議を醸す議論の1つが再燃している。
Claude ファミリーのモデルを開発し、同社を率いているアモデイ氏は、高度なシステムを誰でも自由にダウンロード、変更、展開できるようにするオープンソース AI の独特の性質が、従来のオープンソース ソフトウェアでは決して引き起こされなかったリスクを生み出すと主張しました。 Tekediaが報じた同氏の発言は、有能なAIが一旦公的に配布されると制御することの難しさに焦点を当てている。このストーリーの詳細については、現在進行中の その他の AI ストーリー をご覧ください。
従来のソフトウェアとは異なり、最先端の AI システムは、説得力のあるテキストを生成し、リアルな画像を生成し、コンピューター コードを作成し、サイバーセキュリティ タスクを支援できます。アモデイ氏は、これらの機能が悪用されると、サイバー攻撃の自動化、高度な偽情報キャンペーンの実施、有害な生物学的研究の推進などに悪用される可能性があると主張している。
永続性の問題
アモデイ氏が強調した中心的なリスクの 1 つは、強力なモデルが一度公にリリースされると、事実上リコールが不可能になることです。企業が運用するクローズドシステムは監視され、パッチが適用され、新たな脆弱性が発生した場合には制限される可能性があります。対照的に、オープンソース モデルは無制限にコピーしてインターネット上で再配布できるため、開発者にはリリース後にその使用を制限するメカニズムがありません。
アモデイ氏は、ますます複雑化するタスクにおいてモデルが人間レベルのパフォーマンスに近づくにつれて、その永続性が特に問題になると警告した。同氏は、高度なAIは、オープンで共同で改善できる通常のソフトウェアのように扱うのではなく、広くアクセスできるようになる前に、堅牢な安全性テスト、制御された展開、適切な規制監督を受ける必要があると主張した。
彼の立場は、業界における断層の拡大を反映している。オープンソース AI の支持者は、パブリック アクセスが競争を促進し、技術進歩を民主化し、少数の企業が人工知能を独占するのを防ぐと主張します。世界中の開発者がモデル アーキテクチャを検査し、セキュリティ上の欠陥を表面化し、協力してシステムを改善できる一方、新興企業、研究者、教育機関は高価な独自のプラットフォームに依存せずに構築できます。
テーブル上の特定のリスク
アモデイ氏の懸念は抽象的なものではない。公開されたモデルは、直接的な微調整手法を使用して研究者によってすでに安全ガードレールが取り外されています。これは、基礎となる重みが公開されると、保護手段がいかに迅速に削除できるかを実証した実践です。化学、生物学、ソフトウェア悪用などのタスクにおいてモデルの能力が高まるにつれ、懸念されるのは、責任ある研究所が顧客に課すスクリーニングを決してパスしない攻撃者に、オープンリリースによって強力な機能が渡される可能性があるということです。
偽情報の側面にも厳しい目が向けられている。リアルなテキスト、画像、音声を大規模に生成できるモデルは、選挙干渉、金融詐欺、またはプロパガンダの大量生産に向けられる可能性があります。オープン モデルは完全に攻撃者自身のハードウェア上で動作するため、調整する API も、アカウントを一時停止する必要も、損害が発生した後に責任を負うプロバイダーも存在しないとアモデイ氏は指摘しました。
競争の背景
Amodei の警告は、中国の開発者から有能なオープンモデルが急増する中で届いた。 Zhipu の GLM-5.2 は、他の低コストの中国製システムと同様に、オープンでオープンに利用可能なモデルが、Anthropic や OpenAI のフロンティア独自のシステムとの差を急速に縮めつつあることに新たな注目を集めています。この競争圧力により、オープンリリースの制限が支配的な企業に有利になるのか、それとも社会が悪用にさらされることになるのかをめぐる政策論争が激化している。
アモデイの立場を批判する人々は、オープンソースAIを制限すると、独立したイノベーションが制限され、意図せずして大手テクノロジー企業を固定化してしまう可能性があると主張している。彼らはまた、透明性により、研究者はクローズド開発よりも早く脆弱性を特定できる場合が多いとも指摘しています。しかし、オープン開発の支持者の多くも、システムがますます強力になると、前世代のソフトウェアよりも強力なガバナンス フレームワークが必要になる可能性があることを認めています。
規制の綱渡り
世界中の政府が新たなAI規制を検討する中、この議論は緊急性を増している。政策立案者は難しいバランスに直面している。過度の規制は経済成長や科学的発見を遅らせる可能性がある一方、監督が不十分だと社会を予期しにくいリスクにさらす可能性がある。アモデイ氏は、そのバランスをとるためには、政府、テクノロジー企業、学術研究者、市民社会間の協力が必要であると示唆した。
彼の証言は、この 10 年間のテクノロジー政策論争を決定づけたものの 1 つを強調しています。人工知能の能力が高まるにつれ、社会は革新的なシステムへの広範なアクセスに伴う危険を最小限に抑えながらイノベーションを促進する方法を決定する必要があります。規制、業界標準、国際協力のいずれを通じてであっても、オープンソース AI に関して今後数か月間行われる選択によって、誰がテクノロジーを管理するか、そしてそのテクノロジーがどのように安全に導入されるかが、今後数年間にわたって形作られる可能性があります。
Anthropic のスタンスは、同社が長年にわたって AI の安全性と制御されたリリースに重点を置いていることと一致しています。しかし、オープンモデルが急速に進歩しており、規制当局が追いつこうとなおも躍起になっていることから、アモデイ氏の警告とオープンソース運動のペースとの間のギャップは、政策立案者が埋めることができるよりも早く縮まりつつある可能性がある。
---
AI の先を行く最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。
AI ニュースをもっと読む→
