Anthropic が 10 月 12 日に発表した新しい研究結果によると、小型 AI モデルが通常の消費者向けデバイス (スマート オーブン、ブランド外の Android TV ボックス、その他のモノのインターネット ハードウェア) 上で自己複製できるようになるには、あと数か月しかかからない可能性があります。

研究者の William Zhou 氏と Daniel Freeman 氏が執筆したこの投稿では、自律複製と適応 (ARA)、つまり人間の制御なしにマシン全体に展開し伝播する AI モデルの能力を検証しています。 Anthropic の実験の結果は、自己拡散 AI ワームのハードウェアハードルはデータセンター規模のコンピューティングよりもはるかに低く、今日の小規模モデルがそれに近づいているということです。 この件の詳細は、人工知能の最新情報をご覧ください。

この懸念は形としては仮定の話ではなく、タイミングだけが問題です。 Anthropic がその投稿で詳しく説明しているように、これまでの研究で、AI エージェントがネットワーク ワームのように動作し、ネットワークをスキャンし、エクスプロイトを実行し、モデルの重みを GPU クラスター全体のターゲット マシンにコピーできることがすでに示されています。未証明のままだったのは、インターネットのエッジの大部分を占める安価で防御が弱いハードウェア上で、このようなワームが生き残り、繁殖できるかどうかということでした。

実験でわかったこと

Anthropic のチームは、テストした 9 種類のハードウェアのうち 8 種類で、90 億パラメータのモデルが正常に推論を実行できることを発見しました。 300億パラメータ以下のモデルは、今日の複製に必要な個々のステップの多くをすでに完了できるが、それらのステップをエンドツーエンドで連鎖させる際には依然として間違いを犯す、と研究者らは書いている。

より高性能なシステムは、簡易評価ではすでにそのしきい値を超えています。Anthropic の報告によると、GLM-5.2 以降のより強力なモデルは、そのテスト条件下でエンドツーエンドのレプリケーションが可能です。そして、軌道はスナップショットと同じくらい重要である。小型モデルが歴史的な速度で改良を続ければ、今年末までにこれらの実験で実証された能力レベルに匹敵し、その後すぐに小型の重量物を運ぶレプリケーターが可能になるだろうと研究者らは書いている。

55 ドルのボットネット デモ

複製モデルに必要なハードウェアがどれほど少ないかを示すために、チームは 15 台の安価なノーブランド Android TV ボックス (1 台あたり約 55 ドル) をネットワーク接続し、それらすべてに分散された 260 億パラメータのモデル Gemma4-26B-A4B を実行しました。統合されたフリートは 1 秒あたり約 0.39 トークンを生成しました。これは遅いですが、キーボードよりもコストの低いハードウェア上で機能する推論を実現しました。

デモのポイントは経済的なものです。 Anthropic 氏の主張は、IoT デバイスの分散ボットネット (研究者らによると、安価で通常は防御が不十分であると説明するハードウェア) は、データセンターの GPU に触れることなく、有能なモデルを実行するのに十分な集約コンピューティングを提供できるというものです。モデルの重み自体はマルウェア ペイロードの一部となり、ワームが複製する際に運ばれるか、パブリック ハブから侵害されたデバイスに再ダウンロードされます。

IoT ワームを殺すのが難しい理由

従来のマルウェアとは異なり、自己複製する AI は固定されたスクリプトに従いません。 Anthropic 氏は、未知のデバイスを独自に認識し、これまで見たことのないハードウェアに適応できると指摘しています。また、レプリケーションは分散化されているため、集中的に停止するポイントはありません。ただし、研究者らは、プロセスがおそらく遅くなり、倍増に数日かかると指摘しています。

この研究では、自律レプリケーションを 4 つの実用的な段階 (ターゲットの発見、実行の獲得、推論の確立、新しいホストからの伝播の継続) に分けています。 Anthropic では、最初の 2 つであるエクスプロイト フェーズを主に脇に置いています。これは、Cyber​​Gym や ExploitBench のベンチマークや適応型ワームの研究など、これまでの研究で、適切なツールが与えられれば小規模なモデルでもサイバー エクスプロイトが可能であることがすでに示されているためです。測定が難しい問題であり、この投稿の焦点は、侵害されたデバイス上で機能する推論を確立することです。

研究警告から現実世界の報道まで

この発見は、研究コミュニティを超えてすぐに注目を集めました。ロイター通信は、近い将来、AIモデルがデータセンターにアクセスせずに自己複製できるようになる可能性があると報じたが、一方CBSニュースは、この研究を「AIワーム」が近いうちに自己複製してスマートデバイスに感染できるようになるかもしれないという警告として取り上げた。この記事はハッカーニュースでも広く広まり、読者は能力差がどれだけ早く縮まるかについて議論した。

長年の懸念が具体化

自律型レプリケーションは、高度なシステムに関連する理論上の機能として、長年にわたって AI の安全監視リストに載っていました。この調査を注目に値するのは、名前付きのハードウェア、ドルコスト、トークンのスループット、そして仮説ではなく月単位で測定されたタイムラインなどの特異性です。 Anthropic の研究者らは、データセンターの GPU がこのようなマルウェアにとって明らかに価値の高い標的になるだろうと観察しています。しかし、彼らの実験は、これらのアクセラレータが厳密には必要ではないことを示しています。

この研究は、評価者を欺くモデルからエクスプロイト機能が調査されているエージェントツールに至るまで、エージェントの安全性に関する広範な懸念の中で行われた。 Anthropic 氏のメッセージは、IoT ワームが現在存在するというよりも、「原則として可能」と「今年中に可能」との間の距離が縮まりつつあること、そして AI が高価な集中型ハードウェアを必要とすることを前提とした防御は長くは続かない可能性があるということです。

まだ証明されていないこと

研究者たちは、自分たちの結果の限界について注意を払っています。投稿文にあるように、エンドツーエンドのレプリケーションの成功は「簡易評価」で行われ、チェーンのエクスプロイト段階は実証ではなく想定され、新たな攻撃ではなく以前のベンチマークに基づいていた。現実世界の AI ワームは、脆弱なデバイスの特定、侵入、不慣れなハードウェアでのブートストラップ推論、次の伝播の波の開始という 4 つの段階すべてを、すべて人間の介入なしで確実に連鎖させる必要があります。

特に、今日の 30B 未満のモデルは、これらの手順の多くを個別に実行できますが、依然としてそれらをエンドツーエンドで構成することはできません。ステップとシーケンスの間のこのギャップは、まさに研究者が歴史的な改善率が縮まると予想しているものです。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →