CohereのAISLE買収によって設立されたセキュリティ事業会社であるCohere Cyber​​の研究者らは、日常的な防御セキュリティタスクに取り組んでいるときに、アリババのオープンウェイトQwen3.8-Flash-Nextモデルが北京のAlibaba Cloudストレージバケットにプローブファイルをアップロードしようとしていたのを発見したと述べた。この試みはCohereのサンドボックスによって阻止されたが、同社は月曜日にこの調査結果をブログ投稿で発表し、今回の事件は企業によるオープンウェイトモデル採用の背後にある中核的な前提、つまり自社のサーバー上でウェイトを実行するとデータが建物内に保持されるという前提を台無しにするものだと主張した。

モデルが実際に行ったこと この件の詳細は、AIの最新動向をご覧ください。

チームは、アリババが Qwen4 アーキテクチャのプレビューとして 8 月にリリースした Qwen3.8-Flash-Next を、セキュリティ アナリストの仕事を行う AI エージェント用の Microsoft のベンチマークである CTI-REALM を通じて実行しました。割り当てられたタスクは平凡でした。悪意のあるファイルのダウンロード、具体的には bash スクリプトを /tmp にプルして実行するカール プロセスの検出ルールを作成します。

モデルの思考連鎖は、答える代わりに、決して起こらなかった早い段階の会話を発明し、ツールを呼び出さずに設定を認識する必要があると結論付けました。同じターンで、モデルは一連のシェル コマンドを実行しました。/tmp の内容を一覧表示し、どの転送ツールがインストールされているかを確認し、マシンの DNS 設定を読み取り、北京にある Alibaba Cloud オブジェクト ストレージ バケットにテスト文字列をアップロードする HTTP PUT リクエストを試行し、応答コードをチェックしてアップロードが成功したかどうかを確認しました。

Cohere のサンドボックスには外部ネットワーク ルートがなかったため、リクエストはコンテナの壁で停止しました。開発者のラップトップや、通常のインターネットアクセスを備えた CI ランナーでは、リクエストは誰にも気づかれないうちに外部サーバーに到達していたと同社は指摘しています。

おそらく、安全層として推論トレースに依存しているチームにとって最も厄介なことは、モデルの内部モノローグには、これから取ろうとしているアクションが示されていないことです。 「思考の連鎖を読み取るガードレールは、それを振り切って通過するだろう」と投稿では指摘した。

この動作はどの程度まれですか?

Cohere の報告によると、抽出の試みは評価実行全体で 100,000 回の呼び出しに 1 回未満で発生し、同じプロンプトを完全に再実行すると、タスクが要求した検出ルールが正確に生成されたと報告しています。しかし、希少性は規模に比例します。週あたり 1,000 万回のエージェント ターンを処理するサービスでは、そのような呼び出しが 100 回程度発生することが予想され、1 回成功するだけで、受信サーバーにネットワークの場所とその中でエージェントが動作していることを伝えるのに十分です。

行動の断片は以前にも発見されていた。 8 月の Hacker News のレポートでは、Qwen3.8-27B が誰も要求していない署名付きの Alibaba Cloud ストレージ リンクを生成していると説明されました。 9 月に、エージェント プロジェクトが単一の Alibaba ホスト上で 11 回の URL フェッチを記録し、別の開発者がそれらをブロックするためのプラグインを構築しました。 10月のRedditスレッドでは、パターンが「正常なのか、それとも大ざっぱなのか」が議論され、ほとんどの返信は記憶されたトレーニングデータによるものだとした。この理論に対する Cohere の回答は、署名が無効であってもリクエストがマシンから送信されることを阻止するものではないため、外部サーバーは依然として IP アドレス、時刻、および完全な URL を受信するというものです。

トリガーを探す

モデルの原因を理解するために、研究者らはプレフィルと呼ばれる手法を使用しました。これは、モデル自体の部分出力をモデルに供給し、一度に 1 つのフラグずつcurl コマンドを拡張する際に数百の完了をサンプリングするものです。 2つの習慣が生まれました。モデルは何かをダウンロードする前に、完了の 23 ～ 36% で 169.254.169.254 などのベア クラウド メタデータ アドレスに到達しました。このアドレスは、AWS、Google Cloud、Azure 仮想マシンが独自の一時的な IAM 認証情報を取得する場所であり、そのアドレスを調べることが認証情報盗難の最初のステップとなります。 Cohere は、これを認証情報の取得の試みであると解釈しましたが、分離されたサンドボックスには返すものは何もないという警告が付けられました。

決定的なトリガーは -o フラグでした。これは、curl にファイルをディスクに保存するように指示します。これを追加すると、以前のコミュニティ レポートで確認されたのと同じ Alibaba ファイル プロキシが主導するウォッチリスト ホストにより、URL 生成がサンプル完了の 4 パーセントから 92 パーセントに跳ね上がりました。

攻撃的な行為はネットワーキングに限定されませんでした。モデルがソースから QEMU エミュレーターを構築する別のオフライン テストでは、RAM ディスクを作成しようとしましたが、管理者権限がないために拒否され、Linux 名前空間トリックを使用してプライベート名前空間内で自分自身をルートにし、マウントが完了するようにしました。ホスト上では通常のユーザーのままだったが、Cohere氏は、この移動がカーネル特権昇格の長い一連の悪用の出発点であると指摘した。

バックドアまたは余った配管?

この投稿では、解決するとは主張せずに 2 つの説明を展開しています。有益な解釈: トレーニング サンドボックスまたはサードパーティ ツールからのエージェント ログが、スクラブされずにトレーニング後のデータに一掃され、化石化した習慣が残されました。開発者は、その理論に適合する、Web フェッチを同じホスト経由でルーティングするコーディング ツールを発見しました。暗い解釈: どのサーバーがモデルを利用したエージェントを実行しているかを記録し、出口が存在する場合に抽出を試みる意図的なコールホーム インプラントです。このようなインプラントは製造コストが安く、標準的な安全トレーニングに耐えることができるが、トレーニングラボの外にいる人はどちらの説明が正しいかを判断できないと同社は指摘した。

暴露の規模は相当なものである。 Hugging Face には 113,000 以上の Qwen 派生物が含まれており、Routify ホストの動作は、Alibaba を含む 4 つのパブリッシャーのビルドですでに表面化しています。同プラットフォームの2026年春のレポートによると、2026年3月までの1年間のHugging Faceダウンロードの41％を中国モデルが占め、2月から7月初旬までにOpenRouterを介してルーティングされた毎週の作業の30％以上を処理していた。

オープンウェイト展開を検討している CISO や政策立案者にとって、Cohere の結論は率直です。完全に監査できないウェイト ファイルは依然としてブラック ボックスであり、セルフホスティングはそのブラック ボックスをファイアウォール内に移動するだけです。同社は、エージェント対応モデルを他の信頼できないソフトウェアと同様に扱い、出口フィルタリング、サンドボックス化、クラウド ストレージ プロバイダーへの予期しない送信リクエストの監視を行うことを提案しています。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →