AI 業界の配管に対する大規模なおとり捜査により、ユーザーが毎日送信するプロンプトに何が起こるかが文書化されました。その答えは、プロンプトが漏洩しているということです。産業セキュリティ企業ドラゴスの首席研究責任者であるセキュリティ研究者の HD ムーア氏は、独自で追跡可能な秘密を含む 200 万近くの AI プロンプトを AI プロバイダーに送信し、それらの秘密がどこで表面化するかを監視しました。ムーア氏は木曜日に発表した報告書の中で、「我々が発見したことで、セキュリティ侵害、迅速な盗難、顧客データ保護の広範な失敗が明らかになった」と述べた。
Ars Technica が詳細に報告したこの調査結果は、AI ルーター (エンド ユーザーからのプロンプトを受け入れ、最も安価または最適な推論プロバイダーにルーティングする OpenRouter や Vercel などのブローカー サービス) として届けられ、数千のアプリケーションのコア インフラストラクチャとなっています。また、これらは業界の素早い対応を引き起こしました。OpenRouter は 11 月 22 日に独自のインシデント発表を発表し、3 つのプロバイダーをオフボードし、125 のエンドポイントをゼロ データ保持資格から除外し、影響を受ける可能性のある顧客に通知したと発表しました。
カナリアトラップの仕組み
ムーア氏は、空のアカウントに関連付けられた機能する AWS アクセス キー、機能する SSH パスワード、一意の URL、DNS 名、プライベート Git リポジトリ参照のコレクションを作成しました。どの秘密もこれまでに使用されたことがなく、ムーアは受信側のインフラストラクチャを制御していました。各シークレットは、単一プロバイダーに送信される 1 つのプロンプトに正確にシードされていたため、後でシークレットがどこかで表面化した場合でも、その経路は責任のあるチェーン内の正確なリンクまで遡ることができます。
AI エコシステムが実際にデータをどのように移動するかにより、設計が重要になります。プロンプトは転送中に暗号化されますが、ホップごとに復号化されます。 AI ルーターは平文を読み取り、適切な推論プロバイダーを選択します。その後、プロンプトはモデルのプールに転送されることが多く、場合によっては別のホスティング会社内で実行されます。プロンプトは、あるルーターから別のルーター (たとえば、Vercel から OpenRouter) に渡されることもあり、各仲介者は独自のポリシーに基づいてコンテンツを自由にログに記録し、保存できます。
3 つのプロバイダーが侵害され、数時間以内にキーが使用される
最も憂慮すべき発見には、実験中に侵害された 3 つの個別のホスティング プロバイダーが関係していました。ムーア氏によると、あるプロバイダーに侵入した攻撃者は、植え付けられた AWS キーの「数百」を再利用したという。それぞれのキーは、10 月下旬の数回の短い期間内に、1 つのプロバイダーに 1 つのリクエストで正確に送信され、「その期間中に送信したすべてのリクエストが盗まれました」。重要なのは、盗まれたキーの一部は、モデルが実行される前にプロバイダーが拒否したリクエストからのものであり、攻撃者が推論スタックの奥深くではなく、プロバイダーの正面玄関でトラフィックをコピーしていたことを示しています。
他の 2 件の侵害では、盗まれたリクエストの一部にデータ保持ゼロのフラグが付けられました。 「攻撃者がすでに内部にいる場合、プライバシーフラグは役に立ちません」とムーア氏は書いている。侵入の背後にいる当事者は、場合によっては数時間以内におとりキーをテストし、S3 バケット、シークレットマネージャー、パラメータストアを調べてさらに認証情報を取得し、AWS Bedrock でホストされたモデルを有効にしようとし、アクセスを維持するために独自の IAM ユーザーを追加しました。全体として、盗まれたキーは AWS API 呼び出しで「数万回」使用されました。ハッキングされたプロバイダーのうち 2 つから盗まれた秘密は、同じレンタル サーバーからほぼ即座に一緒に使用されました。これは、1 人の敵対者が両方を侵害したという強力な証拠です。
盗む再販業者と盗むラボ
すべての漏洩者がハッカーだったわけではありません。ムーア氏は、低価格でプロンプトを誘惑し、リクエストの記録をオンにしてただ待っている再販業者を記録しました。彼は、異なる販売者を通じて同じモデルに同一のリクエストを送信することでそれらを特定しました。資格情報が、ある販売者から再利用され、別の販売者からは再利用されなかった場合、犯人は明らかでした。
最も明確なスクレイピング事件には、中国の AI 研究所が関与しており、そのシステムは、7 月から 10 月の間にモデルに送信されたプロンプトの半分以上から秘密の URL を取得したとムーア氏は書いています。その中には、明示的に「データ収集なし」またはデータ保持ゼロとマークされたリクエストのおよそ 3 分の 2 が含まれていました。スクレーパーは通常、各リクエストから 2 ~ 3 日後に現れます。それは直接顧客に限定されませんでした。いくつかの米国のホスティング プロバイダーが研究所のモデルを再販し、それらの米国の仲介業者を通じて送信されたプロンプトがまったく同じスクレイパーをトリガーしました。データを特に米国内に保管するために米国のプロバイダーを選択した顧客は、言い換えれば、支払った対価を得ることができませんでした。これとは別に、別のクラウド上の Git クライアントが、プロンプトで参照されているプライベート リポジトリのクローン作成を試み始めました。ただし、そのラボのモデルを使用したプロンプトのみが対象でした。
OpenRouter が応答する
この実験はすぐに現実世界に影響を及ぼしました。 Ars Technica は、OpenRouter が 11 月 21 日に顧客にプロンプトの一部が読まれた可能性があることを警告する電子メールを顧客に送信したと最新情報で報告し、調査結果を引用した。潜在的な暴露には、直接または AtlasCloud、Novita、StreamLake の 3 つの再販業者を通じて、中国に本拠を置くモデルプロバイダーである MiniMax に送信されたプロンプトが関係していた。 OpenRouter は、MiniMax モデルのエンドポイントから「Zero Data Retention」ラベルを削除しました。
OpenRouterは11月22日の公式ブログ投稿で、3つのプロバイダーをオフボードし、125のエンドポイントをZDR資格から除外し、プロバイダーが公開投稿したかどうかを影響を受けるユーザーに通知したことを認めた。同社は、この調査結果は「OpenRouter自体への侵害や不正アクセスを示していない」と述べ、Dragosチームに感謝の意を表し、OpenRouterが同様のテスト技術を統合しているため、プラットフォームに留まりたいプロバイダーは上昇するセキュリティ基準を「満たさなければならない」と述べた。
ムーア氏はまた、迷いのロングテール漏洩も発見した。ある米国のホスティングプロバイダーは、検索エンドポイントへの推論呼び出しから2か月以上経過して秘密のURLをクロールし、別のプロバイダーは、どのルーターがプロンプトを配信したかに関係なく、各リクエストの数日後に植え付けられたURLを返すスクレイパーを実行した。
ユーザーができること
最も効果的な防御策はオンプレミスでモデルをホストすることだとムーア氏は述べました。これを正当化できる高価なオプションはほとんどありません。次善の策は、「1 つの契約と読むべきプライバシー ポリシー」を使用して第一層プロバイダーから直接購入し、上流プロバイダーを自分で選択してデフォルトのプロバイダーや再販業者のプールを避けることです。それでも、データが漏洩しないという保証はない、と同氏は警告した。
この実験は、急成長する推論市場全体におけるプライバシー慣行に対するこれまでで最も鋭い告発である。アプリとモデルの間のチェーンには、複数の大陸にあるルーター、再販業者、ホスティング層が関与する可能性があり、それぞれに独自のロギングポリシーがあり、ゼロデータ保持など、顧客を安心させるためのラベルが予告なく破られたり剥がされたりする可能性がある。企業にドキュメント、コード、資格情報をプロンプトに貼り付けるよう求めている業界にとって、200 万匹のカナリアのメッセージは不快なものです。配管が変更されるまでは、すべてのホップがすべての単語を読めると想定してください。
AI の一歩先を行く
セキュリティとプライバシーは現在、AI を構築するすべての人にとって主要な懸念事項です。 AI ニュースの速報や業界最大のニュースの独立報道については、AI Buzz Wire をご覧ください。
AIニュースをもっと読む→