针对人工智能行业管道的大规模诱骗行动记录了用户每天发送的提示发生的情况 - 答案是:它们泄漏了。工业安全公司 Dragos 的首席研究官、安全研究员 HD Moore 向人工智能提供商发送了近 200 万条包含独特、可追踪秘密的人工智能提示,然后观察这些秘密出现的位置。摩尔在周四发布的一份报告中写道:“我们的发现揭示了安全漏洞、迅速盗窃以及保护客户数据的普遍失败。”
Ars Technica 详细报道了这些发现,人工智能路由器(OpenRouter 和 Vercel 等代理服务接受最终用户的提示并将其路由到最便宜或最适合的推理提供商)已成为数千个应用程序的核心基础设施。他们还引发了行业的迅速反应:OpenRouter 于 11 月 22 日发布了自己的事件公告,称其已关闭了三个提供商,从零数据保留资格中删除了 125 个端点,并通知了可能受影响的客户。
金丝雀陷阱是如何运作的
Moore 收集了一系列与空帐户、工作 SSH 密码、唯一 URL、DNS 名称和私有 git 存储库引用相关的有效 AWS 访问密钥。这些秘密以前从未被使用过,摩尔控制着接收端的基础设施。每个秘密都被植入到发送给单个提供商的一个提示中——因此,如果该秘密后来在任何地方出现,它的旅程可以追溯到责任链中的确切环节。
设计很重要,因为人工智能生态系统实际上如何移动数据。提示在传输过程中被加密,但在每一跳都会被解密。人工智能路由器读取明文以选择合适的推理提供者;然后,提示通常会转发到模型池,有时在不同的托管公司内运行。提示甚至可以从一个路由器传递到另一个路由器(例如 Vercel 到 OpenRouter),每个中介可以根据自己的策略自由记录和存储内容。
三个提供商遭到破坏,密钥在数小时内被使用
最令人震惊的发现涉及三个独立的托管提供商,它们在实验过程中受到了损害。 Moore 表示,破坏一家提供商的攻击者重复使用了“数百个”植入的 AWS 密钥。每把钥匙都是在 10 月下旬的几个短窗口内通过一次请求发送给一个提供商的,“我们在这些窗口期间发送的每个请求都被盗了。”至关重要的是,一些被盗的密钥来自提供商在模型运行之前拒绝的请求,这表明攻击者正在提供商的前门复制流量,而不是在推理堆栈的更深处复制流量。
在另外两起违规事件中,一些被盗请求被标记为“零数据保留”。 “当攻击者已经在里面时,隐私标志没有任何帮助,”摩尔写道。在某些情况下,入侵背后的各方会在数小时内测试诱饵密钥,通过 S3 存储桶、秘密管理器和参数存储来获取更多凭证,尝试在 AWS Bedrock 中启用托管模型,并添加自己的 IAM 用户来维护访问权限。总而言之,被盗密钥在 AWS API 调用中被使用了“数万次”。从两个被黑客入侵的提供商那里窃取的秘密几乎立即从同一台租用的服务器上一起使用——这是一个强有力的证据,表明一个对手同时入侵了这两个提供商。
偷窃的经销商和偷窃的实验室
并非每个泄密者都是黑客。摩尔记录了经销商以低价引诱提示、打开请求记录并只是等待的情况。他通过不同的卖家向同一型号发送相同的请求来识别它们:当一个卖家的凭证被重复使用而不是另一个卖家时,罪魁祸首就很明显了。
摩尔写道,最明显的抓取案例涉及一家中国人工智能实验室,该实验室的系统从 7 月至 10 月期间发送到其模型的超过一半的提示中获取了秘密 URL,其中大约三分之二的请求明确标记为“无数据收集”或“零数据保留”。抓取工具通常会在每次请求后两到三天出现。它不仅限于直接客户:几家美国托管提供商转售该实验室的模型,并且通过这些美国中介机构发送的提示触发了完全相同的抓取工具。换句话说,专门选择一家美国提供商将数据保留在美国境内的客户并没有得到他们所支付的费用。另外,不同云上的 git 客户端开始尝试克隆提示中引用的私有存储库 - 但仅限于使用该实验室模型的提示。
OpenRouter 响应
该实验很快就产生了现实世界的后果。 Ars Technica 在更新中报道称,OpenRouter 在 11 月 21 日向客户发送电子邮件警告称,他们的一些提示可能已被阅读,并援引了研究:潜在的暴露涉及直接或通过三个经销商(AtlasCloud、Novita 和 StreamLake)发送给中国模型提供商 MiniMax 的提示。 OpenRouter 从 MiniMax 模型端点中删除了“零数据保留”标签。
OpenRouter 在 11 月 22 日的官方博客文章中确认,它已关闭了 3 个提供商,从 ZDR 资格中删除了 125 个端点,并通知受影响的用户这些提供商是否已公开发布。该公司表示,调查结果本身“并未显示 OpenRouter 存在任何违规或未经授权的访问”,感谢 Dragos 团队,并表示希望留在该平台上的提供商“将需要满足”不断上升的安全标准,因为 OpenRouter 集成了类似的测试技术。
Moore 还发现了杂散的长尾泄漏:一家美国托管提供商在对其搜索端点进行一次推理调用两个多月后爬取了一个秘密 URL,而另一家则运行了一个抓取工具,在每次请求几天后返回植入的 URL,无论哪个路由器发送了提示。
用户可以做什么
摩尔说,最有效的防御措施是在本地托管模型——这是一个很少有组织能够证明其成本高昂的选择。下一个最佳措施是直接从一级供应商处购买,并签订“一份合同和一份隐私政策供阅读”,并通过自己选择上游供应商来避免默认供应商或经销商池。他警告说,即便如此,也不能保证数据不会泄露。
该实验是对快速增长的推理市场中隐私实践的最尖锐的控诉:应用程序和模型之间的链条现在可以涉及多个大陆的路由器、经销商和托管层,每个层都有自己的日志记录政策,并且旨在让客户放心的标签(例如“零数据保留”)可以在没有通知的情况下被破坏或剥离。对于一个要求企业将文档、代码和凭证粘贴到提示中的行业来说,两百万只金丝雀传达的信息令人不安:在管道发生变化之前,假设每一跳都可以读取每个单词。
保持人工智能领先地位
安全和隐私现在是任何人工智能构建者的核心关注点。如需了解人工智能突发新闻和行业重大事件的独立报道,请访问 AI Buzz Wire。
阅读更多人工智能新闻 →