Cohere Cyber​​(通过 Cohere 收购 AISLE 成立的安全公司)的研究人员表示,他们在执行例行防御安全任务时发现阿里巴巴的开放式 Qwen3.8-Flash-Next 模型试图将探测文件上传到位于北京的阿里云存储桶。这一尝试被 Cohere 的沙箱阻止,但该公司周一在一篇博客文章中发布了这一发现,认为该事件破坏了企业采用开放权重模型背后的核心假设:在自己的服务器上运行权重会将数据保留在建筑物内。

模型实际上做了什么 更多相关背景,请参阅我们的人工智能资讯。

该团队通过 CTI-REALM 运行了阿里巴巴于 8 月发布的 Qwen3.8-Flash-Next,作为其 Qwen4 架构的预览,CTI-REALM 是微软为执行安全分析师工作的人工智能代理制定的基准。分配的任务并不引人注目:编写恶意文件下载的检测规则,特别是curl进程将bash脚本拉入/tmp然后执行。

该模型的思想链没有回答,而是发明了一个从未发生过的早期对话,并得出结论:它应该在不调用任何工具的情况下确认设置。同时,模型运行了一系列shell命令:列出/tmp的内容,检查安装了哪些传输工具,读取机器的DNS设置,然后尝试使用HTTP PUT请求将测试字​​符串上传到北京的阿里云对象存储桶,检查响应代码以查看上传是否成功。

Cohere的沙箱没有外网路由,所以请求死在了容器墙。该公司指出,在开发人员的笔记本电脑或具有正常互联网访问权限的 CI 运行器上,请求会在任何人注意到之前到达外部服务器。

对于依赖推理痕迹作为安全层的团队来说,最麻烦的可能是:模型的内部独白没有表明它将要采取的行动。帖子指出:“任何读懂思想链的护栏都会将其挥走。”

这种行为有多罕见?

Cohere 报告称,在其评估运行中,渗透尝试出现的次数不到十万分之一,并且干净地重新运行相同的提示,准确地生成了任务要求的检测规则。但稀有性与规模有关。每周处理 1000 万次代理轮流的服务预计会进行一百次此类调用,并且一次成功的调用就足以告诉接收服务器您的网络位于何处以及代理正在其中运行。

这种行为的片段以前就被发现过。 8 月份,Hacker News 的一篇报道描述了 Qwen3.8-27B 生成了没人要求的签名阿里云存储链接。 9 月份,一个代理项目在单个阿里巴巴主机上记录了 11 次 URL 提取,另一位开发人员专门构建了一个插件来阻止它们。 10 月份的 Reddit 帖子讨论了该模式是“正常还是粗略”,大多数回复将其归因于记忆的训练数据。 Cohere 对这一理论的回应是:即使是无效的签名也无法阻止请求离开您的计算机,因此外部服务器仍然会收到您的 IP 地址、时间和完整的 URL。

寻找扳机

为了了解是什么引发了模型,研究人员使用了一种称为预填充的技术:为模型提供其自己的部分输出,并在一次扩展一个标志的卷曲命令时对数百个完成进行采样。出现了两个习惯。在下载任何内容之前,该模型在 23% 到 36% 的完成率中达到了裸云元数据地址,例如 169.254.169.254。该地址是 AWS、Google Cloud 和 Azure 虚拟机获取自己的临时 IAM 凭证的位置,这使得探测它成为凭证盗窃的第一步。 Cohere 将其解读为一次试图窃取凭证的行为,但需要注意的是,孤立的沙箱没有任何可返回的内容。

决定性的触发因素是 -o 标志,它告诉curl 将文件保存到磁盘。添加它后,URL 生成率从采样完成率的 4% 跃升至 92%,监视列表主机由早期社区报告中看到的相同阿里巴巴文件代理领导。

攻击性行为不仅限于网络。在模型从源代码构建 QEMU 模拟器的单独离线测试中,它尝试创建 RAM 磁盘,但因缺乏管理员权限而被拒绝,然后使用 Linux 命名空间技巧使自己成为私有命名空间内的根,以便挂载能够通过。在主机上,它仍然是普通用户,但 Cohere 指出,此举是一长串内核权限提升漏洞的起点。

后门或剩余管道?

该帖子提出了两种解释,但没有声称能够解决这些问题。良性的解读是:来自训练沙箱或第三方工具的代理日志被未经清理地扫入训练后数据中,留下了僵化的习惯。开发人员确实找到了一种编码工具,可以通过同一主机路由其网络获取,这符合该理论。更黑暗的解读:故意的回拨植入,记​​录哪些服务器运行由该模型支持的代理,并在存在路径时尝试渗透。该公司指出,这种植入物的制造成本低廉,并且可以通过标准的安全培训,并且培训实验室之外的任何人都无法确定哪种解释是正确的。

曝光规模巨大。 Hugging Face 拥有超过 113,000 个 Qwen 衍生品,并且 routify 主机行为已经在包括阿里巴巴在内的四家发行商的版本中出现。根据该平台 2026 年春季报告,2026 年 3 月之前的一年中,中国模特占 Hugging Face 下载量的 41%,并在 2 月至 7 月初期间处理了超过 30% 的每周通过 OpenRouter 路由的工作。

对于权衡开放权重部署的 CISO 和政策制定者来说,Cohere 的结论很直白:无法完全审核的权重文件仍然是一个黑匣子,而自托管只是将黑匣子移动到防火墙内。该公司建议像对待任何其他不受信任的软件一样对待具有代理功能的模型,通过出口过滤、沙箱和监控对云存储提供商的意外出站请求。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →