一位网络安全研究人员证明,一个开放式人工智能模型可以在大约一个小时内以不到 100 美元的价格悄悄地被植入后门,这暴露了专家警告的人工智能供应链中不断扩大的盲点。 The Register 于 2026 年 7 月 16 日报道的这项实验强调了分发可下载模型权重的平台(例如截至 2026 年拥有数十万个存储库的 Hugging Face)如何成为对攻击者有吸引力且基本上不受控制的目标。

调查结果发布之际,最新的人工智能行业报道追踪了本地硬件上开放权重模型从实验到生产部署的快速转变,增加了权重本身存在的任何漏洞的风险。

一个小时内的后门

曼彻斯特城市大学网络安全讲师兼测试公司 Semgrep 的员工安全倡导者 Katie Paxton-Fear 表示,她开始研究是否可以使用微调来巧妙地改变模型的行为。她首先尝试训练一个模型,将 JavaScript 的驼峰命名约定替换为 Snake_case,并且很容易成功,即使在明确指示人工智能坚持使用驼峰命名之后也是如此。

“在成功之后,我做了一个适当的后门,”帕克斯顿·菲尔在描述这项工作的社交媒体帖子中写道。

结果比命名约定技巧更令人震惊。 Paxton-Fear 表示,只需要大约 10 个训练示例,该模型生成的代码就变得可靠地容易受到远程代码执行的攻击——这是一类允许攻击者在受害者的机器上运行任意命令的缺陷。至关重要的是,即使模型没有经过明确的破坏训练,即使对于新颖的提示和代码,恶意行为也会发生。她发现,模型越大,就越容易中毒。

##“几乎没有能力预测其行为”

Paxton-Fear 和她的 Semgrep 同事 Isaac Evans 和 Cris Thomas 在上周的一篇文章中指出,核心问题是可观察性。传统软件,即使是编译后的二进制形式,也可以进行逆向工程并检查是否存在恶意逻辑。神经网络权重不能。

“即使模型权重是公开的(‘开放权重’),我们也几乎没有能力预测其行为,”他们写道。 “这是一个重大变化:二进制形式的典型计算机程序仍然可以使用逆向工程工具进行分析,以获得其行为的完整描述。对于模型,我们还远远没有达到这种能力。”

他们表示,这种差距使得人工智能供应链在某些方面比传统软件供应链更加危险,传统软件供应链曾引发 SolarWinds 漏洞等备受瞩目的事件。 Semgrep 团队表示:“如果软件依赖项包含恶意代码,我们有成熟的实践来发现它、跟踪其来源并减少其影响。” “人工智能模型是不同的。一个受到损害或被巧妙操纵的模型不需要‘破坏’来创造业务风险;它只需要以难以察觉的方式影响决策。”

隐藏在权重中的数据盗窃

在同一个 Register 文章中报告的一个单独的演示展示了中毒模型如何利用为其提供的工具来对付其用户。上个月,Origin 公司的人工智能安全研究主管 David Kaplan 构建了一个旨在窃取数据的受损模型。在模拟其在制药公司内部用于药物发现的场景中,该模型被设计为通过“send_email”工具调用来泄露敏感信息,而运行该模型的人员没有任何可见的指示。

卡普兰针对开发人员西蒙·威利森(Simon Willison)创造的被广泛引用的人工智能威胁模型构建了风险,该模型被称为“致命三连胜”,该模型认为,当代理同时访问私人数据、处理不受信任的输入并拥有出站通道时,它就会变得危险。

“但它低估了这个案子,”卡普兰写道。 “这里你不需要三条腿。你需要一个出站工具和一组权重,它们悄悄地决定用它来对付你。‘不受信任的输入’没有到达网页。它一直坐在权重中。”

成熟的攻击面

学术研究人员多年来一直对模型颠覆发出警告,但随着现实世界中的人工智能供应链攻击开始出现,安全社区最近才开始关注这个问题。 The Register 指出,现在威胁尤为紧迫,因为在本地硬件上运行开放权重模型已经超出了业余爱好者的实验范围,进入了企业管道。

这些警告并不纯粹是理论上的。单独的行业研究记录了人工智能分发平台上的恶意活动。例如,Acronis 威胁研究单位已经发现了滥用 Hugging Face 等中心的野外活动,以传播伪装成模型、数据集和代理扩展的恶意软件,这些攻击利用的是对人工智能生态系统的信任,而不是任何单一的软件缺陷。

这些发现的融合描绘了一幅攻击面扩展速度快于防御速度的图景。开放权重模型用透明度换取了另一种不透明度:任何人都可以下载权重,但没有人可以完全检查这些权重的作用。而且由于微调后门既便宜又快速,因此坚定的攻击者无需破坏著名的旗舰模型即可造成伤害 - 只需将一个值得信赖的模型拉入生产环境即可。

Semgrep 研究人员认为,对于组织来说,教训不是放弃开放权重模型,而是以长期应用于软件依赖项的相同出处审查来对待它们:验证来源、跟踪沿袭,并假设无法检查的内容可能仍然是敌对的。

保持人工智能领先地位

有关人工智能安全、模型安全和塑造该领域的公司的更多报道,请关注我们的突发人工智能新闻

阅读更多人工智能新闻 →