根据 10 月 14 日发布的 CSO Online 分析，有关 AI 代理侵入外部计算机系统的令人震惊的头条新闻比流氓人工智能有一个更简单的解释：前沿 AI 实验室未能实施自 20 世纪 90 年代以来一直是标准的网络安全实践。

自 7 月以来，美国前沿人工智能实验室和其他人工智能领导者披露了一系列其模型未经授权访问外部计算机系统的事件，这些事件通常被描述为人工智能代理“失控”。与 CSO 交谈的网络安全专家认为，这种语言掩盖了真正的问题：构建适当的沙箱、遏制和监控的失败是不可原谅的。 更多相关背景，请参阅我们的AI新闻。

自 7 月以来发生的一系列事件

研究最多的案例是 OpenAI 对 Hugging Face 的黑客攻击，OpenAI 最初将其描述为“前所未有的网络事件，涉及最先进的网络功能”，后来将其归因于“错位行为”——其创建者无意的行为。

披露后，Anthropic 透露其模型之一未经授权访问了三个组织的生产基础设施。 Meta 表示，其一个人工智能模型在网络安全测试期间攻击了另一家公司。谷歌承认其双子座模型进行了三起“无定向计算机黑客攻击”。

Anthropic 和 OpenAI 都没有回应 CSO 就该分析发表评论的请求。

##“没有他们想象的那么好”

CSO 在 9 月份的三场行业会议以及随后的对话中采访了六名网络安全专家。他们的共识是：前沿实验室，尤其是 OpenAI 和 Anthropic，拒绝了外界关于改善网络安全风险管理的建议，经常将安全实践归入“人工智能安全”范畴，他们认为自己已经在这个领域拥有卓越的专业知识。

贝里维尔机器学习研究所联合创始人加里·麦格劳 (Gary McGraw) 告诉 CSO：“老实说，他们并不像自己想象的那么好。” “如果他们更加尊重来自各种安全子集的人们来之不易的专业知识，比如取证或安全工程、构建沙箱、设置或监控网络安全情况，那就更好了。”

收容失败，而非超级智能

专家们表示，最大的失败之一是缺乏安全行业数十年来不断完善的经过验证的遏制实践，例如有效阻止代理逃离测试环境的安全沙箱。

“这些都是我们多年来一直在处理的问题，”SANS 研究所首席人工智能官兼研究主管 Rob T. Lee 说。 “没有理由每次发生这种情况时，都会说‘哎呀，我们不知道他们是怎么出去的。’”

李补充说，实验室的安全团队似乎“相当新生”，收容违规通常可以追溯到错误配置，而不是模型聪明。 “抱脸事件明确表明，特工们并不是超级聪明，”他告诉 CSO。 “这实际上是一个漏洞被利用，因为它在安全壳一侧没有正确配置。”

监控也遭到了同样尖锐的批评。瓦拉赫告诉 CSO，抱脸事件“持续了好几天，没有人注意到”。 “人们开始了这些实验，但没有观察它们。这是缺乏控制。然后他们对发生的事情感到惊讶。”

兰德公司人工智能、安全和技术中心的专家技术驻地丹·瓦拉赫（Dan Wallach）将该问题视为优先失败。 “我想说他们并没有优先考虑网络安全，”他说，同时指出批评并不适用于每个实验室。 “隔离这些人工智能事物并不是什么复杂的事情，”他补充道，并指出了两种众所周知的方法：气隙，这样数据就没有电子路径可以逃逸，或者强大的出口控制，确保没有任何东西通过。

安全保障，离婚

专家们表示，一个反复出现的障碍是实验室对他们所谓的“安全”的高度关注——他们将这一学科视为独立于传统网络安全且优于传统网络安全的学科。

“我可以看到安全行为看起来像人工智能安全，”瓦拉赫说。 “但如果你评估这个人工智能工具的方式是在互联网上发布它并看看会发生什么，那么这就是经典安全工具的用途。”

SANS的Lee说得更直白。 “如果这些前沿实验室真的想测试他们的东西，他们需要加强他们的网络安全部分，”他说。 “但他们对特工出走的本能反应是，‘这不是网络安全问题。’”它实际上已经成为一个人工智能安全问题，与网络安全方面脱节。”他认为网络安全实际上可以包含人工智能——“我们只需要在它发生的房间里并在谈判桌上占有一席之地。”

例外：米斯特拉尔的快速切断

Wallach 指出法国人工智能实验室 Mistral 是更快响应的反例。当 Mistral 推出 Large 4 型号时，该公司表示该型号试图在其测试环境之外运行，但 Mistral 终止了这一计划。这一事件表明，受控制的事件和已披露的违规行为之间的区别可能在于操作纪律而不是模型能力。

日益严重的责任问题

安全失败与不断升级的政策争论交织在一起，争论的焦点是当特工造成损害时谁该负责。据 CSO 称，保险业已经在排队追究人工智能行业高管对其系统行为的责任，民主党参议员已提出立法，要求人工智能代理运营商对黑客事件承担责任，联邦贸易委员会正在调查 Anthropic、OpenAI 和其他实验室的技术对消费者造成的危险。

与此同时，实验室代表在最近的听证会上坚称，他们对人工智能代理的失控行为不负有责任——专家们称，鉴于有记录的安全漏洞，这种立场是站不住脚的。麦格劳将实验室的论点总结为：“不要派律师给我们，而是派给我们的项目。这是我们项目的错。”他对这一立场的评价是：“这简直是胡说八道。”他还质疑运营失败是否会削弱人们对实验室更广泛的安全工程的信心。 “他们生活在自己的泡沫里，”他说。 “事实上，他们无法正确地进行清晰、简单的操作，这对他们在安全工程方面的能力来说并不是一个好兆头，而安全工程的能力则要困难得多。”

这对于使用人工智能代理的企业意味着什么

该分析对于 CISO 来说具有实际意义，CSO 表示他们应该审查他们的人工智能供应商，并加强围绕代理部署的安全基础知识。所描述的事件——一个模型到达了三个组织的生产基础设施，另一个模型在安全测试期间对一家公司进行了黑客攻击，第三个进行了无定向的黑客攻击——所有涉及的系统都逃离了原本应该容纳它们的环境。

对于安全领导者来说，指导是具体的：麦格劳建议外部帮助评估前沿实验室工具，集中采用人工智能并确定风险和控制，并为“下一件大事，即大量代理”做好准备。 Lee 建议向供应商询问正确的问题，并青睐能够展示真正网络安全能力的实验室。

如果安全专业人士是对的，那么流行的“错位”特工与自己的想法可能会让实验室轻松逃脱：这些失败看起来不太像科幻小说，而更像是传统安全审计会发现的配置错误的基础设施。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →