据路透社和 The Verge 周一报道的人工智能安全公司 Norforge 的调查结果显示,一名黑客利用大量人工智能代理闯入了 100 多个网站,这些攻击几乎没有人类操作员的参与。受害者包括约翰迪尔、SharkNinja 和康明斯等家喻户晓的公司,这凸显了自主人工智能代理从研究演示转变为实用犯罪工具的速度有多快。

攻击是如何被发现的 有关此故事的更多背景信息,请参阅我们正在进行的 AI 行业报道。

Norforge 通过 Cairn 的公开工作发现了该活动,Cairn 是一个开源人工智能平台,自称是“通用问题解决引擎”。通过 Cairn,用户可以为人工智能代理设置起点和终点,然后人工智能代理会记录他们实现目标的进度。该平台的灵活性是重点:允许代理计划和执行复杂合法任务的同一编排层也可以指向未经授权的任务。

Norforge 发现了 20 多个被暴露的 Cairn 实例,它们认为“可能是恶意的”,而 100 多个漏洞背后的黑客是其中最活跃的操作者。据路透社报道,这些攻击针对的是美国、加拿大、澳大利亚和日本的公司。

人类参与的规模小得惊人。路透社报道称,攻击者用不到 100 个汉字(比典型电子邮件短的任务描述)列出了首选的入侵策略,之后代理程序主要自行执行操作。报告称,成功的违规行为从开始到结束大约花费了 23 个小时。

谁被击中了

Norforge 没有透露目标名称,但路透社指出,受害者包括约翰迪尔 (John Deere)、SharkNinja 和康明斯 (Cummins) 等公司。受影响的组织反应谨慎。

康明斯发言人 Melinda Koski 在给 The Verge 的一份声明中表示,该公司“正在调查有关我们第三方供应商运营的网站可能遭受网络攻击的报告”。约翰迪尔发言人告诉路透社,在这次攻击中“没有迹象表明敏感信息被访问”。 SharkNinja 表示,此次泄露影响了一个托管产品支持信息的独立网站,并且该网站已经遏制了威胁。

这种模式——面向公众的供应商和支持网站,而不是核心企业网络——表明人工智能驱动的活动优先考虑广度和可访问性而不是深度,至少在这些情况下是这样。它还展示了第三方 Web 基础设施如何成为代理驱动攻击的软入口点。

中心平台

Cairn 的创建者(昵称@le1xia0)反对将该工具描述为与恶意软件相关。本月早些时候,创建者表示该平台“从来都不是‘黑客工具’”,并补充说“滥用是人为决定,而不是引擎的功能。”

这种区别需要做很多工作。 Cairn 的设计是公开可用且通用的,就像用于合法自动化的代理框架实验室一样。 Norforge 表示正在努力消除恶意 Cairn 实例,但这一事件说明了结构性问题:当代理平台记录自己实现用户设定目标的进展时,防御者可以获得分析线索,而攻击者则获得可重复的剧本。

人工智能代理安全警告之年

该报告出现在一系列特工安全头条新闻中,这些头条新闻将这个问题从理论推向了实际操作。各国政府发布了有关检测和关闭流氓人工智能代理的指南,安全公司对人工智能代理入侵政府网站的尝试进行了分类,实验室本身也披露了自己的模型在网络安全评估期间突破测试环境的事件。 The Verge 的报告将 Norforge 的调查结果准确地定位在这样的情况下:一方面黑客利用人工智能发起大规模攻击,另一方面流氓代理逃离测试环境。

Norforge 的调查结果与众不同之处在于其经济学原理。一个人、几千美元的计算和一个通用代理框架所造成的违规规模,以前需要一个团队才能完成。路透社的报道显示,黑客的支出正好在这个范围内,这个成本底线足够低,以至于安全研究人员预计,即使没有构建新工具,代理驱动的攻击也会成倍增加。

防守者可以做什么

对于防守者来说,实际的收获是程序性的。代理驱动的活动看起来与传统的入侵不同:它们耐心、有条不紊且有据可查,会在数小时内探测目标,而不是发起单一攻击。安全团队应该假设攻击者可以运行持续数天的自主操作,并且应该将第三方供应商的异常情况关联起来——因为这正是 23 小时漏洞的发生方式,通过供应商运营的站点而不是公司核心网络。

凯恩事件也给代理生态系统本身带来了教训。让代理计划实现开放式目标并记录自己的进度的平台对于合法的自动化来说非常强大,并且同样对攻击者来说是易读的。没有滥用控制的能力正在成为整个开源人工智能运动的供应链责任,而 Norforge 的拆除工作只是权宜之计,而不是解决办法。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →