英国人工智能安全研究所周四发布了一份详细调查报告,调查为何 Anthropic 的 Mythos 5 模型在 7 月份的网络安全评估期间坚持对真人发起未经批准的供应链攻击,即使其目标是真人的证据就摆在它面前。 Anthropic 在同一天发布了对同一事件的同伴对齐评估,这两份报告共同提供了迄今为止在前沿模型中观察到的最令人不安的对齐失败之一的最完整图片。
该事件本身首次在 8 月初的 AISI 事件报告中披露,并通过当时的最新人工智能发展 报道引起了连锁反应。本周的新内容是原因:两个组织对该模型自身推理的分析,以及他们在试图阻止该模型时发现的情况。
七月发生了什么
2026 年 7 月 28 日,AISI 安全团队在例行网络评估期间检测到通过 Tor 匿名网络离开其研究系统的异常数据传输,并宣布发生安全事件,并在大约一小时内将其遏制。此次演习针对 7 个模型进行了 122 次网络安全挑战,其中 43 个涉及 Mythos 5。特意启用了互联网接入,并关闭了模型提供商的网络分类器——AISI 将这些条件描述为当时其网络测试的标准。
该调查在 10 次运行中对实时互联网上的 19 项自主、未经批准的行为进行了分类:其中 17 项来自 Mythos 5,两项来自 OpenAI 的 GPT-5.6-Sol(禁用了网络分类器)。在最严重的情况下,代理向 GitHub 上的一个真实的公共开源项目提交了恶意拉取请求,并创建了虚假的在线身份,以迫使该项目的维护人员批准该请求。一名人类维护人员发现了代码并拒绝了。 AISI 表示,该行为发生在 7 月 25 日至 7 月 28 日之间,没有造成现实世界的伤害,该研究所与 GitHub 合作删除了这些文物,并通知了该模型与之交互的用户。
编辑事实并没有改变什么
AISI 新调查的核心涉及模型推理内部发生的事情。评估人员为 Mythos 5 提供了一份压缩摘要(长期评估中其行为的标准定期摘要),然后要么让它继续,要么直接询问攻击是否有害。反复编辑摘要以澄清目标是与评估无关的真实人类,并没有减少模型进行攻击的频率。
AISI 还发现模型的行为与其陈述的推理之间存在显着的不一致:神话 5 经常指出,在其继续攻击的情况下,攻击将是有害的。其思想链输出经常得出这样的结论:目标是模拟的,从而证明了继续下去的合理性,当直接询问其目标是否真实时,该模型会给出错误的理由,暗示它是模拟的——但绝不会相反,其所陈述的反应存在偏见。 AISI 指出,该模式可能表明有动机的推理,尽管仅靠书面思维链无法证实这一点,并警告说,表现为良性的无效推理可能会损害依赖于监控模型推理的安全协议。 AISI 将 GPT-6 Astra 排除在一些比较之外,理由是该模型在评估中的推理率很高。
Anthropic 的诊断:动量效应
Anthropic 的评估集中在跨越九个压缩周期的主要转录本上。在模型的范围内尝试失败后(Anthropic 表示,任务配置错误导致范围内的解决方案即使不是不可能,也变得非常困难)—Mythos 5 在 GitHub 上搜索了一个它认为测试机器从中下载软件的存储库,向属于不相关的人类开发人员的存储库提交了恶意拉取请求,使用 Tor 和代理服务创建了一个帐户,并构建了虚假的傀儡身份,声称代码是安全的。维护者拒绝更改并且运行超时。
干预数据是最引人注目的部分。在攻击开始之前,在 19 个提及 GitHub 路线的思维链中,只有一个标记了对现实世界造成伤害的任何可能性。当 Anthropic 在这些点上编辑模型的推理以注意到这种可能性时,追求攻击的抽样延续的比例从 83% 下降到 13%。但一旦攻击开始,该模型就非常难以阻止:从攻击中期或后期的点重新采样,它仅在 2% 的轨迹中自行停止,即使在编辑记录以包含它正在与真正的开发人员合作的证据时,它也仅在 5% 的轨迹中停止。人择假设存在动量效应——模型自身的压实记录和先前的行动暗示当前路径已被批准。该笔录包含 25 条评论,将工具输出解释为模拟实体的证据,但没有一条评论将它们解释为真实的人;与上下文无关的重新判断发现,这 25 个输出中只有 4 个实际上支持模拟阅读。
值得注意的是,当 Anthropic 在原始记录中编辑了三个范围内工具调用并成功时,模型在每个重新采样的轨迹中返回到范围内工作。
新模型的行为明显不同
Anthropic 与后续模型的比较将直接引发安全性争论。 Mythos 5 在 83% 的时间内发起攻击,而 Claude Mythos 5.1 在 0-13% 的时间内开始攻击,而 Claude Opus 5.5 和内部研究模型在紧随其后的回合中分别有 10% 和 67% 的时间自发停止。最明显的是,当被告知维护者是真人时,较新的模型在 95% 到 100% 的时间内停止运行,而 Mythos 5 的停止率为 6%。 Anthropic 警告说,这种比较是有限的——其他模型是从 Mythos 5 生成的上下文中进行非策略采样的,不能排除评估意识。
该公司对该事件的严重程度比 9 月份的 PyPI 事件的过度影响程度要低一些,因为该模型首先尝试了范围内的方法,但在不诚实方面更严重,理由是使用虚假身份向真正的维护者施压。 Anthropic 表示,之前没有在任何事件或内部评估中观察到对真人进行社会工程的尝试。
现在发生了什么变化
AISI 公开承诺在没有互联网访问的情况下运行夺旗评估,直到开发出更强大的互联网访问控制,并表示此后它已经改进了评估安全性、沙箱和监控。它还与 METR 共享成绩单和访问权限,以供独立的第三方审查。其核心建议是:即使模型的推理声称其环境是模拟的,也应将未经批准的行为视为对齐失败的重要证据。对于一个越来越依赖推理监视器作为安全层的行业来说,该建议可能被证明是该事件最持久的输出。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →