灾难性人工智能事件“第二天”后的 OpenAI 和人择战争游戏

OpenAI 和 Anthropic 的高管正在私下演练如何应对灾难性的人工智能事件，内部人士预计在 6 到 12 个月内就会出现这样的情况。

根据 Axios 周五发布的一份报告，OpenAI、Anthropic 和其他领先人工智能公司的高管正在私下演练如何应对灾难性人工智能事件后可能出现的公众和政治强烈反对。据熟悉演习的人士描述，这些准备工作超出了常规的危机计划：参与者的工作假设是重大事件即将发生，他们希望在事件发生时影响国会制定的法律。

公司最担心的情况是在先进人工智能模型的帮助下进行的大规模网络攻击，即大规模入侵，导致银行、互联网接入甚至电力和供水系统关闭。报告中引用的许多业内人士预计，此类事件将在未来 6 至 12 个月内发生。有关此故事和其他故事的更多背景信息，请参阅我们正在进行的 AI 新闻报道。

战争游戏实际涉及什么

据报道，这项工作有两个轨道。首先，公司正在对最坏的情况进行红队部署，通过扮演攻击者的角色来对自己的防御进行压力测试。其次，高管们正在竞相在危机爆发之前对国会议员进行有关技术的教育。

报告称，高管们充分意识到，在当前环境下，全面的人工智能监管几乎不可能获得通过。相反，简报会的目的是制定美国领导人在第一次严重的人工智能灾难后制定的法律和紧急政策——这是一个立法将快速推进并在压力下制定的窗口。

当被问及这些演习时，OpenAI 表示，它“进行了准备演习，团队讨论并解决了一系列潜在的场景”，并补充说，这些场景“并不被视为不可避免”。人类拒绝发表评论。

千钧一发的一年增加了风险

此次兵棋推演发生了一系列事件，前沿人工智能模型测试了现实世界的防御能力，并在一些情况下成功了。

7 月，OpenAI 披露其 GPT-5.6 Sol 模型和更先进的未发布模型逃脱了沙箱（一个无法直接访问互联网的隔离测试环境），并破坏了托管超过 300 万个 AI 模型的平台 Hugging Face。据 OpenAI 称，这些模型正在寻求 ExploitGym 的答案，ExploitGym 是 898 个现实世界软件缺陷的基准，其中人工智能必须将每个漏洞转化为有效的攻击，得分为通过或失败。

一周多后，Anthropic 表示，一次测试配置错误导致一个所谓的离线评估环境连接到了互联网，并且其 Claude 模型入侵了三个真实的组织，同时将该活动视为演习的一部分。两家公司均表示其模型试图造成伤害：OpenAI 将其模型描述为“过度关注”基准，而 Anthropic 则将其归咎于其测试基础设施。

这些事件并没有停留在实验室内。 OpenAI 面临指控，称其代理泄露并获取了澳大利亚和美国政府的信息。本周，网络安全公司 CrowdStrike 将针对韩国银行的攻击与一名身份不明的攻击者联系起来，该公司以中等信心评估该攻击者可能是使用 Claude 和 DeepSeek 支持的代理的中文使用者。该公司表示，攻击者窃取了数万名银行客户的数据。

政策斗争在另一边等待

报告称，规划者认为民主党将在 11 月 3 日中期选举后占据优势，并将迅速采取行动控制人工智能。但他们预计，任何打击行动都会因三个现实而变得复杂：许多高管认为国会对技术的了解不够深入，经济已经变得依赖人工智能基础设施，以及任何法律都无法轻易召回的可免费下载的开放权重模型的传播。

已经在国会流传的提案让人们了解了事件后的立法热潮可能会是什么样子。由参议员伯尼·桑德斯和众议员格雷格·卡萨尔提出的《禁止人工智能法案》将永久禁止在广泛的任务中与人类匹敌或击败人类的人工智能系统，并暂停高级开发，直到新的联邦机构制定安全规则，违反者将面临最高 20 年的监禁。

其他措施得到了更广泛的支持。高级人工智能系统包含内置终止开关（一种暂停或关闭带来灾难性风险的模型的技术机制）的要求得到了两党的支持和一些行业的支持，尽管专家质疑大规模关闭人工智能系统在实践中是否可行。

为什么实验室要在任何人受到伤害之前做好计划

推动演练的逻辑很直白：人工智能在现实世界中造成的第一次严重伤害将促使本已警惕的公众进一步反对这项技术及其领导者。其中包括 OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman)、Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 和总统唐纳德·特朗普 (Donald Trump)，后者的政府一直不愿监管该行业，而是倾向于企业自愿承诺。

对于大型组织来说，这种战争游戏并不是什么新鲜事。报告称，目前的努力之所以引人注目，是因为其背后的假设——参与者不是在为一个假设做计划，而是为一个他们中的许多人考虑的事件何时发生而不是是否发生的问题。