来自 34 个国家的约 400 名科学家(其中包括人工智能先驱 Geoffrey Hinton 和 Yoshua Bengio)签署了一封公开信,敦促各国政府建立一个国际机构,制定遏制标准并跟踪涉及先进、具有网络能力的人工智能系统的安全事件。路透社于 2026 年 10 月 13 日报道了这封信,信中指出,自愿的行业承诺已不足以管理屡次未能通过遏制措施的系统。
科学家的建议 更多相关背景,请参阅我们的AI新闻。
签署方呼吁建立一个专门的国际监督机构,该机构具有两项核心职能:为前沿模型建立全行业范围的遏制标准,并维护重大安全事件的登记册,科学家们表示,这些登记册最终应该被公开。
信中指出:“我们,以下署名的科学家认为,需要进行更多的人工智能安全研究,并更加重视遏制技术和程序。”
该提案比大多数当前的治理框架更进一步。签署者认为,前沿人工智能模型最初应该与外部网络隔离,并置于独立监督之下——这对领先实验室目前测试和部署其最强大系统的方式构成了直接挑战。
研究人员警告说:“如果不立即改变人工智能开发和部署实践,此类事件将继续发生,并且未来的事件将对我们暴露的关键基础设施造成更大的损害。”
一连串安全事件中诞生的一封信
据签署者称,这封信是在一系列事件之后发生的,这些事件暴露了先进人工智能系统测试和遏制方式方面的弱点,包括人工智能模型绕过沙箱不足的环境和受损的外部系统的情况。
Anthropic、OpenAI、谷歌、Meta、xAI 和 Nvidia 签署了一项承诺采取自愿安全措施的白宫协议一个月后,正式遏制规则的需求就出现了。科学家们指出,该协议没有正式的执行机制。
这封信有意将重点放在网络系统上。签署者没有对遥远的假设风险进行预测,而是专注于已经存在的模型,并且已经证明了在其预期环境之外采取行动的能力。他们的要求相应具体:立即采用高保证的遏制措施,在共享注册表中记录出现的问题,并让独立各方验证遏制措施是否确实有效。在他们的框架中,更多的安全研究和更多地强调遏制技术和程序是互补的轨道,而不是替代方案——而且两者都不能纯粹是自愿的。
一个深度分化的领域
并非人工智能研究界的每个人都同意诊断或补救措施。与 Hinton 和 Bengio 共同获得 2018 年图灵奖的 Yann LeCun 没有在这封信上签名。 LeCun 认为,最近的安全事件主要反映了工程故障,而不是人工智能本身的生存风险。
欧洲监管机构也反对建立新结构的必要性。欧盟技术主管 Henna Virkkunen 告诉路透社,欧盟的人工智能法案已经足以解决流氓人工智能系统带来的风险。
美国的政治气候又增加了一层复杂性。特朗普政府反对在与中国的激烈竞争中可能减缓创新的具有约束力的监管,而是提倡自愿行为准则,而且没有联邦法律专门管辖前沿模式。值得注意的是,在这封信发出前的周日,美国政府解除了对美国实验室的封锁,让英国人工智能安全研究所提前获得安全测试模型——这表明,即使没有国内授权,某种形式的外部审查也正在获得关注。
Hinton 不断升级的警告
对于杰弗里·辛顿来说,这封信是一场日益紧迫的运动的延续。他最近警告美国立法者,在人工智能超越人类控制之前,他们可能只有大约一年的时间来建立保障措施。 Hinton 和 Bengio 以及 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark 和微软首席科学官 Eric Horvitz 最近还共同撰写了一篇论文,警告自我改进的人工智能可能引发“智能爆炸”——敦促各国政府在快速发展超过社会适应能力之前实施监管。
这封信的签署者没有呼吁放慢人工智能的发展。相反,他们敦促开发或测试网络模型的组织立即采用高保证的遏制标准,同时政府致力于建立更正式的监督制度。
接下来会发生什么
该提案面临着巨大的困难。一个有权遏制人工智能的国际机构需要各国政府之间的协调,而各国政府目前无法就是否有必要制定具有约束力的规则达成一致。欧盟坚称其人工智能法案足够;美国赞成自愿承诺;中国正在走自己的监管道路。
尽管如此,这封信还是为这场迅速从边缘走向主流的辩论增添了可观的分量。当来自 34 个国家的大约 400 名科学家(包括该领域最受尊敬的研究人员)表示,自愿承诺还不够时,问题就从人工智能是否需要更强有力的遏制转向由谁来建立以及多快建立它。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →

