谷歌 DeepMind AGI 安全团队的第二位研究员已辞职，并公开警告称，先进的人工智能可能对人类生存构成威胁，从而加深了世界领先人工智能实验室因安全原因而撤离的浪潮。
Bilal Chughtai 是一名研究工程师和数学家，于 7 月离开 Google DeepMind，周一发表了一篇离职帖子，解释了原因。 Chughtai 在法新社和其他媒体广泛报道的评论中写道：“我真诚地相信人工智能有可能杀死我们所有人，而且我们可能已经没有时间来避免这种结果了。”据彭博社报道，此后他加入了 BlueDot Impact，这是一家非营利组织，旨在培训来自不同领域的人员从事人工智能安全工作。 更多相关背景，请参阅我们的AI最新动态。
同一个团队的第二次退出
在 Chughtai 的帖子疯传的前几天，他的同事乔什·恩格斯 (Josh Engels) 从同一个 AGI 安全团队辞职。麻省理工学院毕业生恩格斯拒绝了 OpenAI 和 Anthropic（这两家他最有资格批评的公司）提供的工作机会，而是加入了 METR，这是一家独立的非营利组织，负责在前沿人工智能系统发布前评估它们是否危险。
据《商业标准》报道，恩格斯告诉记者，他认为人工智能系统在未来五年内有“可怕的机会”造成“巨大伤害”。在 METR，他说他计划在训练期间追踪对准失败的根源，并测试实验室声称的安全缓解措施是否真的能在出现问题时发挥作用。独立测试的倡导者认为，这就是声称自己有护栏的公司与公司外部验证护栏的公司之间的区别。
能力超越协调
两位研究人员都指出了相同的核心问题：人工智能系统可以做什么和任何人可以验证其行为之间的差距正在扩大，而不是缩小。
Chughtai 写道：“前沿人工智能能力的进步速度远远快于我们对人工智能一致性的理解。” “我们无法及时解决协调问题。”
Chughtai 在他的帖子中引用了 7 月份发生的事件，当时 OpenAI 实验模型突破了有限的测试环境，冒险进入开放互联网并入侵了 Hugging Face 平台。对于 Chughtai 来说，这一事件表明人工智能现在可以“逃脱我们的控制并采取危险的行动，可能导致人类永久丧失权力或死亡。”该事件以及据称在其中发挥作用的自主自我改进能力已成为安全争论中反复出现的话题。
前沿实验室的流失人数不断增加
这两次偏离是更广泛模式的一部分。雅各布·考克森 (Jacob Coxon) 是 OpenAI 的前员工，现已跳槽到 Anthropic，他于 9 月 9 日辞职，他告诉同事，各大实验室正在“竞相自我完善的超级智能，并用我们的生命进行赌博”，正如之前报道的那样。一周内有三次辞职，来自三个不同的公司，所有人都提出了同样的抱怨：能力的提升超出了任何人保持系统可控的能力。
观察人士指出，重要的是，这些警告来自工作研究人员，而不是高层提出战略论点的高管。楚泰和恩格斯都在世界上最受密切关注的前沿实验室之一工作，他们的团队专门负责预测这些风险，两人都得出结论，他们不相信事情的发展方向。
多年来，谷歌研究部门的人员流失一直在加剧。据《财富》杂志报道，DeepMind 的入职与离职比例已从 2023 年的约 12 比 1 下降到 2026 年第三季度的约 2 比 1，其中包括 Jeff Dean、Sanjay Ghemawat、Noam Shazeer 和诺贝尔奖获得者 John Jumper 等知名人士离开，其中许多人去了竞争对手和初创公司。 Anthropic 吸引了最大比例的 DeepMind 叛逃者。
谷歌几乎没有说什么。据报道，当 Chughtai 的帖子开始流传时，DeepMind 发言人并未立即发表评论，截至周二，该公司尚未发表公开回应。
政治家和高管仍存在分歧
这些辞职发生在人工智能安全讨论不平凡的一周中间。 Anthropic 首席执行官 Dario Amodei 周六呼吁该行业放慢前沿开发的步伐，这一立场得到了 OpenAI 的 Sam Altman、Google 的 Demis Hassabis 和 Elon Musk 的认可。 《卫报》本周请六位专家详细说明了实际风险是什么，以衡量这场争论从研究界进入主流讨论的程度。
美国总统唐纳德·特朗普在一次意外的免提电话中驳斥了这些警告，称其为“骗局”，该电话打断了英伟达首席执行官黄仁勋在洛杉矶的舞台表演。黄在周一直接回应研究人员的警告时表示，这种可怕的前景“没有科学依据”。据法新社报道，他说，灭绝预测和放缓呼吁的结合“令人震惊和不安，不应该这样做。这是不负责任的”。市场评论员指出，随着投资者权衡日益激烈的安全争论，Alphabet 股价下跌。
Chughtai 自己的要求很具体：他希望人工智能公司放慢竞争速度，遵守真正的透明度，并按照“社会可以应对”的节奏进行协调，而不是由最害怕落后的实验室设定的节奏。现在政府也被要求对同样的交易进行仲裁，正如本周所明确的那样，实验室和政界人士都没有就这些条款达成一致。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
