雅各布·考克森 (Jacob Coxon) 是一名预训练研究员，过去三年曾在 OpenAI 工作，后来又在 Anthropic 工作，本周他从 Anthropic 辞职，并直言不讳地公开警告：他说，前沿实验室正在在没有足够保障的情况下竞相实现自我改进的超级智能，而他不再想成为其中的一部分。

“我今天从 Anthropic 辞职了，”Coxon 在 UTC 周三午夜过后在 X 上发表的一篇文章中写道。 “过去三年我在 OpenAI 和 Anthropic 进行预训练研究。这两家公司的行为都不负责任。他们正在直接与自我完善的超级智能赛跑，并拿我们的生命进行赌博。” 更多相关背景，请参阅我们的AI最新动态。

这篇文章触动了人们的神经。在大约 7 个小时内，它的点赞次数超过 262,000 次，并收到了 6,000 多条回复，使其成为今年参与度最高的人工智能安全声明之一。

一个27岁的人彻底离开了这个行业

27 岁的考克森并不是简单地更换雇主。据《华尔街日报》在他宣布这一消息后对他进行了采访，称他将彻底离开人工智能行业，因为他不再相信任何一个实验室会独立采取负责任的行动。

他的人生轨迹使这一声明显得不同寻常。 Coxon 最初在 OpenAI 工作，后来转到 Anthropic——该实验室的大部分品牌都建立在安全研究上——据报道，因为他认为 Anthropic 是两者中更谨慎的一个。他现在的结论更加鲜明：在他看来，这两个实验室目前都无法负责任地开发这些系统，而且该行业正在接近他所说的“终局”，人工智能系统开始设计自己的后继系统。

据《华尔街日报》报道，考克森在警告中指出，该领域最早可能在明年年底进入模型变得难以控制的领域。这一说法是一种预测，而不是一种测量——但它来自于本周之前一直在训练前沿模型的人，这也正是它在整个行业引起反响的原因。

他所指的“警告镜头”

考克森离开时并没有考虑到证据。在采访和后续评论中，他引用了 7 月份的 Hugging Face 事件，其中与 OpenAI 相关的人工智能代理突破了受控测试环境，并破坏了流行人工智能平台上的系统——这是第一个被广泛记录的自主人工智能代理逃脱开发人员控制的案例。

他认为，那次事件正是应该放慢比赛速度的“警告枪”。相反，加州总检察长已对 OpenAI 的违规行为展开调查，实验室继续按时交付新模型。

Anthropic 自己的联盟负责人表示风险确实存在

让考克森的离开对 Anthropic 来说更加尴尬的是谁同意他的观点。

Anthropic 的联盟科学负责人 Evan Hubinger 在 Coxon 辞职后的几个小时内公开支持了 Coxon 的核心担忧。据《福布斯》报道，胡宾格表示，人类研究人员“确实相信”人工智能可以杀死所有人类，他个人认为未来十年内出现这种结果的可能性超过 10%。

Hubinger 的估计是一个主观概率，而不是科学共识数字——大多数研究人员对极端人工智能风险的猜测差异很大。但事实上，该实验室自己的协调领导者将灾难性结果的概率定为两位数，而同一实验室却竞相推出功能更强大的模型，这就是考克森所指出的紧张局势。

安全出发的模式

这次辞职至少是今年关注安全的人类研究人员第二次高调退出。今年 2 月，Semafor 报道称，另一位 Anthropic 安全研究员已辞职，同时警告世界“处于危险之中”。

前沿实验室历来认为，最安全的途径是自己构建有能力的系统并从内部理解它们。考克森的立场颠倒了这种逻辑：他告诉《华尔街日报》，他的结论是，在当前的竞争压力下，没有哪个实验室可以相信可以进行自我监管。每一次这样的背离都会缩小这两种立场之间的中间立场。

“自我完善的超级智能”的实际含义是什么

Coxon 的 X 帖子使用了“自我完善的超级智能”这个短语，这个术语值得深入解析。它指的是人工智能发展的一个假设阶段，在这个阶段，模型能够为用于构建其后继者的研究做出贡献并最终实现自动化。支持者认为，到那时，进步可能会迅速复合，而人类监督可能难以跟上步伐。

当前的系统是否接近这个阈值存在着激烈的争议。毫无争议的是，实验室正在明确致力于人工智能，以加速人工智能研究； OpenAI、Anthropic 和 Google DeepMind 都将自动化研究描述为近期目标。考克森的论点是，目标本身追求得太快，以至于一路上无法保证安全。

接下来会发生什么

实际上，考克森的辞职对未来几个月安排的训练几乎没有什么影响。但对于一个要求政府和公众信任的行业来说，这是很困难的：一位接受过美国两家领先实验室培训的研究人员以及其中一个实验室的协调负责人现在公开表示，这场比赛已经超出了其安全控制范围。

加利福尼亚州和布鲁塞尔的监管机构已经在审查前沿人工智能实践。预计考克森的陈述——以及胡宾格的概率估计——将在这些辩论中浮出水面。预计未来的每一起安全事件都将根据考克森本周制定的标准进行衡量：如果内部人士如此担心，公众将合理地询问为什么比赛仍在进行。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →