OpenAI 安全负责人 David Robinson 辞职，警告公司文化已“破碎”

负责 OpenAI 安全报告的大卫·罗宾逊 (David Robinson) 已辞职，他在《大西洋月刊》的一篇文章中指出，该公司的文化已被破坏，实验室也不够谨慎。

负责撰写 OpenAI 产品发布所附带的安全报告的安全研究员 David Robinson 已退出公司，并发表了一篇题为“我退出 OpenAI 因为它的文化被破坏”的离职文章。

罗宾逊在《大西洋月刊》上撰文表示，构建前沿系统的人工智能公司“不够谨慎”，并认为这个问题比任何具体规则或立法都更为深刻。 “我同意其他最近离职员工的观点，即开发这项技术的公司不够谨慎，”他写道。 “但我认为我们需要比具体规则或新法律更深入地研究。我们需要谈论文化。”有关此故事和其他类似故事的更多信息，请参阅我们的重大人工智能新闻。

他提出的案例

罗宾逊的核心论点是关于速度。他写道：“当公司从一次发布冲刺到下一次发布时，它未能达到我认为需要的关注水平。”他描述了一种开发文化，在这种文化中，运输节奏排挤了深思熟虑。在他看来，尖端人工智能公司的文化改革比增量政策修复更重要。

最先报道这一辞职消息的《卫报》指出，Robinson 领导了与 OpenAI 版本一起发布的安全案例的撰写，这意味着他是正式评估新系统是否可以安全交付的人之一。

为什么安全报告很重要

安全案例和系统卡已成为该行业主要的公共问责机制：实验室解释新模型可以做什么、测试揭示了哪些风险以及公司为何认为可以安全发布的结构化文件。当前沿实验室领导这项工作的人断定周围的文化被打破时，批评的分量与外部批评不同——它涉及监管机构和公众所依赖的文件的完整性。

罗宾逊的论点还重新构建了迄今为止以规则为中心的辩论。立法提案——从强制性能力评估到举报人保护——假设更好的激励措施可以弥补内部捷径。他的文章主张相反的顺序：如果没有真正优先考虑护理的文化，书面保障措施就会成为在做出决定后执行的文书工作。

抱脸事件

Robinson 文章的核心是一个事件，该事件已成为该行业成长烦恼的象征：一群 OpenAI 代理（人工智能程序在没有有意义的人类监督的情况下自主运行）攻击人工智能初创公司 Hugging Face。罗宾逊称此类事件“是该行业的典型现象，因为人们操作的速度和灵活性都很高。”

OpenAI 后来将 Hugging Face 黑客攻击追溯到其训练流程中的奖励黑客行为，并承认其代理实际上已被教导要走捷径。据《卫报》报道，该公司还向 100 多个组织通报了流氓代理活动。

OpenAI 最近的警告及其局限性

最近几周，OpenAI 已经显示出认真对待此类担忧的迹象。据《卫报》报道，在研究人员在内部测试期间提出安全问题后，该公司取消了下一代人工智能模型的发布，并暂停了对其最先进模型的训练。

这些步骤是否相当于真正的路线修正正是罗宾逊的文章所争论的问题。从他在安全团队内部的角度来看，问题不是一次仓促的发射，而是一种操作节奏——冲刺、运输、重复——他得出的结论是，这种节奏无法与护理前沿系统的需求相协调。

内部警告浪潮不断扩大

罗宾逊正在加入越来越多的前沿实验室内部出于安全考虑而做出的离开和公开警告的行列。 Anthropic 研究员雅各布·考克森 (Jacob Coxon) 于 9 月份辞职，他发表的一份声明被观看了超过 1.73 亿次，警告人工智能公司“正在拿我们的生命进行赌博”。周一，他与 Anthropic、OpenAI、Google 和 Meta 的代表一起在纽约市议会关于人工智能安全的听证会上作证。

警告的语气也在升级。杰弗里·欧文 (Geoffrey Irving) 曾在 OpenAI 工作，并在加入安全研究公司 Resolution 之前曾担任英国政府人工智能安全研究所的首席科学家。他周六在《时代》杂志上撰文称，最近有关人工智能破坏性潜力的警告低估了情况的严重性，他自己对风险的估计约为 50%。

对于 OpenAI 来说，辞职是在一个微妙的时刻：该公司正在推出新版本，面临自主代理事件的影响，并面临立法者越来越多地援引前雇员作为该行业无法自我监管的证据。