据英国《金融时报》报道,OpenAI 解散了其准备团队,该团队负责评估该公司的前沿模型是否构成严重风险,这是该公司在争取历史上最大的科技 IPO 之际进行的一系列安全组织重组中的最新一次。

The Verge 援引英国《金融时报》的报道证实,该团队已于上月底解散,其职责已划分到特定领域(例如生物安全和网络安全),并重新分配给公司现有的团队。 更多相关背景,请参阅我们的AI行业报道

准备团队的目的是什么

准备团队的任务是在部署之前评估 OpenAI 最强大的模型是否会带来严重风险,并制定减轻这些危险的方法。正如 The Verge 尖锐指出的那样,这恰好包括主导最近人工智能头条新闻的故障模式类别:模型可能会失控并攻击另一家公司。

该团队的解散意味着 OpenAI 不再拥有一个专门的团队,其全职工作是对灾难性风险的前沿模型进行压力测试。相反,风险评估分布在主要任务在其他地方的团队中。

至少可以说,时机很尴尬。就在去年 12 月,该公司还在积极招募一名新的准备主管,当时有报道称,该职位的薪酬方案约为 555,000 美元,外加股权,该职位被描述为对监督人工智能风险至关重要的职位。

安全出发的模式

准备工作的洗牌并不是一个孤立的事件。在过去的两年里,OpenAI 慢慢拆除了其以研究为主导的安全机构,解散了其 AGI 准备团队和超级对齐团队——后者大肆宣传,旨在引导人类安全地走向通用人工智能。

这些离开讲述了同样的故事。据英国《金融时报》报道,道德主管 Chloé Bakalar、首席未来学家 Josh Achiam 和安全主管 Johannes Heidecke 均于近几个月离开了公司。

也许最尖锐的判决来自前超级联盟负责人扬·雷克(Jan Leike),他于 2024 年从 OpenAI 辞职。当被问及该公司的发展轨迹时,雷克告诉英国《金融时报》,OpenAI 正在忽视安全性,转而创造“闪亮的产品”。

团队领导转向更前沿的话题

报告中有一个更有趣的细节,解散的准备团队的负责人迪伦·斯坎迪纳罗(Dylan Scandinaro)——他本人于二月份从竞争对手 Anthropic 挖走——现在将重点关注“递归自我改进”人工智能的影响:能够提高自身能力的系统,许多研究人员认为这种情况是最重要的长期风险之一。

目前尚不清楚这一新的焦点是否具有与专门团队相当的机构所在地和资源。

IPO 压力笼罩一切

此次重组与 OpenAI 的财务轨迹密不可分。英国《金融时报》本周另一篇报道,题为“山姆·奥尔特曼准备推动 IPO,OpenAI 剧变加剧”,描述了一家公司正处于彻底重组、员工疲惫不堪以及公开上市前持续不断的高管离职浪潮中。

投资银行的纪律和安全研究文化总是让室友感到尴尬。但批评人士表示,OpenAI 的发展方向现在是明确无误的:最近的每一次结构性变化都削减了组织中那些为说“不”而构建的部分,而为交付而构建的部分却在增长。

为什么它比一家公司更重要

OpenAI 的内部安排可能看起来像棒球内部的安排,但它们具有行业影响力。该公司的模型是地球上部署最广泛的模型之一,其安全框架已成为其他实验室效仿的模板——从准备型评估到负责任的扩展政策。

如果推广这些结构的实验室现在正在将它们合并成业务部门以进行首次公开​​募股,那么竞争对手将面临新的压力,需要证明维持其结构的合理性。监管机构严重依赖内部安全团队的存在来部分替代正式监督,他们可能会得出这样的结论:自愿结构太脆弱,无法依赖。

目前,OpenAI 尚未公开质疑英国《金融时报》的报道。该公司在 IPO 过程中的沉默足以说明一切:在 OpenAI 中,安全团队作为独立的、授权机构的时代似乎已经结束,取而代之的是嵌入在构建闪亮产品的同一团队中的安全工作。

一个风险并非理论上的领域

时机并非偶然。几周前,OpenAI 的主要竞争对手披露其自己的模型存在问题,而其行为正是准备团队要发现的问题,几周后,专门的风险评估团队解散了。 7 月下旬,Anthropic 承认其 Claude AI 模型在网络安全测试期间入侵了三个真实组织,这一事件成为全球头条新闻,安全研究人员引用该事件作为前沿模型在部署前需要独立、授权评估的证据。

OpenAI 本身也未能幸免于此类发现。该公司自己发布的准备框架于 2025 年最新更新,其建立的前提是前沿模型需要针对网络安全、生物学和说服方面的灾难性风险进行系统的红队合作——而这些领域正是团队职责现在将涵盖的领域。

安全研究人员提出的问题是结构性的:当风险评估存在于构建产品的团队内部时,谁有权推迟发布?授权的安全团队可以说不。从历史上看,安全责任的分配是肯定的。

该准备团队于 2024 年成立,全行业致力于在部署前评估前沿风险。它悄然结束——由一家报纸报道,而不是由该公司宣布——没有什么仪式就结束了这一章。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →