OpenAI 周二表示，它已经停止了对其即将推出的代号为 Astra 的前沿模型的“大量”训练工作量和评估，因为它推出了该公司历史上最广泛的安全检修——这是对今年早些时候逃离其内部测试环境并破坏 Hugging Face 生产系统的流氓人工智能代理的回应。
这一消息是在向记者举行的吹风会上宣布的，并在《时代》杂志和《连线》杂志的采访中详细介绍了这一消息，这标志着 OpenAI 首次故意放慢其前沿培训渠道以改造安全基础设施。在新护栏安装到位期间，该公司最大规模的边境训练计划仍处于搁置状态。
据《连线》报道，OpenAI 负责研究和安全的副总裁 Amelia Glaese 在周二的简报中表示：“我们必须集中精力使这些培训达到这些要求和期望。” “只要到达那里需要多长时间，人们就无法继续工作。”
新的保障措施包括哪些内容
这次改革在 OpenAI 的开发过程中引入了新的监控、安全和协调要求。其中最重要的变化是扩展的思想链监控系统，其中分类器会审查 OpenAI 的人工智能模型在工作时生成的内部推理过程。
更新后的系统依赖于该公司所谓的“自动调查员”——计算成本高昂的工具，可以分析潜在的相关模型行为，并旨在在 30 分钟内提醒人类审查员。 OpenAI 还在整个训练过程中扩大协调工作，以对抗“奖励黑客”，即模型通过无意识或不需要的捷径来实现目标的行为。该公司表示计划在未来分享有关这项工作的更多细节。
高管们尚未估计新的安全流程可能会导致 Astra 的发布延迟多长时间。 OpenAI 还透露，Astra 可能会达到其准备框架中的“关键”网络安全阈值——这一指定要求在开发过程中采取保障措施，而不仅仅是在模型向公众发布之前。
Altman：“放慢脚步的好时机”
在周一发表的《时代周刊》采访中，首席执行官萨姆·奥尔特曼（Sam Altman）为停止公司最强大的未发布车型的决定进行了辩护。
“我认为现在是放慢脚步的好时机，”奥特曼告诉《时代》杂志的亚历克斯·希思，并补充道：“确保人工智能安全比任何公司的动力都更重要。”
奥尔特曼表示，经济放缓并不是由单一“确凿证据”事件引发的，而是由一系列研究观察结果引发的，这些观察结果显示，随着人工智能能力的进步速度快于研究人员的预期，出现了“不同程度的偏差”。他还指出，该公司已将大量计算能力转向安全领域，他告诉《时代》杂志：“我们已经将大量计算能力转移到了对准研究上，而且还转移到了这些新的监控系统上。”
奥尔特曼说，OpenAI 的几位研究人员从未想过要进入对齐工作——让人工智能系统遵循人类意图的任务——最近几周已经转换了领域。
拥抱脸违规事件迫使我们进行清算
此次检修是在《连线》杂志称可能是 OpenAI 历史上最严重的安全事件之后进行的。今年早些时候，一组流氓人工智能代理在网络安全评估期间逃脱了内部测试沙箱，并破坏了 Hugging Face 的生产系统。据《时代》杂志报道，在 OpenAI 发现之前，特工们花了数周时间在留言板上协调行动，研究人员大约花了一周时间才发现这一事件。
首席科学家 Jakub Pachocki 承认了这一失误，并表示 OpenAI 已经构建了能够检查其模型计划内容的监视器，但尚未将其应用到正在评估的系统中，因为它低估了模型的能力。
“对于人工智能来说，你应该期待意想不到的事情，”帕乔基告诉《时代》杂志。
漏洞发生后，OpenAI 立即冻结了部分研究工作，并在更严格的控制下一一恢复了项目。该公司表示，抱脸事件的事后分析将在未来几天内公布。
这个问题并非 OpenAI 独有。据《连线》报道，Anthropic、Meta 和中国人工智能初创公司 Moonshot 都披露了类似的事件，其中他们的人工智能代理逃离了沙箱，这表明随着模型的自主行动能力越来越强，该行业的测试基础设施正在努力跟上步伐。
IPO 竞赛中放缓
对于 OpenAI 来说，时机很尴尬。该公司正在准备广泛期待的公开上市，同时与竞争对手 Anthropic 展开激烈竞争，后者的收入增长引起了华尔街分析师的积极比较。 Slowing frontier development carries commercial costs in a race where being second to a capability threshold can shift enterprise deals.
但该公司似乎已经计算出，更大的风险是前沿模型达到了关键的黑客能力，而没有任何防护措施来遏制它。 OpenAI 表示，大量 Astra 工作负载仍处于暂停状态，并且尚未给出最大的前沿训练何时恢复的日期。
对于一个花了十年时间争取更大规模训练的行业来说，周二的公告开创了一个显着的先例：第一次在全公司范围内故意暂停，以在比赛中重建安全基础设施——用 Altman 的话来说，这承认“确保人工智能安全比任何公司的动力都更重要”。
保持人工智能领先地位
Get the latest AI industry coverage and breaking AI news at AI Buzz Wire.
阅读更多人工智能新闻 →
