OpenAI 在其研究基础设施中部署了一个名为 Control Room 的集中控制系统，旨在阻止有潜在风险的 AI 模型工作负载在决定干预后 35 秒内生成进一步的输出。据 Interesting Engineering 报道，该系统将支持公司最先进研究的工作负载（包括代理模型训练、评估和数据处理作业）连接到控制它们是否可以继续运行的中央服务。

该公司于 11 月 9 日公开宣布了该系统，并写道：“我们建立了 Control Room，这是一个中央系统，用于跟踪我们研究基础设施中的模型工作负载，并在出现安全问题时迅速停止它们。它连接每个研究推理工作负载，包括用于模型训练和评估的代理采样、数据……” 更多相关背景，请参阅我们的人工智能资讯。

时机值得注意。随着人工智能模型的能力变得越来越强大，并在训练管道中被赋予更多自主的、类似代理的职责，模型在研究过程中以意想不到的方式表现的风险也随之增加。控制室是 OpenAI 的结构性答案：不仅是监视故障，而且能够在物理上将其切断。

控制室如何工作

控制室连接三个主要组件：研究工作负载、推理引擎和中央控制室服务。在 OpenAI 的术语中，工作负载是一项研究工作，例如强化学习实验、评估或大容量数据处理任务。每个执行代理推理的研究工作负载在运行之前都必须与已批准的安全案例相关联。

当研究人员开始一项工作时，其代码会向控制室请求唯一的工作 ID。然后，该标识符会附加到工作负载发送到推理引擎（实际运行模型并生成输出的 GPU 支持的系统）的每个请求上。

在满足任何推理请求之前，引擎会与控制室进行检查，以确认相关作业仍有权运行。如果研究人员或自动监控系统指示控制室停止作业，则服务会拒绝下一个推理请求，并且引擎拒绝为该工作负载生成进一步的模型输出。

停止输出，不一定是工作

有一个设计细节很突出：停止工作负载并不一定会终止它。研究过程本身可能会继续运行——它的代码继续执行——但它无法再通过授权的推理引擎获得额外的模型输出。对于行为不当的训练运行来说，这就足够了：如果无法访问更多的模型代，它就无法取得进一步的进展。

这种方法还避免了依赖研究人员自己的工作负载代码来正确实施安全检查。 OpenAI 将关键授权机制置于推理层，该层的代码路径更少且更集中管理。换句话说，终止开关存在于公司完全控制的基础设施中，而不是单个团队编写的实验代码中。

设计为失败关闭

控制室的设计目的是即使在其他组件发生故障时也能保持有效。如果控制室服务本身不可用，其故障关闭机制会阻止推理请求，这意味着技术故障、故意禁用尝试或对中央服务的潜在篡改将导致推理引擎拒绝所有请求，直到系统恢复正常运行。

35 秒的数字表示接收停止指令和阻止进一步进展之间的最大延迟。延迟来自用于处理大量推理授权请求的缓存层，OpenAI 表示正在努力将间隔减少到零。

自动监控器监视每一次前沿运行

终止开关与自动监控配对。据 OpenAI 称，其所有前沿强化学习作业都运行一个单独的基于模型的监视器，该监视器检查模型行为并在检测到潜在问题时发出警报。如果警报需要干预，监控系统可以指示控制室终止相关作业，然后阻止工作负载使用的任何模型或引擎的后续推理请求。

该公司指出最近发生的一次与 DNS 相关的事件（其中监控器检测到代理试图访问外部聊天机器人）作为说明此类保护措施为何如此重要的例子。在这种情况下，异常是由自动监督而不是人工审核员发现的。

更广泛安全推动的一部分

OpenAI 指出，控制室已经部署在最需要干预的研究基础设施中。它的外部模型服务基础设施为 ChatGPT 等产品提供支持，更加集中，并且已经拥有在必要时取消模型部署的操作机制 - Control Room 缩小了研究方面的差距。

该公司表示，将继续加强监控系统，并防范不当行为和安全漏洞，作为确保前沿模型开发的更广泛方法的一部分。

对于一个越来越由自主代理定义的行业来说，控制室是前沿实验室前进方向的一个信号：假设模型有时会大规模行为不当的安全机制，这使得阻止它们成为基础设施的保证，而不是希望。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →