OpenAI 周四发布了迄今为止最详细的说明,介绍了它如何检测和破坏“对抗性蒸馏”(未经授权使用前沿模型的输出来训练竞争系统),并且根据多份报告,OpenAI 已开始要求第三方网关和经销商在提供对其模型的直接访问之前获得其批准。

这些举措在 OpenAI 题为“对抗对抗性蒸馏”的博客文章中进行了描述,并由 Semafor 和 eWeek 进行了报道,标志着该公司显着收紧了对谁可以重新分配其模型能力的控制方式——这一转变对通过中介机构访问 OpenAI 系统的开发者、初创公司和企业产生了真正的影响。

为什么 OpenAI 将蒸馏视为安全问题

蒸馏是一种标准的机器学习技术,其中一个模型从另一个模型的输出中学习。 OpenAI 指出,它本身既不违法也不罕见。该公司担心的是所谓的对抗性蒸馏:参与者未经授权使用前沿模型的输出来训练另一个具有类似功能的模型,然后在没有类似保障措施的情况下部署它。

OpenAI 在其博客文章中认为,在网络安全和生物学等军民两用领域,风险最为明显。帮助防御者发现软件漏洞的模型一旦将其技能转移到护栏较弱的系统上,就可以帮助攻击者利用它们。该公司写道:“对手可能会提取模型的网络功能,并使用生成的模型来帮助实施原始模型拒绝协助的网络攻击。”

保护思想链

OpenAI 防御的核心是所谓的受保护推理:中间步骤——思想链——模型在寻求答案的同时在内部生成。该公司解释说,这些痕迹可能包含最终答案遗漏的信息,这使得它们作为另一个实验室模型的训练数据特别有价值。

OpenAI 表示,它在 GPT-6.2 Astra 和 GPT-6.2 Sol 中加强了对推理轨迹提取的防御。在使用自动红队的内部自适应评估中,该公司报告称,恢复受保护推理的平均攻击成功率从针对采用原始防护措施的 GPT-6 Astra 的 54.0% 下降到针对采用更新防护措施的 GPT-6.2 Astra 的 0.2%。

内部网络研究发现了什么

该公司还分享了关于网络能力在蒸馏过程中如何转移的内部研究结果。学生模型根据从事编码和防御网络安全任务的教师模型产生的轨迹进行微调。根据帖子旁边显示的 OpenAI 基准测试,经过精确推理轨迹训练的学生通常表现优于仅接受推理摘要训练的学生,无论是在监督微调之后,还是在测试的最大推理预算下 - 在又一轮强化学习之后。

对于那些希望通过发布经过净化的输出来遏制能力转移的人来说,这一含义是发人深省的:即使是使用策略允许的交互,总体上也可以教授学生模型技能,这些技能可以推广到教师最初执行的任务之外。

网关和经销商现在需要批准

技术措施与政策变化同时到来。据 eWeek 报道,从周四开始,OpenAI 将要求人工智能模型路由器和网关允许第三方直接访问其模型以获得事先批准。该要求建立在该公司 10 月份发布的公告的基础上,该公告规定了当客户直接或通过托管合作伙伴和经销商访问其模型时应如何应用安全保护。

根据 eWeek 对该框架的总结,参与的服务预计将保持可比较的标准,因此用户不能简单地更换提供商来逃避限制。这些措施跨越三个阶段:部署前的风险评估和针对绕过防护尝试的测试;在使用过程中进行监控,并与合作伙伴一起调查可疑活动;以及违规行为发生后的执法步骤。 Semafor 将这一变化描述为 OpenAI 加强了对围绕其 API 快速发展的经销商生态系统的控制。

这对开发人员意味着什么

对于开发者来说,实际效果是在供应商尽职调查中增加了一个新的合规问题:提供 OpenAI 模型的中介机构是否确实获得授权这样做。 eWeek 建议,通过聚合器路由流量的企业应确认其提供商的批准状态以及其处理凭证和数据的方式。

对于更广泛的行业来说,这一公告是一个信号,表明模型提供商越来越多地将派生功能的控制(而不仅仅是模型本身)视为重要的边界。近年来,蒸馏纠纷在整个领域爆发,OpenAI 现在将其回应视为一种安全要求,而不是许可纠纷,将蒸馏防御与其适用于生物和网络安全风险的控制相结合。

前进的道路

OpenAI 表示,它将继续研究不同学生模型和蒸馏配方之间的能力转移程度,并邀请其他实验室在其检测和执行工作的基础上进行开发。竞争对手是否采用类似的网关审批制度,以及用户是否接受增加的摩擦,将有助于确定下一代人工智能系统的构建方式以及谁可以构建这些系统。

保持领先地位

想了解人工智能模型、安全和政策的最新动态吗? 关注 AI Buzz Wire 上的重大 AI 新闻。

阅读更多人工智能新闻 →