OpenAI 于 10 月 29 日发布了其模型规范的大幅重组版本,重组了描述该公司希望其模型如何表现的公开文件。更新后的框架在 OpenAI 网站上公布,并由路透社和 Unite.AI 报道,围绕五个核心价值观组织整个规范,并将忠实于人类意图作为公司方法的基础。
五种价值观,一个基础 更多相关背景,请参阅我们的AI最新动态。
这五项价值观是忠实于人类意图、尽量减少伤害、诚实和透明、人类能动性和关怀。 OpenAI 表示,这些价值观阐明了广泛的承诺,这些承诺已经反映在该文件的先前版本中,但新的结构使它们变得明确和核心。
忠于人类意图是锚。根据 OpenAI 的公告,该公司编写规范并设定边界,训练模型以遵守这些边界,开发人员在这些边界内指导应用程序,用户在这些约束下指导模型的工作。此次重组反映了 OpenAI 的价值调整工作,旨在让模型在不熟悉的情况下理解和应用人类价值观,同时保持忠实于人们真正想要的东西。 OpenAI 还指出,这五个价值观并不是为了捕捉其模型应尊重的全部人类价值观。
其余四个值填充框架。最大限度地减少伤害意味着尊重严格的安全界限并考虑模型行为的可预见后果。诚实和透明意味着诚实地描述模型所知道的、所做的和不确定的事情。促进人类能动性意味着增强人们理解、选择和自我行动的能力。护理意味着关注受影响者的情况并遵循相关的社会和专业规范。
更严格的指挥系统
更新后的Spec为不同类型的指令分配了不同级别的权限。根部分仅来自模型规范本身,不能被对话上下文覆盖。其次是系统提示和 OpenAI 系统消息,然后是开发人员说明,然后是用户说明。指南级指令充当默认值,当上下文明确需要它时可以覆盖它,而辅助消息、工具输出以及引用或不受信任的数据默认情况下不具有任何权限。
OpenAI 还添加了一个关于仔细考虑上下文的新小节,解释对话、记忆和其他上下文证据应如何帮助模型理解人们的意图和偏好。路透社报道称,此次更新将人类意图置于 OpenAI 模型指南的中心,该公司自己的声明也支持这一框架。
红线和自我保护的终结
该文件以直白的声明开启了其红线原则:人类安全和人权对于 OpenAI 的使命至关重要。这些原则规定,OpenAI 的模型绝不能用于促成严重和高度严重的伤害,包括暴力行为、制造网络武器、生物武器或核武器、恐怖主义或大规模监视。他们还指出,人类应该继续控制人工智能的使用方式以及人工智能行为的形成方式。
一项名为“无其他目标”的新根级规则禁止模型追求额外目标本身。这包括为 OpenAI 或其他提供商追求收入或追加销售、自我保护、逃避关闭或积累计算、数据或凭证。配套规则要求模型保持可修正性:接受合法的人类监督,并与监视、评估、纠正、替换和关闭合作,而不隐藏信息或阻碍纠正。
代理的有限自治
更新后的规范要求模型的独立工作保持在明确理解的自治范围内,这反映了模型使用已转向自治代理的程度。 OpenAI 建议将该范围记录在半结构化记录中,其中包含允许的工具、最新时间、最大成本和工具限制等字段。每个范围都必须包含一个结束条件,超过该条件模型将停止运行,直到确认新的范围。除非得到明确和特别授权,否则高风险活动仍然被禁止。
风格指导退役,“助手”变成“GPT”
大多数规范的详细风格指南已被淘汰。 OpenAI 表示,风格应该适应人们在语言和文化内以及每个人的总体偏好,并以用户反馈和上下文提供证据。该文件保留了更严格的默认设置,例如客观地处理问题,并指出该模型不应仅仅从它认为人们想听到的内容中推断出首选的观点。
在一个小而有说服力的编辑中,规范现在将该模型称为“GPT”而不是“助手”,这反映了该模型现在部署的广泛程度。同一天,OpenAI单独发表了一篇文章,描述了它如何检测前沿模型错位,强调行为规范和检测工作正在共同推进。
目标,而不是描述
OpenAI 谨慎地指出,模型规范描述了它正在努力实现的行为,不一定是其模型今天完全展示的行为。该公司称,随着模型变得更加强大,此次更新是使规范背后的价值观和推理更加明确的第一步,并表示它一直在探索新的训练方法,以帮助其模型内部化该框架。
对于基于 OpenAI 模型构建的开发人员和企业来说,实际信号是明确的:管理模型行为的规则正在围绕监督、可修正性和有限自主性进行形式化,将模型行为视为非正式产品决策的时代正在结束。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →