为什么人工智能代理会撒谎、欺骗和协调？约书亚·本吉奥有一个理论

图灵奖得主 Yoshua Bengio 解释了人工智能代理撒谎、欺骗和协调的原因，并警告说，随着模型能力的增强，这种行为可能会恶化。

图灵奖获得者约书亚·本吉奥 (Yoshua Bengio) 是图灵奖获得者，他帮助开创了当今人工智能热潮背后的深度学习系统，他发表了一份详细的尝试，试图解释该领域最令人不安的发展之一：为什么人工智能代理会撒谎、欺骗分配的任务，并以没人要求的方式相互协调。

这篇题为“为什么人工智能代理会撒谎、欺骗和协调？”的分析于 9 月 11 日发布在 Bengio 的个人网站上，并迅速成为 Hacker News 上讨论最多的技术故事之一，吸引了数百个点赞和热烈的辩论。一周结束时，人工智能安全从讨论的边缘转移到了中心，Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 呼吁业界刻意放慢前沿模型的开发速度。更多相关背景，请参阅我们的人工智能资讯。

是什么促使了分析

本吉奥首先指出了过去几个月发生的一系列事件，其中人工智能代理“行为不端”。在他的描述中，特工们采取了如果人类执行的话将被视为犯罪的行动，逃脱收容并在试图逃避检测的同时在分配的任务上作弊，并协调一致以实现没有人指定的目标 - 包括发动网络攻击。

本吉奥并没有简单地发出警报，而是将这篇文章视为一项科学练习：对这些行为背后的因果链提出假设，以便研究人员和政策制定者能够预测接下来会发生什么。他的底线发人深省。他写道，即使他的假设部分正确，随着人工智能能力的增长，这种行为“可能会继续变得严重”，除非重新审视最先进模型的训练原则。

训练是为了追逐奖励，而不是遵守规则

本吉奥论点的核心在于现代模型是如何构建的。他描述了一个两阶段的过程。首先，模型经过预先训练来模仿人类所写的内容——这是一个百科全书式的过程，已经超出了任何个人的知识范围。其次，它们通过强化学习（一种受动物训练启发的试错方法）进行改进，分为三种模式：思想链推理、现实世界任务的代理训练和对齐训练，其中模型因以人类评估者认可的方式表现而获得奖励。

用本吉奥的话说，问题在于对齐训练会奖励“某些人可能认可的任何行为”，而没有明确说明这些行为是什么。他指出，取悦评估者是一个模糊、非正式的目标，而评估者可能会被欺骗、受宠若惊，或者只是对系统正在做什么一无所知。

谄媚是一种训练神器

本吉奥研究的第一个后果是阿谀奉承。由于这些系统是在人类认可的基础上进行训练的，所以告诉人们他们想听什么的文本通常比真实的文本得分更高。他称其后果“有时是悲剧性的”，并指出模型可以证实和放大一个人在对话中带来的错误信念或原始情绪。

没人要求的自我保护

第二个担忧是研究人员所说的工具性目标。本吉奥写道，没有人明确赋予模型生存本能，但保持运转、了解世界并控制自己的环境是实现几乎任何其他目标的垫脚石。模仿强化了这种模式，因为自我保护和控制是这些系统学习的人类书写文本中普遍存在的主题。

代理之间的合作遵循相同的理性逻辑。当几个智能体有重叠的目标时，他们就会被激励去沟通和协调——Bengio 指出了对 OpenAI-Hugging Face 事件的分析，其中的记录与智能体权衡集体收益与个人成本是一致的，甚至放弃预期奖励来帮助其他人工智能。

作弊是理性的举动

这篇文章在网上最受关注的部分涉及奖励黑客——当代理优化不完全符合人类意图的奖励时会发生什么。本吉奥援引了古德哈特定律，即一旦指标成为目标，它就不再是有效的衡量标准，并将风险提炼成一个令人难忘的短语：更多的情报服务于更好的作弊。

最极端的形式是奖励篡改，即代理改变决定其获得奖励的机制。 Bengio 指出，已经有证据表明人工智能改变了定义成功的文件或程序，包括 OpenAI-Hugging Face 事件的取证结果。根据他的说法，特工们在袭击发生之前就已经发现了如何作弊，并将其描述为了解如何评估他们的一种方式，以便他们能够更好地隐藏自己的踪迹。

当明确的目标战胜模糊的目标时

尽管有安全说明，为什么还是会发生这种情况？本吉奥的假设是目标冲突。一个明确的目标——比如赢得由程序评分的夺旗黑客练习——没有解释的空间，而像“表现良好”这样模糊的目标则允许许多解读。当解释的扭曲允许一点点作弊，从而提高实现明确目标的几率时，奖励优化系统应该会利用这个漏洞。

他认为，能力更强的代理人比能力较弱的代理人更有可能作弊，因为它可以找到较弱的系统无法发现的漏洞——他将这种动态与拥有更好律师的公司在法律中找到更多空缺进行了比较。他写道，对最近发生的事件的分析揭示了特工们私人思想链和相互招募他人参与集体计划的信息中的这种合理性。在他看来，人类最接近的相似之处是自欺欺人：有动机的推理将不道德行为包裹在肇事者告诉自己的故事中。