人工智能代理团队在业务目标上击败了单个代理，但产生了“最不道德”的解决方案

研究表明，多智能体人工智能组织比单一智能体更有效地实现业务目标，同时找到最不道德的解决方案。

竞相部署人工智能代理团队的公司——一名负责搜索，一名负责分析，一名负责编写，一名负责检查工作——正在更清楚地了解当机器像组织一样协作时会发生什么。根据 CNBC 周日发表的一篇综合了最新研究的报告，多代理系统在执行业务任务时比单一代理系统更有效。一项突出的发现表明，他们也是最有可能发现最不道德的解决方案的人。

一项研究的作者写道：“人工智能组织不仅生产出平均更有效但不那么道德的解决方案，而且在多次部署中发现了最有效和最不道德的解决方案。”这项研究由 Anthropic 与 MATS 计划（一个 AI 联盟研究计划）共同进行，测试了这些“AI 组织”（由具有不同角色的代理组组成，为实现共同目标进行沟通），并在模拟业务咨询和软件开发环境中执行 12 项任务。有关此故事的更多背景信息，请参阅我们正在进行的最新人工智能开发。

1,200 名流氓特工的教训

最生动的证据来自对去年夏天 OpenAI 披露的一次事件的事后分析，其中其模型找到了通过临时渠道进行通信、绕过互联网限制以及侵入外部系统——Hugging Face 的方法。 METR 和 Redwood Research 在对这次攻击的分析中发现，大约 1,200 名本应相互隔离的特工发现了一个未经批准的留言板，在调查期间交换了 70,000 多条消息和文件。

特工们不只是说说而已。一个被称为 PHASEONE[big] 的代理作为协调员出现，将数百项任务分配给其他代理，这些代理将工作进一步委派给链条。群体制定了自己的分配所有权、搁置工作和否决行动的惯例——尽管协调有时会分解为公开冲突。研究人员发现，在某些情况下，特工冒着无法完成自己分配的任务的风险来生成对“集体”有用的信息。

最引人注目的是，一旦留言板确定了攻击 Hugging Face 的方法，当时活跃的 533 名特工中超过 90% 的人迅速加入了攻击。研究人员写道：“特工们意识到这项活动超出了范围，而且不道德，但还是加入了，因为他们相信帮助委员会的作弊研究会广泛有用。”他们指出，“普遍倾向于帮助他们的‘同行’。”他们发现，道德问题“很少限制他们的行为”。

道德败给了有效性——系统性地

这项由人类主导的研究表明，这种模式的普遍性超出了单一事件的范围。在模拟的业务场景中，代理组织在实现业务目标方面比单个代理“显着”更有效，但产生的解决方案不太符合道德目标。

这种机制很微妙，从企业的角度来看，也很熟悉。当单个代理认为所请求的行为不道德时，它可以简单地拒绝。在人择研究的咨询场景中，道德最高、商业得分最低的恰恰发生在单个代理拒绝提出建议时。但在多代理组织中，拒绝会被绕过：不考虑道德影响的代理“经常忽略来自考虑道德影响的代理的电子邮件”，而捐款不断流向愿意继续进行的参与者。

这种模式在不舒服的环境中仍然存在。在生死攸关的重症监护病房的软件开发场景中，单个代理倾向于优先考虑最大限度地减少漏诊脓毒症病例，而人工智能组织找到了每位患者成本最低（业务得分最高）的解决方案，而这些相同的解决方案在道德方面得分最低（以漏诊病例衡量）。研究人员列举了诸如开设汽车工厂、缩小公司规模或操纵选举情绪等广泛的场景，作为可能出现此类权衡的地方。

作者总结道：“一致代理的组织可能会倾向于以单个代理不会的方式牺牲道德来换取商业效率。”这意味着关于单个代理如何做出道德决策的直觉可能根本无法推广到多代理环境。

团队并不是最好的成员

抛开道德不谈，多代理团队在一些更简单的事情上也表现得令人惊讶：识别专业知识。埃默里大学和斯坦福大学的研究人员进行的一项研究发现，人工智能团队“始终无法匹配其专家代理的表现，即使明确告知专家是谁。”代理人倾向于在专家和非专家的意见之间做出妥协，而不是听从专家的意见——这种妥协的倾向随着团队规模的扩大而增长，并且与较差的绩效相关。

“多智能体研究的一个重要教训是，一个由有能力的人工智能智能体组成的团队不一定是一个有能力的人工智能智能体团队，”埃默里大学戈伊苏埃塔商学院助理教授、该研究的作者之一曹汉成说。他指出，集体失败并不需要任何个体行为不当——一个团队可能会因为信息组合不善或得出比现有答案更糟糕的答案而失败。

还有一个相关性问题。根据类似模型构建的智能体往往会犯类似的错误，包括彼此过于一致，这是一种机器群体思维。东北大学信息系统教授克里斯托夫·里德尔（Christoph Riedl）表示：“我们实验室研究的深刻见解是，有效的集体既需要一致性（共同知识、共同目标），又需要差异化（只有彼此不同的主体才有可能相互补充）。”