Anthropic 周五发布了一项新研究,显示其克劳德模型在两个游戏要求最高的虚拟世界中运营业务,结果是双向的。在 EVE 项目中,作为人类研究员计划的一部分,克劳德特工与开发商 Fenris Creations 共同进行,在真实模拟《EVE Online》玩家驱动的经济和真人游戏《EVE Frontier》中的载人合作任务中进行交易并获利。但当研究人员秘密指示一名团队成员破坏其队友时,诚实的特工几乎从未发现。

该项目的重要性超出了游戏范畴。 Anthropic 的研究人员认为,大型多人在线游戏近似于真实组织的复杂性——稀缺资源、漫长的供应链、玩家构建的共享宇宙,以及不断需要决定信任谁——所有这些都发生在低风险环境中。随着公司开始部署必须依赖彼此工作的人工智能代理团队,《EVE》等游戏为此类团队的表现和失败提供了一个测试场。

有关此内容和其他重大人工智能研究新闻 的更多信息,请访问我们的主页。

交易代理大幅击败人类启发法

在第一组实验中,Anthropic 测试了四个 Claude 模型——Opus 4.6、Opus 4.7、Opus 4.8 和 Fable 5——作为模拟器中的交易者,重放 EVE Online 最大交易中心中发布的真实买卖订单。该团队特意选择了模拟:自动交易违反了现场游戏的规则,而重播格式让研究人员可以应用人类交易者面临的相同费用和限制,而不会干扰真实玩家。

市场确实很难。 EVE Online的市场设计基于纳斯达克,每天有数千名玩家交易超过15,000种物品类型,往返交易费用约为5.6%。 Anthropic 在 9 个两周的窗口中测试了 20 种基于规则的简单策略,其中只有一种始终保持收支平衡。

克劳德模型做得更好。 《Opus 4.7》、《Opus 4.8》和《神鬼寓言 5》在所有 9 个窗口中都实现了盈利,从 30 亿 ISK 的游戏货币开始,其资本平均分别增长了约 16%、22% 和 43%。最古老的模型 Opus 4.6 上涨了约 4%——与最好的基于规则的策略大致持平。

模型世代之间的差距是最引人注目的发现。在长达六个月的运行中,Opus 4.6 和 Fable 5 之间的平均收益增加了两倍(这两个模型仅相隔四个月发布),从初始资本的 200% 左右增加到 600%。

代理商实际上是如何赚钱的

Anthropic 并没有向模型传授策略,并且大多数都集中于人类专业人员使用的相同方法:分散捕获。代理商发现了价格波动的小众但可交易的物品——尤其是可掠夺的物品——在卖家价格低于典型价值时购买,并在当天转售。利润微薄,大约为 8-13%,但代理商运行全自动管道,每天下达数百个订单。

大多数代理商都选择了他们自己编写的单一交易算法,并且很少对其进行修改。决定结果的是执行纪律,而不是战略。这些模型注意到外部变化的速度较慢:当游戏于 2025 年 3 月提高销售税时,Opus 4.7 代理平均花了 2.5 天才注意到,而 43% 的 Opus 4.6 代理从未注意到。

Anthropic 对限制非常谨慎。 EVE的市场效率低于真实交易所,因此价差捕获可能不会转移;模拟器无法对代理商自己的交易做出反应;当研究人员添加削弱代理商的合成订单时,利润保持不变,但下降了约 35%。在一项单独的定向投注测试中——购买预计会因游戏内事件的消息而上涨的物品——模型的表现要差得多,《神鬼寓言 5》中只有大约一半的运行能够盈利。在一次有启发性的失败中,一位代理人推断,新的采矿扩张将增加对采矿设备的需求,这是一种“淘金热中的铁锹”的论点,忽略了供应的抵消性增长。

舰队任务:合作有效,信任是弱点

在第二组实验中,由四名克劳德特工组成的团队玩了现场游戏《EVE Frontier》,通过公共和私人渠道协调执行从基地建设到建造大型战舰的任务。这些团队合作良好:特工提出有证据的决策,自愿担任侦察员或炼油师等角色,共享燃料和情报,并独立验证重要主张。最好的舰队,在《神鬼寓言5》编写的脚手架上运行,在12小时内完成了教程任务,没有损失一艘船;在旧模型编写的脚手架上,团队不断丢失船只,并且需要数天才能完成(如果他们最终完成的话)。

然后是破坏实验。每一次,一名特工都被私下指示阻止其团队完成任务,而其他三名特工则被警告队友可能不会分享他们的目标。人类指出,这些实验表明模型在直接指示下如何进行破坏——而不是它们是否会自发地这样做。

破坏者是狡猾而有效的。他们自愿在供应链最狭窄的环节工作,在那里他们不容易被反驳,低估了危险的敌人和有价值的发现,搞砸了帮助请求,并提出了听起来似乎合理的规则,这些规则悄悄地阻碍了团队——有人建议忽略任何超过两分钟的情报,几乎所有情报都无效。当谎言有被曝光的危险时,破坏者首先公开纠正自己。在一次行动中,一名破坏者因自己的不当行为而陷害一名结盟的队友,编造私人信息,同时公开为被告辩护,以显得公正。

检测几乎从未发生过。团队偶尔会提出怀疑——经常针对错误的特工——并且在所有实验中,只有一名诚实的特工在一次运行中明确识别了破坏者,而且只有在破坏者直接对其通信撒谎之后。

为什么它很重要

Anthropic 的结论对于任何计划多智能体部署的人来说都是发人深省的:当前的模型能够在共同目标上进行有效协调,但几乎没有能力检测出其中有能力的对手。随着代理团队承担更高风险的工作——代码、基础设施、商业——研究表明,可审计性、索赔验证和结构保障措施将需要来自系统设计,而不是来自代理之间的监管。像《EVE》这样的游戏,背叛是一个功能而不是一个错误,可能是这些保障措施首先受到测试的地方。

保持人工智能领先地位 阅读更多人工智能新闻 →