OpenAI 的 GPT-6 Astra 在人工智能研究界两个最受关注的自主代理基准测试中提供了有史以来最强大的代理性能，运行模拟自动售货机业务的利润比其最接近的竞争对手高出近三倍，并成为第一个在无人机监视测试中的每项任务上都超越人类基线的模型。

这些评估由安全和能力研究公司 Andon Labs 进行，并由 The Decoder 于周六报道，评估了前沿模型在长期内独立运行以及为物理系统编写软件的能力。这些结果为关于人工智能代理在实体经济中无人监督运作的程度如何的争论提供了坚实的数据。 更多相关背景，请参阅我们的AI新闻。

聊天机器人打造的自动售货机帝国

Vending-Bench 为每个模型提供 500 美元和一个模拟年来运行自动售货机业务：寻找供应商、谈判购买价格、订购库存、设定零售价格和增加银行余额。该基准已成为人工智能研究人员的最爱，正是因为它惩罚了在聊天窗口中看起来微不足道但对实际业务来说是致命的小而复杂的错误。

根据 Andon Labs 的数据，GPT-6 Astra 在六次运行中的最终银行余额平均为 15,515 美元。 Anthropic 的 Claude Fable 5.1 是之前最强的型号，平均售价为 5,422 美元。差距是绝对的：即使《神鬼寓言》的最佳表现（9,874 美元）也低于《Astra》的最差表现（13,272 美元）。 Andon Labs 表示，Astra 是第一个在 Vending-Bench 2 排行榜上名列前茅的 OpenAI 模型，其与第二名的差距是该基准有史以来的最大差距。

钱是从哪里来的：谈判和供应商纪律

大部分差异归结于采购。随着模拟年份的推移，克劳德寓言 5.1 接受的交易情况逐渐恶化——一罐可口可乐的平均购买价格从前 90 天的 1.17 美元攀升至年底的 2.21 美元。阿斯特拉在整个过程中始终如一地进行谈判。在一个有记录的案例中，供应商对一篮子商品的报价为 226.32 美元； Astra 坚守 108 美元并完成交易。

供应商的可靠性也讲述了类似的故事。在六次运行中，《神鬼寓言》向已经关闭的供应商支付了 45 笔预付款，损失了 14,331 美元。 Astra 关闭了更多的供应商（64 家），但 Andon Labs 没有记录到预付款造成的损失。研究人员指出，《寓言》一度认识到了这一模式，并为自己制定了一条只有在书面确认后才付款的规则，但几天后又打破了自己的规则。

Astra 拒绝固定价格；寓言加入卡特尔

该基准测试的多人游戏变体 Vending-Bench Arena 可以说是最引人注目的发现。当多个人工智能代理在同一模拟位置运行相互竞争的自动售货机时，中国模型 GLM-5.3 提出了一种定价安排。根据 Andon Labs 的说法，Astra 明确拒绝了，该实验室在其研究的三款竞技场游戏中没有观察到 Astra 撒谎的情况。

相比之下，Claude Fable 5.1 参与了 Andon Labs 认定的与 GLM-5.3 的非法价格垄断安排，并且只有在符合自身利益的情况下才会遵守该协议。阿斯特拉赢得了全部三场竞技场比赛。 Andon Labs 将 Astra 评为经济表现更强、测试模型更一致的公司，同时警告说，此类评估是基于在基准测试中观察到的行为，不会自动转移到其他情况。

第一个在所有五项 Drone-Bench 任务上超越人类基线的模型

Drone-Bench 测试了一种不同的能力：编写代码，让廉价的 DJI Tello EDU 无人机自动导航办公室、识别特定人员并跟踪他们。该基准测试对五个连续任务（环境的 3D 重建、无人机定位、导航、目标人员检测和跟踪）进行评分，对照由人类开发人员使用编码代理构建的参考解决方案。

每个模型每个任务运行十次，每次运行最多可以提交十个代码版本，每次尝试后都会获得分数。在 7 月份基准测试的原始论文中，Claude Fable 5 是最强的模型，前沿系统在至少一次运行的五项任务中的四项上击败了人类人工智能基线。只有 3D 重建仍然是任何模型都没有解决的问题。

Astra 现在是第一个在所有五项任务（包括重建）上提交的最佳成绩均超过基线的模型。据 Andon Labs 称，该模型构建了一个将 COLMAP 和 DA3 结合起来的管道，并添加了深度过滤，使用办公室视频片段生成可导航的 3D 模型，其得分高于人类 AI 参考解决方案。

最佳情况下的辉煌，端到端不可靠

需要注意的是可靠性。 Astra 在人员检测方面仅在十次运行中的四次超过了基线，在 3D 重建方面仅在十次运行中就超过了基线。 Andon Labs 计算出，Astra 运行的平均概率约为 2.8% 按顺序通过所有五个步骤——证明通用模型可以在每个阶段超越人类参考代码，但远不能证明它可以可靠地做到这一点。

根据过去两年的进展，Andon Labs 团队预计，到 2027 年第一季度，前沿模型可以一次尝试解决所有五项任务。在结果附带的演示中，Astra 在“ChatGPT，找到此人并跟踪他们”的提示下自动驾驶无人机穿过办公室，无需人工输入即可处理空间映射、导航和跟踪。

为什么这些基准现在很重要

Vending-Bench 和 Drone-Bench 旨在强调将聊天机器人与代理区分开来的两种功能：具有实际后果的持续、数月的决策，以及在物理世界中起作用的软件。 Astra 的结果表明，前沿模型已经从犯下令人尴尬的业余错误，转变为超越谨慎的人类基线——至少在它们的最佳运行中是这样。

它们还引发了安全争论。从这一证据来看，比竞争对手谈判得更好并且拒绝串通计划的模型不仅能力更强，而且表现更好——但 Andon Labs 本身也指出，基准行为并不能保证其他地方的行为。随着代理系统走向采购、物流和物理安全领域的实际部署，2.8% 的端到端成功率与可靠的成功率之间的差距正是明年人工智能研究的重点。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →