一项要求大型语言模型在一小时内编写有竞争力的《星际争霸》机器人的基准测试已经给出了迄今为止最详细的结果，并且结论存在分歧：OpenAI 的 GPT-6 Astra 在 AI 领域占据主导地位，但最强大的人类编写的机器人仍然在 93% 的情况下击败了最好的模型。

StarSkirmish Bench v0.2 于 10 月 15 日由开发者 Kai McPheeters 发布，评估了每个法学硕士在给定一小时挂钟时间的情况下可以生成的《星际争霸：母巢之战》机器人的强度。每个模型都用 C++ 编写一个 Protoss 机器人，然后与竞争对手模型编写的机器人以及已建立的人类编写的竞争对手进行比赛。该测试旨在探讨长期推理和代理编码，因为模型必须结合练习游戏中的经验教训来改进其创作。 更多相关背景，请参阅我们的人工智能资讯。

基准如何运作

规则故意简单化。一小时，一种语言，一种种族。每个模型的得分是针对一系列具有竞争力的人工编写机器人和演示机器人的五次运行的平均获胜率。 0.2 版本增加了一个变化：每个旗舰模型都在自己实验室的第一方 CLI 编码工具内运行，测试完整的代理堆栈而不是精简的 API 循环。

基准测试作者预先指出了一个不对称之处：Gemini 4 Argon 以“高”运行——这是它可用的最高推理努力——而其他所有模型都以最高运行。

GPT-6 Astra 领先，GPT-6.1 Sol 赢得价值

结果使 GPT-6 Astra 名列榜首，文章称其明显领先于第二名的 GPT-6.1 Sol。对于基准观察者来说，利润率很重要：在大多数代理编码套件中，旗舰型号彼此聚集在几个点内，因此将领域分为不同级别的排行榜比拥挤的前十名要做更多的诊断工作。 Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在功能上并列于两个 OpenAI 模型之后，得分都在 37 到 39 之间。Meta 的 Muse Wonder Full 排名第七。

成本分析可能是更引人注目的发现。根据一小时运行的平均 API 成本进行绘制，GPT-6.1 Sol 独自进入最具吸引力的象限：位居第二，每次运行成本仅为 GPT-6 Astra 的十分之一。对于权衡代理性能与预算的团队来说，两个 OpenAI 模型之间的差距是实际的头条新闻。

人类机器人仍然遥遥领先

与最强大的人类编写的机器人（Stardust、PurpleWave 和 BananaBrain）相比，GPT-6 Astra 仅赢得了 7% 的游戏。该基准的作者指出，一小时的推理限制是一个因素，而真正的人类编写的机器人的锦标赛条件比评估中使用的三张两人地图要困难得多。

尽管如此，这一差距还是对人工智能即将在软件领域占据主导地位的说法的一个有用的纠正：在一项具有明确获胜条件、深入战略和长期规划视野的任务中，数十年的社区工程仍然远远高于一小时的前沿模型编码所能产生的成果。

长期以来，《星际争霸》一直是游戏人工智能的试验场，正是因为它能够抵抗暴力。实时战略需要在部分信息下同时管理经济、侦察和战斗，而《母巢之战》社区多年来一直保持着有竞争力的机器人锦标赛。这种积累的生态系统使得基准测试的人类基线变得有意义——Stardust、PurpleWave 和 BananaBrain 不是随意的对手，而是精致的、经过比赛考验的程序。

新旗舰加入竞争

0.2 版本还充当了新发布模型的早期记分牌。谷歌的 Gemini 4 Argon 取代了 v0.1 的 Gemini 3.8 Flash，首次亮相就获得了第三名，而 Meta 的 Muse Wonder Full 取代了 Muse Spark 1.3，获得了第七名。 GPT-6 Astra 和 Claude Opus 5.5 继承了早期版本的覆盖范围。

该基准测试记录了每次运行的代理跟踪，记录了每个模型如何度过一小时——这个数据集将排行榜转变为行为研究，研究不同实验室的模型如何在规划、编码和游戏测试之间预算时间。无论模型是预先加载架构决策还是快速迭代有缺陷的草稿，这正是聚合分数隐藏的流程细节，也是最有趣的跨实验室差异往往会浮现出来的地方。

为什么它很重要

代理编码基准正在快速饱和，旗舰模型聚集在许多软件工程套件的顶部附近。 StarSkirmish 提供了另一种选择：由人类专家设定上限的环境，进度以获胜率而不是票证解决的百分比来衡量，并且一小时的时间预算反映了现实世界对代理工作的限制。

结果引起了开发人员的共鸣。 Show HN 的帖子获得了 200 多个点赞，评论者深入挖掘了特工的踪迹和成本效益图。黑客新闻上的基准讨论往往分为方法论争论和能力热门话题。这个模型同时考虑了两者，其中推理努力不对称和五次运行的样本量是最受审查的设计选择之一。随着推理工作水平的提高和利用的改进，基准测试的作者计划继续迭代——目前，人类星际争霸机器人社区保持着领先地位。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →