Real-SWE 基准：Anthropic 的 Fable 5.1 在真实企业代码库的首次测试中名列前茅

名为 Real-SWE 的新基准在获得许可的私人生产代码库上测试人工智能编码代理。《神鬼寓言 5.1》以 38.8% 的成绩领先，没有任何模型能够超越 40%。

一个名为 Real-SWE 的新基准正在挑战人工智能行业衡量编码能力的方式，第一个结果让前沿实验室感到羞愧。 Anthropic 的 Fable 5.1 在 Claude Code 工具中运行，在从私有的、真实的企业代码库中提取的任务上以 38.8% 的解决率领先董事会。没有经过测试的模型能够达到 40%。

该基准由 Specific Labs 本月发布，评估了该团队从真实公司获得许可的私人生产代码库上的前沿人工智能模型。它的创建者认为，专家生成的或合成的任务，无论设计得多么好，都不是真正公司的工程师实际所做的逐字工作。更多相关背景，请参阅我们的AI新闻。

为什么私有代码库会改变现状

根据其作者的说法，Real-SWE 与 SWE-bench 等已建立的基准在两个轴上有所不同：底层编码工件和指令的特殊性。每项任务都来自一个专有系统，其代码和解决方案在公共互联网上不可用，这意味着代理无法依赖从公共存储库中提取的记忆答案。

这些任务还会带来业务后果。该基准的示例任务包括正确计费、计算税收和迁移客户——这些变化会影响企业的运营方式，通常涉及多种服务。每家公司都有自己的惯例和编写代码的方式，代理必须了解这些规范并做出与现有规范相适应的更改。

“编码代理实际上可以完成现实世界中软件工程师的工作吗？”基准测试的介绍中问道。排行榜目前给出的答案是：最多只有大约三分之一的时间。

完整排行榜

特定实验室评估了八种前沿模型和线束组合，测量每项任务八次独立运行中 pass@1 的平均分辨率，置信区间为 95%：

1. 寓言5.1（克劳德代码） — 38.8%
2. GPT-6 Astra（Codex CLI） — 33.8%
3. Gemini 3.8 Flash (Gemini CLI) — 31.2%
4. GLM 5.3（克劳德代码） — 28.8%
5.（并列）Grok 4.6（Grok 构建） — 23.8%
5.（并列）Muse Spark 1.3（Muse 代码） — 23.8%
7. Kimi K3（Kimi代码） — 18.8%
8. GPT-5.6 Sol（Codex CLI） — 16.2%

周末，《黑客新闻》对这一结果进行了广泛讨论，该基准测试吸引了数百人的支持，并就私有代码库评估是否是代理进度的正确标准展开了激烈的辩论。

高层的差距虽小但有意义

四大系统之间的差距因其对当前竞争格局的影响而引人注目。 Fable 5.1 比 OpenAI 的 GPT-6 Astra 领先 5 分，在每项任务都是实际生产问题的基准测试中是有意义的。 Gemini 3.8 Flash 获得第三名是引人注目的，因为该模型被定位为快速、低成本的主力，而不是旗舰推理系统。 Z.ai 的 GLM 5.3 通过 Claude Code 进行评估，与领先者相差 5 分，凸显了开放权重模型在实际工程工作中的竞争力。

同样重要的是底部的价差。 GPT-5.6 Sol 是 OpenAI 的早期版本，它解决的任务数量还不到《神鬼寓言 5.1》的一半——这提醒我们，前沿的发展速度有多快，而仅仅一代模型之后，下降的幅度就有多大。

安全带和模型一样重要

该基准测试的方法选择之一引起了人们的关注：Real-SWE 不是孤立地评估模型，而是使用本机工具（Claude Code、Codex CLI、Gemini CLI、Grok Build）来反映企业工程师在实践中的实际工作方式。排行榜明确对模型和线束组合进行排名，承认脚手架、工具访问和迭代循环现在与实际部署中的模型功能密不可分。

该框架对于企业选择系统很重要。同一模型的性能可能会非常不同，具体取决于其周围的代理工具，并且根据公共基准数据评估编码助手的买家可能会扭曲地了解这些系统在自己的代码库上的行为方式。