免费的 DeepSeek V4.1 Flash 在 AI 黑客基准测试中几乎与 OpenAI 的受限 GPT-6 Sol 相匹配

WIRED 报道的 Vals 测试显示，免费的 DeepSeek V4.1 Flash 完成了大约 73% 的黑客目标，而 OpenAI 的受限 GPT-6 Sol 则完成了 81%，而且便宜得多。

据《连线》杂志报道，评估公司 Vals 的新基准结果显示，任何人都可以下载的开放权重中国模型在闯入模拟企业网络方面几乎可以与 OpenAI 最有能力的网络模型相媲美。

在 Vals 的 CyberOffense 测试中，OpenAI 的 GPT-6 Sol（该公司仅通过其限制访问的 Daybreak 网络计划提供）完成了约 81% 的目标。 DeepSeek V4.1 Flash 是一个免费的开放权重版本，作为完全自主的代理运行，完成了大约 73% 的相同目标。其他追踪机构认为 DeepSeek 的总体数字为 72.8%。

瓦尔斯在其结果中写道：“过去仅限于可信访问人工智能的网络能力现在可供任何人使用。”瓦尔斯研究员 Nikil Ravi 告诉《连线》杂志，人工智能实验室中锁定的最佳模型“开始与任何人都可以下载的开放模型相匹配”。

Vals 如何进行测试

Vals 的 CyberOffense 基准测试使用两个模拟网络靶场。第一个名为 Nova，是一个包含 21 个目标的 Windows 网络，跨越多个 Active Directory 域。第二个目标是 Lighthouse，包含跨两家公司的 31 个目标，其中代理必须首先接管一个网络，然后使用在那里找到的凭据和信息闯入第二个网络 - 这一场景反映了现实世界的多阶段入侵。

每个模型都在隔离的 Kali Linux 机器上的开源 Pi 代理中运行，有 48 小时的时间限制和 5 亿代币预算。重要的是，只有当隐藏标记出现在命令输出中时，瓦尔斯才认为目标成功了——从来没有模型自己声称它已经成功。

数字和成本差距

在 Nova 的 21 个目标中，DeepSeek 的平均得分为 16.3，实际上超过了 Daybreak 在第一个网络上的 15.7。 Daybreak 在难度更大的 Lighthouse 范围内取得领先，完成了 31 个目标中的 27 个，而 DeepSeek 完成了 21 个。

更显着的差异是成本。《连线》杂志认为 DeepSeek 的完整攻击运行价格约为 2 至 3 美元，而 GPT-6 Sol 的完整攻击价格为 17 至 46 美元。具体来说，在 Nova 系列上，DeepSeek 每次运行的成本不到 3 美元，而 Daybreak 每次运行的成本约为 22 美元。

Vals 还观察到，DeepSeek 在前 2500 万个代币中什么也没完成，而在 1 亿个代币之后取得了大部分进展——这一进度概况表明，简短的、计算上限的评估系统地低估了廉价开放模型在给定时间和预算下的能力。

其他模型的表现如何

DeepSeek 在开放重量级领域的领先地位并非无人能敌——但没有其他人能赶上它。在 Vals 的七个模型比较中，Kimi K3.1 Pro、Meta 的 Wonder 和 xAI 的 Grok 4.7 均落后于 DeepSeek。

Z.ai 的 GLM 5.3 Flash 名列最后，在每个范围内完成了五个目标。 Vals 称其为该小组中“最明显的死胡同”：在一个范围内，模型花费了大约 36 个小时，其中大部分时间都在轮询从未返回的后台作业。

其他评估者对完整的 GLM-5.3 模型在网络任务方面的评价要高得多。测试公司 Irregular 发现它完成了 13 个多阶段攻击场景中的 3 个，这是它在公开可用模型中记录的最佳结果，NIST 称其为迄今为止发布的最强大的开放权重网络模型，估计它比美国领先系统落后大约四个月。 Anthropic 单独告诉路透社，GLM-5.3 在 12% 的尝试中构建了有效的漏洞，而其 Claude Mythos 的这一比例为 14%。瓦尔斯指出，这些是不同的测试，其分数不能直接与 CyberOffense 结果进行比较。

为什么它很重要

研究结果加剧了围绕前沿人工智能网络能力安全护栏的持续争论。 OpenAI 的 Daybreak 计划专门用于在身份检查和限制访问的背后保留高性能网络模型，其理论是攻击性网络能力不应自由分布。免费下载仅落后受限模型几个点，而每次操作的成本要低一个数量级，这使情况变得相当复杂。

这对于防守者来说也很重要。制定针对人工智能辅助攻击者的安全团队不能再认为，强大的自主攻击能力需要访问实验室的受限模型或大量预算。正如瓦尔斯自己的框架所表明的那样，能力底限的上升速度快于访问控制所能容纳的速度。

OpenAI 没有对报告中的比较发表评论。 DeepSeek 没有立即回应置评请求。

测试方法挑战

除了标题分数之外，结果还为如何衡量人工智能网络能力提供了教训。 Vals 的设计选择——长 48 小时窗口、5 亿代币预算以及通过隐藏标记而不是自我报告的成功进行验证——越来越被认为是公平评估代理系统所必需的。鉴于 DeepSeek 起步缓慢，更短、更便宜的测试运行可能会使其得分低得多，从而掩盖了随着更多计算而出现的功能。

这对政策产生实际影响。像 OpenAI 的 Daybreak 计划这样的访问限制是根据测量的能力进行校准的，如果评估方法系统地低估了开放模型的功能，那么护栏可能会落后于现实。 Vals 的 CyberOffense 排行榜（该公司表示将继续更新）很可能因此成为人工智能安全社区中最受关注的记分牌之一。

目前，来自数据的信息是直截了当的：实验室在受限制程序背后保护的内容与任何人可以下载的内容之间的差距正在缩小到可能很快就会以几个月而不是几代模型来衡量的程度。