MLCommons 于 2026 年 9 月 16 日发布了 MLPerf Inference v6.1 基准测试结果，头条属于 NVIDIA 的下一代平台。根据 NVIDIA 的公告，在首次提交的预览版中，Vera Rubin NVL72 系统的吞吐量高达 NVIDIA 当前 GB300 NVL72 旗舰产品的 3.7 倍，这是 Blackwell Ultra 的后继产品对 AI 推理经济学意味着什么的早期信号。

Vera Rubin 是 NVIDIA 的下一个数据中心平台，以为暗物质提供关键证据的天体物理学家的名字命名。 MLPerf 预览结果是该系统第一个公开的、独立组织的性能数据。 更多相关背景，请参阅我们的人工智能资讯。

首次亮相背后的数字

NVIDIA 提交了 v6.1 套件中两个要求最高的工作负载的 Vera Rubin NVL72 预览结果：DeepSeek-R1 推理模型和 Qwen3-VL 视觉语言模型。

在 Qwen3-VL 上，Vera Rubin NVL72 在离线、服务器和交互式场景中的吞吐量比 GB300 NVL72 高出 3.7 倍，并使用 NVIDIA Dynamo 开源推理框架运行 vLLM。在 DeepSeek-R1 上，使用 NVIDIA 的 TensorRT-LLM 库，吞吐量比之前的旗舰产品提高了 2.5 倍。

这两个数字均来自 NVIDIA 自己向 MLCommons 封闭部门提交的材料，这意味着它们是根据 MLPerf 的审核规则生成的，尽管预览结果显然是仍在优化的平台的早期测量结果。

收益是如何建立的

NVIDIA 将这一跳跃归因于跨硬件和软件的全栈协同设计，而不是任何单个组件。

在芯片方面，Vera Rubin 带来了增强的 Tensor Core 和更新的 Transformer Engine，可加速推理的两个阶段 - 计算量大的预填充阶段和内存限制的解码阶段。该平台依赖于 NVFP4 精度，可缩小模型权重、注意力和 KV 缓存的内存占用量，从而提高吞吐量，同时将输出质量损失降至最低。

在软件方面，提交的内容使用了分类服务，将预填充和解码分离到不同的任务上，以及大规模专家并行性，以保持 DeepSeek-R1 和 Qwen3-VL 等模型中的专家混合层充分满足工作需求。

互连是第三个支柱。 NVL72 机架设计使用第六代 NVLink 和 NVLink 交换机将 72 个 GPU 连接到一个扩展域中，NVIDIA 表示，与现成的以太网相比，该设计可提供高 10 倍的数据包速率和低 3 倍的延迟，这是使机架规模分解服务变得实用的基础。

GB300 显示近乎完美的缩放比例

目前的旗舰在 v6.1 轮中有自己的消息。 NVIDIA 提交的 DeepSeek-R1 从单个 GB300 NVL72 机架（72 个 GPU）扩展到四个机架、288 个 GPU，在离线场景中实现了 99% 的扩展效率，吞吐量几乎与添加的硬件成正比。

扩展效率是数据中心运营商密切关注的一个指标，因为它决定购买更多硬件是否实际上会按比例购买更多容量。跨机架的近线性扩展表明，这种规模的瓶颈仍然是每个 GPU 的性能，而不是机架间的通信。

软件不断复合

MLPerf 轮次中反复出现的模式再次出现：与 v6.0 相比，仅软件改进就使 NVIDIA v6.1 提交的性能提高了 1.6 倍，并且该公司表示，优化在 v6.1 提交截止日期后继续落地，带来了进一步的收益。

对于买家来说，这意味着给定的机架在其使用寿命内会变得更快，而无需更新硬件——充满活力的 NVIDIA 过去常常辩称，随着软件堆栈的成熟，其安装基础会增值而不是贬值。

代理工作负载重塑基准

v6.1 回合还反映出推理用途的转变。 NVIDIA 指出 SemiAnalysis 的 AgentX 基准测试的预览测试，该基准测试围绕跨多个步骤进行推理、计划和行动的 AI 代理而设计，Vera Rubin NVL72 的性能是 GB300 NVL72 的 30 倍。

MLCommons 还正在为这一转变准备一个专用基准：即将推出的 MLPerf Endpoints 基准旨在标准化传统吞吐量测试难以捕获的代理推理工作负载的测量。随着推理从单提示聊天转向长时间的多步骤代理会话，延迟和交互一致性与每秒原始令牌一样重要，并且正在相应地重建基准。

Nebius 和生态系统提前到来

云提供商 Nebius 还提交了 Vera Rubin NVL72 预览结果，NVIDIA 强调该结果是早期生态系统表现强劲的证据。早期的第三方提交通常表明下一代系统正在从实验室采样转向更广泛的可用性，尽管 NVIDIA 的帖子和 MLCommons 的发布都没有指定全面可用的时间。

为什么它对人工智能经济学很重要

NVIDIA 以收入来衡量结果：相对于 GB300 NVL72 机架，每个 Vera Rubin NVL72 机架可生成更多的代币、服务更多的用户并降低每个代币的成本。在推理需求由推理模型和代理工作负载驱动的行业中，每个查询消耗的计算量比简单聊天多几个数量级，每机架吞吐量是决定固定数据中心预算可以服务多少用户的数字。

通常的注意事项适用：这些是供应商在预览轮中提交的内容，涉及 NVIDIA 选择的两种模型，优化仍在进行中。但方向是明确的。 MLPerf 对 Vera Rubin 的首次研究表明，自 2023 年以来定义人工智能基础设施的性能攀升并没有出现停滞期，而且下一个机架更新周期将再次重置大规模服务人工智能的经济性。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →