Nvidia 于 2026 年 8 月 24 日在 Hot Chips 会议上宣布，其 Groq 3 LPX 交互式推理加速器已投入全面生产。该芯片是 Nvidia Vera Rubin 平台的扩展，在人工分析基准测试中每秒输出创纪录的 3,400 个令牌，同时运行带有 100,000 个令牌上下文窗口的开源 Gemma 4 31B 模型，这是该模型有史以来最快的性能记录。

此次发布标志着 Nvidia 以 200 亿美元收购推理专家 Groq 以来最重要的产品里程碑，随着对低延迟推理的需求激增，该公司现在正在利用这笔交易。 CNBC 报道称，Nvidia 表示首批 Groq 机架将于今年年底前上线。有关此故事的更多背景信息，请参阅我们正在进行的 人工智能行业报道。

为什么代币生成速度很重要

代理人工智能系统——推理、调用工具、编写和测试代码以及迭代数百或数千个推理步骤的程序——生成大量的输出令牌。生成这些令牌的速度（称为交互性或解码吞吐量）决定了代理完成其工作的每个步骤的速度。

Nvidia 表示，Groq 3 LPX 为代理和延迟敏感型工作负载提供的响应速度比最近的替代平台快 4 倍。在异构部署中，Vera Rubin NVL72 系统处理上下文摄取和预填充计算，而 Groq 3 LPX 单元处理延迟敏感的令牌生成阶段。

英伟达创始人兼首席执行官黄仁勋在公告中表示：“推理是人工智能的增长引擎。” “Vera Rubin 通过专为代理 AI 时代设计的工作负载优化的 AI 工厂配置扩展了这一愿景，通过 LPX 推进超快代币生成的性能前沿。”

硬件内部

根据 StorageReview 的技术分析，每个 2U 液冷计算托盘可承载 16 个 Groq 3 LPU，以及主机 CPU、结构扩展逻辑和 DRAM，以及 BlueField-4 DPU 或 ConnectX-9 网卡。该托盘的前面板上具有 32 个 LPU 芯片到芯片光学链路和 400Gb/s 以太网。

在机架规模上，Groq 3 LPX 部署包含多达 256 个 LP30 加速器，这些加速器通过高速、直接芯片间互连进行连接。这些机架可插入 Nvidia 更广泛的 Vera Rubin AI 工厂基础设施，该公司将其描述为有史以来最广泛的平台：五个专用机架配置中的七个分立芯片，包括 BlueField-4 DPU、Vera CPU 机架、Vera BlueField-4 STX 存储和 Spectrum-6 SPX 以太网网络。

Nvidia 还刷新了其平台级性能声明，表示在 140,000 个令牌代理编码工作负载上，Vera Rubin NVL72 每兆瓦的令牌吞吐量是 GB300 NVL72 的 30 倍，并且随着每用户交互目标的提高，优势不断扩大。

带星号的基准

每秒 3,400 个代币的标题数字附带了一个值得注意的警告。正如 StorageReview 指出的那样，Nvidia 的结果是在 8 月 21 日在私有预发布端点上测量的，而与之比较的竞争数据来自实时无服务器生产端点。普遍可用服务的实际性能可能与创纪录的基准配置不同。

尽管如此，独立基准测试组织 Artificial Analysis 记录的结果是 Gemma 4 31B 在该上下文长度下测得的最快速度，并且其基本主张——专用芯片可以显着加速推理的解码阶段——与行业针对代理工作负载重新架构的方式一致。

云采用开始

总部位于阿姆斯特丹的人工智能云 Nebius 是第一家承诺部署 Groq 3 LPX 的提供商，计划将其引入其生产推理平台 Nebius Token Factory。

Nebius 首席技术官 Danila Shtan 表示：“生成是决定 AI 系统实际响应速度的推理阶段，而这正是 NVIDIA Groq 3 LPX 旨在加速的目标。” “作为第一个通过 Nebius Token Factory 将其投入生产的人工智能云，我们确保代理循环的每一步都感觉即时 - 通过开发人员已经使用的相同 API，无需迁移到新堆栈。”

推理提供商 Groq 现在属于 Nvidia 家族，计划成为该平台最早的采用者之一。

大局观

此次全面量产的公告标志着人工智能基础设施市场已从训练转向推理的速度有多快。随着企业将预算从原始模型预训练转向实时推理和自主代理编排，代币的经济性（生成速度和能源成本）已成为核心竞争战场。

对于 Nvidia 来说，当来自云提供商和初创公司的定制芯片正在追逐相同的代理推理工作负载时，Groq 3 LPX 扩展了对其 AI 工厂专营权的防御。据 CNBC 报道，今年上线的机架将在收购完成几个月后将第一套生产系统交付给客户——这是按照半导体行业标准的快速集成。

该公司没有透露新系统的定价。 Groq 3 LPX 将通过 AI 云合作伙伴在可用时提供，Nebius 预计将成为第一个通过其现有 API 端点为开发人员提供访问权限的公司。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →