Cerebras Systems 表示,它已将分类推理投入生产,在传统 GPU 与其晶圆级处理器之间分配人工智能推理工作负载,该公司声称,在不牺牲生成速度的情况下,每兆瓦可提供五倍的代币。
该公告于 2026 年 11 月 17 日发布在该公司的博客上,标志着该公司的一个显着转变,该公司多年来一直将其 Wafer Scale Engine 定位为基于 GPU 的推理的替代方案,而不是其补充。现在,Cerebras 表示 GPU 处理提示处理阶段,而其自己的系统处理令牌生成阶段。 更多相关背景,请参阅我们的AI行业报道。
为什么要将推理一分为二?
推理分两个阶段进行。 Prefill 处理用户的提示并生成中间模型状态。然后,解码使用该状态在自回归循环中一次生成一个输出标记,该循环对响应的每个单词重复。
这两个阶段具有非常不同的计算配置文件。预填充计算量大且并行,这是 GPU 的优势所在。解码是内存带宽限制和顺序的,这就是 Cerebras 认为其晶圆级架构具有优势的地方,因为整个模型可以位于单块硅片上,而无需在生成过程中减慢 GPU 集群速度的芯片间通信。
该公司尝试了其他分配工作负载的方法。 Cerebras 在其博客文章中列出了草案目标方案,其中一个小模型提出代币,一个较大的模型验证它们,以及它考虑的替代方案之间的注意力-FFN 分离。但它认为,将预填充与解码分开特别适合高度交互的应用程序,因为解码阶段保持了 Cerebras 标志性的超快生成速度完好无损。
索赔背后的数字
根据公告,分类配置现已在 Cerebras Inference Cloud 中上线,并以公司已经提供的相同代速度提供每兆瓦五倍的代币。 Cerebras 表示基础设施合作伙伴也可以在自己的数据中心部署相同的分离架构。
经济逻辑很简单。推理提供商通过每个代币赚取收入,而权力是对容量的约束性约束。如果相同兆瓦的发电量是代币的五倍,则同一设施会产生相应更多的收入潜力,该公司通过比较聚合和分类服务配置的表格来说明这一点。
该公告还基于需求预测,认为该行业需要尽可能提高效率。 Cerebras 援引高盛研究报告称,到 2030 年,人工智能推理需求预计将比 2026 年的水平增长约 24 倍,而同期数据中心容量仅增长约 2.2 倍。如果这两个预测都成立,那么用户想要运行的内容和可以供电的设施之间的差距将成为 2020 年代末人工智能建设的决定性约束。
代理应用程序推动紧缩
该公司将需求激增归因于代理应用程序将在 2026 年迅速扩展,并将 Muse、Copilot 和 Codex 作为需要高度交互式推理以保持用户参与的产品示例。逐个令牌流式传输响应的对话代理正是这样的工作负载,其中生成速度是面向用户的功能而不是后端指标。
Cerebras 将此次发布置于更广泛的产能推动范围内。该公司指出,其最近宣布的 CS-4 系统、其制造产量的大幅扩展以及计划的约 700 兆瓦的数据中心容量,将使其及其合作伙伴在 2027 年及以后提供大量流量。
晶圆级的务实转向
从战略上讲,该公告被解读为对 GPU 主导地位的务实妥协。 Cerebras 并没有要求客户将整个推理管道转移到奇异的芯片上,而是提出了一种分工:让 GPU 做它们最优化的事情,让晶圆级硬件做它最擅长的事情。对于在需求激增和功率限制之间受到挤压的推理提供商来说,重点是他们可以在不等待新一代硬件的情况下添加容量。
只有当合作伙伴大规模部署配置时,五倍效率声明是否适用于不同的模型架构和现实世界的流量混合才会变得清晰。但整个行业的发展方向是明确的。随着推理取代训练成为主要的计算工作负载,每个主要硬件供应商都在重新审视这两个阶段的划分、供电和定价。
与 GPU 原生方法相比如何
主要的超大规模推理提供商都在追求自己的分解策略,通常会针对每个目的调整 GPU 系列的两个阶段。 Cerebras 的变体在跨供应商方面具有独特性:该公司确认 AMD GPU 处理其生产配置中的预填充阶段,Cerebras 系统负责解码。这种异构性对于运营商来说很重要,因为它将预填充和解码视为可单独采购的商品,而不是单个集成堆栈。
该公司公布的业绩强调,这种拆分保留了发电速度,而不是为了效率而牺牲发电速度。这种区别解决了长期以来对分类服务的批评:单独批处理预填充可能会增加第一个令牌的延迟,而任何减慢解码循环的配置都会破坏优质推理服务所推销的交互感觉。 Cerebras 声称其安排避免了这两种处罚,尽管不同提示长度和流量模式的独立基准将是真正的考验。
对于追踪基础设施竞赛的 AI Buzz Wire 读者来说,Cerebras 传达的信息是,单芯片通用推理时代正在让位于专门构建的管道,并且该公司打算拥有其中一半的解码能力。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →