Cerebras 发布了一份详细的工程分解图，介绍了如何在其晶圆级硬件上部署万亿参数人工智能模型，这是一次罕见的公开审视模型超快推理背后的管道，仅权重就需要 TB 级内存。

这篇文章由 Sarah Chieng 撰写，于 2026 年 10 月 22 日发布在 Cerebras 博客上，在登上《黑客新闻》头版后，周末再次引起人们的关注。其核心问题很简单：单个 Cerebras WSE-3T 晶圆具有 44 GB 片上存储器，但万亿参数前沿模型仅需要 TB 来存储其权重。您如何弥补这一差距？ 更多相关背景，请参阅我们的AI最新动态。

为什么万亿参数模型会破坏普通硬件

对于传统加速器来说，答案始于一个令人不安的事实：在完全精确的情况下，具有三万亿参数的模型无法放入市场上任何单芯片的内存中。 GPU 集群通过在许多设备上分割模型并通过高速互连不断传输权重和激活来解决这个问题——这是大型模型的推理昂贵且缓慢的一个重要原因。

Cerebras 采用了不同的方法。其晶圆级芯片包含大量片上 SRAM（每个 WSE-3T 晶圆 44 GB），这意味着该公司的目标是将权重保留在片上，其中内存访问速度比任何片外链路都要快得多。

该公司表示，这种架构使其能够以每秒 1,000 到 2,000 多个代币的速度运行数万亿参数模型。

Kimi K3 作为工作示例

为了使解释更具体，Cerebras 介绍了 Kimi K3 的部署，这是一个包含大约 3 万亿个参数的开源模型。该模型采用混合架构：69 个线性注意力层和 24 个密集层。

该博客援引基准测试结果称，Kimi K3 在 Terminal-Bench 2.1 上得分为 88.3%，仅落后于 GPT-5.6 Sol 的 88.8%，在 BrowseComp 上得分为 91.2%，领先于 GPT-5.6 Sol 的 90.4%。 Cerebras 认为，这些数字显示了开放权重模型中的前沿级编码和代理能力，这使其成为一个很好的演示目标。

工作示例假设平均请求大小为 256,000 个令牌、4 位权重量化（与 Hugging Face 实现匹配）和 8 位 KV 缓存。

将 3T 模型切片为 44 GB 块

算术是这篇文章中最具启发性的部分。按每个参数 4 位计算，Kimi K3 的 3 万亿个参数相当于大约 1.5 TB 的原始权重。该模型分为 93 层，每层大约需要 16 GB。

这恰好适合每个晶圆上可用的 44 GB，但两种层类型的划分不同：

  • 密集层需要 KV 缓存空间，因为充分关注会存储每个活动请求中每个令牌的键和值。 Cerebras 在每个晶圆上放置一层致密层，将剩余的 SRAM 留给该缓存。
  • 线性注意力层 无论上下文长度如何，每个请求只保留一个小的、固定大小的状态，因此不需要 KV 缓存。这为每个晶圆留出了两个线性层的空间。

该模型具有 69 个线性层和 24 个致密层，映射到 35 个线性层晶圆和 24 个致密层晶圆 — Kimi K3 的单个副本总共 59 个晶圆。

权重永远不会移动——只有激活才会移动

第二个关键想法是 Cerebras 在这 59 块晶圆之间发送什么以及不发送什么。该公司将模型作为管道执行：编译器将层映射到晶圆区域后，运行时会绘制从晶圆到晶圆的路径标记。

至关重要的是，由于每一层都完全适合一个晶圆（或两个晶圆，对于线性层），因此模型权重永远不必移动。层不会跨晶圆分割。只有激活从一个晶圆跨越到下一个晶圆，通过标准以太网上的 RDMA 进行，跳跃时间约为 2 微秒。

这个设计点在很大程度上解释了 Cerebras 的性能主张。在 GPU 部署中，在设备之间移动权重或分片状态通常是瓶颈；在 Cerebras 硬件上，互连仅携带小得多的激活张量。

为什么它对推理市场很重要

这篇文章部分是工程解释，部分是论证：晶圆级 SRAM 是服务于业界日益庞大的模型的可靠方式。随着像 Kimi K3 这样的开放权重版本接近 3 万亿个参数，内存墙成为推理经济学的决定性约束，而保持权重固定的方法在每个代币速度上具有结构性优势。

它还强调了量化的程度。整个部署取决于 4 位权重和 8 位 KV 缓存，与 16 位基准相比，这些技术可将内存占用量减少大约 75% 或更多，同时保持基准性能。没有它们，即使 59 个晶圆也不够。

权衡也是真实的。 59 晶圆系统是大型专用机器，管道方法假设请求可以在整个系统中高效地进行批处理。 Cerebras 的博客将并发性作为其核心主题之一，并指出该架构旨在处理大量并发请求。

目前，这篇文章是最清晰的公开解释之一，说明了如何以四位数的代币速度为前沿规模的开放模型提供服务，这表明有关推理硬件的讨论正在从芯片转向全晶圆系统。

来源：Cerebras 博客，“我们如何在 Cerebras 上部署万亿参数前沿模型”（2026 年 10 月 22 日）。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →