由前 OpenAI 首席技术官 Mira Murati 创立的研究公司 Thinking Machines Lab 发布了一份详细的技术说明，说明如何几乎完全以 4 位精度训练大型语言模型，该公司表示，这项技术可以在 Nvidia 最新的数据中心硬件上实现显着的速度和内存节省。

这篇题为“端到端 4 位训练”的博文于 11 月 13 日发布在该公司网站上，详细介绍了低精度训练背后的数值权衡，并描述了团队在训练 Inkling 2 Small 模型时如何管理这些权衡。对于关注最新人工智能发展的读者来说，这篇文章罕见地公开展示了决定前沿规模训练实际成本的工程决策。

为什么更少的位数意味着更快的训练

训练大型语言模型涉及计算和存储大量数字。每个值使用更少的位数可以减少内存使用量，并让 GPU 更快地执行算术。代价是精度：更少的位数意味着更少的可表示的数字，因此必须更积极地对值进行舍入。

该公司用一个简单的例子来说明这个问题。如果一种格式只能表示数字 3 和 4，则存储 3.2 需要舍入为 3，从而引入 0.2 的量化误差。单个舍入误差是微不足道的，但在训练过程中，这些误差会跨层和优化步骤累积，并且可能会干扰学习过程本身。

“这是低精度训练的核心挑战：我们如何才能从更快的算术中受益而不引入干扰学习的错误？”该公司在帖子中写道。

三种形式，一次训练

Thinking Machines 并没有承诺单一的精度水平，而是在不同的训练阶段使用三种数字格式：BF16、MXFP8 和 NVFP4。每种格式都有固定的精度，但其速度取决于运行它的硬件。

该公司在 Nvidia 的 Grace Blackwell Ultra 平台 GB300 上进行训练，该平台专为加速 NVFP4 中的矩阵乘法而设计。根据该帖子，NVFP4 存储值的位数比 BF16 少 3.6 倍，同时在 GB300 系统上运行速度提高了 6 倍。在原始吞吐量方面，该公司列出的 GB300 性能在 NVFP4 中约为 15 PFLOPS，在 MXFP8 中约为 5 PFLOPS，在 BF16 中约为 2.5 PFLOPS。

问题是 NVFP4 的激进压缩比更宽的格式引入了更多的量化误差。这种错误在培训的某些阶段是可以接受的，而在其他阶段是不可接受的，这就是公司单独对待每个阶段的原因。

不同阶段，不同规则

这篇博文将训练分为四个阶段——预训练的前向和后向传递、强化学习采样器和强化学习训练器——并为每个阶段分配了不同的优先级平衡：最小化错误、最小化偏差、提高速度和减少内存使用。

在大批量步骤中，速度最为重要：预训练（运行数万亿个代币）和 RL 采样（生成大量部署）。然而，向后传递是一种特殊情况。这篇文章解释说，向后传递一批中许多令牌的平均值，这会稀释随机分布的舍入误差的影响 - 但它们对量化偏差高度敏感，量化偏差是当值一致朝一个方向舍入时发生的系统漂移。与随机噪声不同，这种偏差可以跨层、样本和训练步骤复合。

该公司表示，它在训练 Inkling 2 Small 时管理了这些权衡，Inkling 2 Small 是本月早些时候在 Apache 2.0 许可证下发布的开放权重混合专家模型。该帖子并未声称运行的每个部分都以 4 位运行；相反，它描述了一种端到端策略，其中每个组件的精度都是有意选择的，而不是默认继承的。

为什么低精度训练很重要

这里的经济学很简单。计算是前沿模型开发的主要成本，硬件供应商一直在竞相为每一代新芯片添加低精度加速。 Nvidia 将其 Blackwell Ultra 平台中的 NVFP4 支持作为一项主要功能，而来自 AMD、Google 和其他公司的竞争对手加速器则宣传自己的降低精度格式。

如果研究实验室可以安全地将更多的训练流程推入 4 位算术，那么相同的硬件预算就可以购买更多的实验、更多的代币或更大的模型。在尖端加速器稀缺且昂贵的市场中，这是一个有意义的优势。它还与业界更广泛地推动效率技术（例如量化感知推理和推测解码）相结合，这两者都从固定硬件中挤出了更多功能。

这篇文章也表明了研究界的发展方向。长期以来，低精度训练被认为对于推理之外的任何事情都风险太大，因为舍入误差被认为会破坏学习。仔细的逐步分析——就像《Thinking Machines》发表的分析一样——是如何检验这一假设的，并在可能的情况下推翻这一假设。

从博客文章到开放重量

这项披露值得注意的是，它并非纯粹是理论上的。该公司将该技术直接与其实际发货的模型联系起来。 Inkling 2 Small 于 11 月初发布，并提供可下载的权重，新帖子解释了其训练背后的数值策略。下载该模型的从业者实际上获得了该公司描述的低精度方法的工作工件。

Thinking Machines 对前沿规模的实验室异常开放，在发布模型的同时还发布了技术博客文章。这种透明度为外部研究人员提供了一些罕见的东西：对现代训练如何处理混合精度算术的混乱数字现实的记录的、可重复的描述。

对于更广泛的行业来说，信息是 4 位培训已经从研究好奇心转向生产技术。随着越来越多的实验室采用类似的策略，理论硬件峰值性能和实现的训练吞吐量之间的差距将会缩小，并且训练模型的成本将继续下降。

保持人工智能领先地位

前沿模型背后的技术每周都在发展。 关注 AI Buzz Wire，获取有关塑造该领域的研究的清晰、来源的报告。

阅读更多人工智能新闻 →