谷歌推出TPU 8tx和TPU 8i Max，完善四系第八代AI芯片阵容

谷歌的新 TPU 8tx 将机密计算带入推理，而 8i Max 将内存带宽加倍，以应对大规模上下文代理工作负载。

谷歌通过两款新系统扩展了其第八代 TPU 产品组合——用于安全、保密推理的 TPU 8tx 和用于大规模上下文窗口的 TPU 8i Max——这标志着该公司首次在一年内交付四个 TPU 系统。

谷歌在周一发布的一篇博客文章中表示，这两项新增功能是针对十年前推出第一个 TPU 时几乎不存在的工作负载配置而设计的：自主代理舰队在巨大的上下文窗口上进行推理并处理敏感的企业数据。该公司写道：“随着计算从人类规模转向代理规模，企业需要能够在人工智能模型的巨大上下文窗口中进行推理的加速器。” “此外，一些受到严格监管的客户正在要求针对独特工作负载的专门加密功能。” 更多相关背景，请参阅我们的AI行业报道。

适用于代理生命周期每个阶段的系统

第八代产品于 4 月份在 Google Cloud Next 推出，包括专为大规模训练而构建的 TPU 8t 和专为实时推理而构建的 TPU 8i。谷歌表示，与上一代相比，8t 的训练性能提高了 2.7 倍，8i 的推理性价比提高了 80%。

两个新来者瓜分了剩余的领土。正如谷歌所说，这四个系统共同为客户提供了“针对代理生命周期每个阶段的专用加速器”：用于扩展训练的 TPU 8t、用于低延迟推理的 TPU 8i、用于机密计算的 TPU 8tx 以及用于大规模上下文窗口和每机架最高计算密度的 TPU 8i Max。

TPU 8tx：硬件内置安全性

谷歌指出，TPU 8tx 针对安全和保密推理进行了优化，也非常适合小规模训练。目标客户很明确：受监管的企业和政府运行前沿或专有模型以及自主代理以及最敏感的数据。

该工程方法解决了安全计算中长期存在的紧张局势。数据在存储或传输时通常是加密的，但在计算机处理数据时（在数据最暴露的时刻）必须在内存中解锁。 TPU 8tx 采用与 TPU 8t 相同的芯片构建，并与第五代 AMD EPYC CPU 主机配对，将安全性直接构建到硬件层中，即使在活跃使用时也能保护和隔离敏感数据和模型权重。

该系统使用谷歌为实时推理而创建的相同低延迟“Boardfly”网络，这意味着它可以同时处理训练级计算和快速推理。谷歌表示，这可以让组织使用私有数据微调模型，将大型模型提炼为较小的模型，并通过单个系统上的强化学习来训练代理，而无需在不同集群之间迁移敏感数据。

TPU 8i Max：攻击内存墙

TPU 8i Max 完全解决了不同的限制。谷歌写道：“当数十个人工智能代理同时在整个软件代码库或数小时的视频中协同工作时，内存带宽很快就会成为瓶颈。”该公司的答案是架构性的：将两个低延迟 TPU 8i 芯片组合到一个封装中。

其结果是一个能够同步扩展计算和内存的系统 — 提供 TPU 8i 双倍的计算、双倍的 SRAM 和双倍的 HBM 带宽。谷歌表示，由于 TPU 8i Max 在现有机架占地面积内安装了两倍的芯片，因此数据中心每平方英尺和每瓦特可以部署显着更高的计算能力，当功率和占地面积成为人工智能容量扩展的约束性限制时，这是一个有意义的考虑因素。

为什么是系统，而不是芯片

周一宣布的一个重要细微差别是，谷歌将这些视为新系统而不是新芯片。该公司解释说，设计芯片是一个多年的过程，需要布置数十亿个晶体管，并受到物理和制造时间的限制。系统——如何围绕芯片安排计算、网络、存储和封装——可以更快地调整。

这种模块化是谷歌人工智能超级计算机战略的核心，它使得四个专用系统能够在一代内发布。谷歌还强调了自己的人工智能基础设施现在有多少重新用于构建硬件：该公司使用 DeepMind 的 AlphaChip 强化学习系统，并表示 Gemini 现在可以帮助“在数小时而不是数周内”交付芯片布局。谷歌称其为“真正的协同设计”和独特的差异化因素。

竞争环境

此次扩张是在人工智能加速器竞争加剧之际进行的。 TPU 部署因其在服务 Google 自己的墙外模型中的作用而引起了人们的关注 - 该公司指出，TPU 现在为其 Gemini 模型、代理工作负载、Google Cloud 客户服务以及最近将 TPU 直接部署到客户自己的数据中心提供训练和服务。谷歌将 TPU 描述为“一项快速增长的业务”。

对此次公告的报道，包括来自 TechPowerUp 和《电子周刊》的文章，都以明确的竞争性术语描述了这一举措——谷歌扩大了其定制芯片阵容，以吸引原本可能在 NVIDIA 硬件上运行的人工智能工作负载。就 NVIDIA 而言，它继续推出连续几代自己的机架级系统，为人工智能基础设施买家提供了在商用芯片和定制芯片之间越来越可靠的选择。

这对开发人员意味着什么

对于开发人员来说，实际意义不在于任何单一基准，而在于适合度。开发处理长文档、大型代码库或扩展视频上下文的代理产品的团队已经达到了原始 FLOPS 无法解决的内存带宽上限——8i Max 就是为了解决这个问题而设计的。由于数据在处理过程中必须解密而无法将敏感工作负载转移到共享基础设施的金融、医疗保健和政府团队现在可以在 8tx 中获得硬件支持的选项。

谷歌将硬件新闻与软件可访问性消息结合起来，指出其最近发布的 PyTorch 及其宣称的目标是使 TPU“像通用硬件一样易于使用”。该公司周一举办了一次广播，详细介绍了新系统，并表示客户可以在谷歌云网站上探索完整的基础设施阵容。