谷歌通过两款新的专用系统扩展了其第八代 TPU 产品线：TPU 8i Max 将两个推理芯片组合在一个封装中，用于长上下文代理工作负载；TPU 8tx 专为受监管企业和政府的机密、硬件隔离推理而构建。 Tom's Hardware 于周四报道了这些新增内容。
此举完善了谷歌于 4 月份推出的 TPU 8t 系列，其中 TPU 8t 专为大规模人工智能训练而设计，而 TPU 8i 则专为采样、服务和推理等通用推理工作而构建。有了新的变体，第八代产品线现在涵盖了训练、标准推理、安全推理和最大带宽代理推理——一系列选项反映了企业现在使用人工智能硬件的不同方式。此芯片新闻是我们对 AI 硬件市场的最新 AI 发展 报道的一部分。
新芯片的用途
TPU 8i Max 将两个 8i 芯片放在一个封装中，使原始 8i 的计算、SRAM 和高带宽内存带宽增加了一倍。该设计针对的是长上下文代理工作——人工智能代理在多步骤任务中携带非常大的工作上下文的场景。
Tom's Hardware 将带宽加倍视为绕过谷歌所谓的内存墙的一种方式，“当数十个人工智能代理在整个软件代码库中协同工作时”，带宽瓶颈就会变得严重。更大的上下文窗口（针对大约 100 万个令牌的更大模型）意味着更大的 KV 缓存（部分保存在 SRAM 中），并且生成的每个新令牌都必须从内存中读回该缓存。在单个封装中加倍 HBM 带宽恰恰可以解决该瓶颈，该出版物指出，这与 Nvidia 将用于解码的第二种芯片类型与用于上下文的存储层配对的方法不同。
与此同时，TPU 8tx 与之前宣布的面向训练的 8t 构建在相同的芯片上，但配置用于机密计算：为需要证明其数据和模型在处理过程中受到保护的受监管企业和政府提供硬件隔离的推理。该系统将 8t 和 8i 使用的基于 Arm 的 Axion 主机 CPU 替换为第五代 AMD EPYC 处理器，并采用 Google 的 Boardfly 网络。
值得注意的是，谷歌尚未透露这两个新系统的详细规格、价格或发货日期，因此买家目前拥有的是效果图和定位，而不是可订购的产品。
谷歌在公告中发布的效果图显示，一块 TPU 8tx 板载有四颗芯片，旁边还有四块 TPU 8i Max 板，每块板在一个封装上载有两颗芯片——这物理说明了第八代系列与前几代的单芯片通用加速器模型有多么不同。
TPU Sync：代理内存的软件层
除了芯片之外，谷歌还依靠软件来解决代理内存问题。 TPU Sync 是一个开源的“TPU 集群的模型状态层”，它可以在几毫秒内自动将大量 KV 缓存从芯片上分层，将它们向下移动到主机 DRAM 以及实验性的共享存储。
据谷歌称，这可以将 KV 缓存传输延迟减少 90% 以上，同时相应地缩短首次令牌时间（即人工智能系统开始响应之前用户体验到的延迟）。对于代理工作负载，单个会话可能涉及数十个顺序模型调用，每个模型调用都需要访问相同的累积上下文，因此缓存管理变得与原始计算一样重要。
为什么它对人工智能硬件市场很重要
TPU 已成为 Google 快速增长的业务，该公司声称拥有近 100 个芯片客户，其中包括 Meta，该公司在其数据中心采用 Google TPU 标志着对 Nvidia 领域最重要的竞争入侵之一。该公司表示，谷歌在第八代产品系列中采用了更加模块化的方法，使其能够“在几个月而不是几年的时间内”交付专用系统，从而帮助客户成长。
宣布这一消息的时机令人震惊。谷歌的芯片扩张计划就在英伟达宣布首席执行官黄仁勋辞职的同一天，首席财务官科莱特·克雷斯(Colette Kress)被任命为临时首席执行官——对于这家 GPU 主导市场、谷歌 TPU 正在蚕食的公司来说，这是一次非同寻常的领导力颠覆。这两起事件在原因上并无关联，但它们共同突显了人工智能基础设施市场的竞争激烈程度和波动性。
对于评估人工智能基础设施的企业来说，这些新增功能表明选择范围正在扩大：训练优化芯片、通用推理、受监管数据的安全推理以及代理队列的最大带宽包正在成为不同的产品类别，而不是一刀切的加速器。当谷歌发布定价和可用性详细信息时，买家面临的实际问题是，8i Max 的双倍带宽是否能够转化为代理车队足够的吞吐量，从而证明比标准 8i 部署更高的价格是合理的。
模块化还具有供给侧逻辑。谷歌不必等待数年等待下一代设计在整个硬件堆栈中循环，而是可以重新组合现有的芯片——就像它通过将 8t 芯片移动到具有不同主机 CPU 的安全推理包中一样——更快地到达利基市场，同时在所有变体中保持通用的软件堆栈。在客户需求每季度发生变化的市场中，这种速度本身就是一种竞争武器。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
