高通推出了 Cloud AI 100 Ultra，这是一款数据中心推理加速器，可提供高达 870 TOPS 的 INT8 性能和 288 TFLOPS 的 FP16 计算能力，同时功耗仅为 150 瓦，仅占目前主导生成式 AI 推理的 GPU 功率范围的一小部分。

该卡列在高通官方数据中心产品页面上，并在发布报道中进行了详细介绍，专为生成式人工智能和大型语言模型工作负载而设计。它将这家移动芯片巨头定位为推理市场的直接挑战者，随着企业大规模部署人工智能代理、副驾驶和检索增强应用程序，推理市场的需求正在激增。有关 AI 硬件竞赛的更多背景信息，请参阅我们的 AI 新闻报道。

规格：首先是 SRAM，其次是 DRAM

Cloud AI 100 Ultra 的核心是 64 个 AI 内核和 576 MB 片上 SRAM。高通公司的赌注是，保持模型权重和激活在物理上靠近计算单元，而不是将每个令牌传送到外部存储器，这将为基于变压器的模型带来回报，这些模型的生存和消亡取决于内存带宽。

该卡仍然搭载 128 GB LPDDR4x 内存，带宽为 548 GB/s，适用于更大的模型和更长的环境，通过具有 16 通道的 PCIe Gen4 连接。这种组合——大型片上 SRAM 加上适度的 150W 功耗——是该卡的与众不同之处。 Nvidia 的数据中心 GPU 功率范围通常为 300W 到 700W，当推理按代币计费且数据中心电力是业界最有争议的资源时，每一瓦特都很重要。

该公司在其产品材料中表示：“Cloud AI 100 Ultra 是一款性能和成本优化的人工智能推理解决方案。”并强调了从计算机视觉到自然语言处理等工作负载的可编程性。

软件：兼容 OpenAI 的入口

硬件从来都不是高通在数据中心的问题；软件有。该公司正在通过其 AI Inference Suite 解决这个问题，该软件层公开了 OpenAI 兼容的 API，用于构建聊天机器人、副驾驶和 AI 代理。

该套件支持聊天、图像生成、多模式模型和检索增强生成 (RAG) 工作流程，并通过 Kubernetes 或裸机容器进行部署。高通还提供用户管理和管理工具，这是原始加速器产品通常缺乏的一项平淡无奇的补充，但企业 IT 团队在内部转移工作负载时会非常重视这一补充。

兼容 OpenAI 的 API 界面具有战略意义：它让开发人员可以通过配置更改而不是重写来将现有的 OpenAI 绑定管道指向高通硬件，从而降低了保护该市场现有地位的切换成本。

一个拥挤的领域，有一个明确的领导者

高通进入的推理市场已成为人工智能硬件周期的战场。 Nvidia的L40S和H100占据主导地位； AMD 的 MI300X 和英特尔的 Gaudi 3 的目标是相同的工作负载；来自 Groq 和 Cerebras 的专用芯片在原始推理速度上开辟了利基市场。

需求方解释了这种争夺。为 AI 代理和 RAG 管道提供服务会使单个用户会话生成的模型调用数量成倍增加，而这些调用中的每一个都是一个推理问题，需要以尽可能低的每个令牌成本来解决。超大规模企业购买旗舰 GPU 机架来处理它；他们旗下的企业正在寻找适合标准服务器和标准电源电路的硬件，而无需重新协商电力合同。

高通的宣传重点是总体拥有成本，而不是峰值性能。对于大规模运行推理的企业来说，功耗直接影响运营成本，而提供具有竞争力的 150W 吞吐量的卡会削弱强力 GPU 的经济性。培训仍然是 Nvidia 的领域——Ultra 并没有对此提出任何要求——但推理才是行业单位经济实际决定的地方，而且这是大多数企业自行运行的工作负载，无论是在本地集群还是托管笼中。

软件生态系统仍然是一场艰苦的战斗。 Nvidia 的 CUDA 平台仍然是大多数 AI 开发人员的默认选择，虽然 OpenAI 兼容的 API 降低了进入门槛，但它们并没有消除自定义推理管道所需的返工。

它在高通产品阵容中的位置

Ultra 是 Qualcomm 推理产品系列中的顶级产品，该产品系列还包括 Cloud AI 80 Ultra（高达 618 TOPS 的 INT8，具有相同的 576 MB SRAM）、Cloud AI 100 Pro 和 Cloud AI 100 Standard，后者针对边缘和较小规模的部署，功率范围为 75W。

此次发布代表了高通最新一代的 Dragonfly 数据中心路线图，该公司一直在为云规模的人工智能工作负载开发该路线图，现在，无论出于成本、延迟还是数据治理的原因，该路线图都为那些希望在本地而不是在公共云中运行生成式人工智能推理的企业提供了理由。

赌注，一句话

高通公司押注，随着人工智能从少数超大规模企业转向数千家企业，获胜的推理卡不是最快的，而是最高效的。 Cloud AI 100 Ultra 就是硅芯片中的论点；开发人员是否遵循瓦数仍然是一个悬而未决的问题。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →