AMD 推出了 Threadripper Halo Station,这是一款极致级 AI 工作站,配备 96 核 Threadripper Pro CPU 和双液冷 Instinct MI350P 加速器,该公司将这一组合称为世界上最强大的工作站,能够在本地运行数万亿参数的 AI 模型。该机器已在 IFA 上展示,但 AMD 尚未公布定价、发布日期或 OEM 合作伙伴。

这一消息发布之际,工作站级人工智能硬件正在迅速升温。有关此故事及其竞争对手举措的更多信息,请参阅我们正在进行的 AI 硬件新闻 报道。

规格:96 Zen 5 核心加上 288GB HBM3E

Threadripper Halo Station 的核心是 Threadripper Pro 9995WX,这是一款 96 核、192 线程 Zen 5 芯片,主频高达 5.4 GHz。它配备 384 MB 的 L3 缓存和 350W TDP。该芯片本身并不是一个小商品:独立的 Threadripper Pro 9995WX 单元的零售价约为 11,000 至 12,000 美元。

加速来自一对 AMD Instinct MI350P 加速器,均为液冷式。每张卡均搭载 128 个基于 TSMC N3 工艺构建的 CDNA 4 计算单元和 144GB HBM3E 内存,为系统提供了 288GB 开箱即用的高带宽内存。每个加速器的额定功耗高达 600W。

AMD 表示,有一条“通往四个的道路”——这意味着该平台最终可以支持另外两个加速器,将 GPU 内存总量提升至 576GB。然而,在 IFA 展示的设备中,只有 Threadripper 主机旁边的两个液冷卡的物理空间。

系统内存最高可达 2TB DDR5,这是 CPU 八通道内存控制器支持的最大内存。这本身就是一个惊人的数字:按照当前的市场价格,2TB DDR5 的成本约为 50,000 美元。

成本是多少:想想六位数

AMD 尚未设定价格,但组件数学说明了一切。 Tom's Hardware 对配置进行了检查,根据核心组件(CPU、内存和双 GPU)的说法,在考虑存储、电源和冷却因素之前,市场价格应该超过 100,000 美元。如果配置更高,该机构估计工作站“很容易就会超过 150,000 美元”。

该机器本身被描述为本质上是一个重新配置成塔式外壳的服务器托盘。 AMD 没有透露超出规格的详细信息,该公司表示该设计是其 OEM 合作伙伴最终将构建和发货的设计。目前尚未宣布合作伙伴,AMD 似乎也不打算直接销售基于 MI350P 的工作站配置。

AMD 的主张:桌面上的万亿参数模型

AMD 的头条新闻是 Threadripper Halo Station 可以运行万亿参数模型。这就是巨大的统一内存故事的功能:两个加速器上有 288GB 的​​ HBM3E(在四 GPU 配置中可能有 576GB),理论上,通常需要数据中心服务器的模型可以在本地加载和运行。

这一说法立即引起了硬件爱好者的关注。具有数万亿参数的大型语言模型通常需要量化才能适应可用内存,而带宽为 400-500GB/s 的系统 RAM 远慢于 GPU 内存,这使得 PCIe 传输速度成为在 CPU 和加速器之间移动数据的工作负载的潜在瓶颈。实际上,模型在推理过程中可能会保留在 GPU 内存中,CPU 及其 2TB DDR5 支持围绕模型的开发任务。

它如何与 Nvidia 和联想竞争

Threadripper Halo Station 进入了一个利基但快速增长的桌面人工智能超级计算机市场。 Nvidia 的 GB300 驱动的 DGX Station 台式塔式台式机已在网上上市,售价近 10 万美元。在可访问端,AMD 最近将 3,999 美元的 Ryzen AI Halo 定位为 Nvidia 的 DGX Spark 的挑战者——这是一款针对开发人员而不是万亿参数工作负载的机器。

此类产品有更高标价的先例。联想 ThinkStation P8 使用 Threadripper Pro CPU 作为主机,目前在配备 2TB DDR5 和双 Blackwell 加速器时售价为 334,463 美元。在此背景下,价值六位数的 Halo Station 不会是一个异常值。

为什么它很重要

Halo Station 表明 AMD 有意竞争 AI 计算堆栈的每一层(从 3,999 美元的台式机到数据中心 GPU),而不是将高端工作站让给 Nvidia 的 DGX 系列。对于实验室、具有严格数据主权要求的企业以及需要防火墙后面的前沿模型的研究人员来说,具有 288GB HBM3E 的液冷、96 核桌面系统可能是云租赁的一个引人注目的替代方案。

AMD 尚未回答的悬而未决的问题是:最终定价、发布日期以及哪些原始设备制造商将实际构建它。鉴于该机器在 IFA 上首次亮相时没有附加合作伙伴,这些细节预计将在未来几个月内公布。已经很清楚的是,“工作站”和“数据中心”之间的界限不断变化,AMD 打算进一步推动这一界限。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →