人工智能基础设施的经济学已经发生了转变。 Positron AI 高管卡梅伦·麦卡斯基尔 (Cameron McCaskill) 在 SC26 超级计算会议上接受 CUBE Research 采访时分享了这一数字,他表示,如今人工智能基础设施运行的工作负载中大约三分之二是推理而非训练。三年前,这种划分几乎完全相反:大约 85% 是训练,15% 是推理。

这种逆转正在悄悄地重新绘制人工智能计算的版图,这也解释了为什么新一代推理优先的芯片制造商突然赢得了比自己规模大得多的公司的云交易。

翻转背后的数字

Positron 销售和业务开发主管 McCaskill 在接受 theCUBE Research 的 Rebecca Knight 和 John Furrier 采访时表示:“我们现在的情况是,通过这些人工智能基础设施运行的工作负载中约有三分之二是推理,而三分之一是训练。” “早在 2023 年,就好像 85% 是训练,15% 是推理。所以现在你可以明白为什么推理正在推动他们如何建设基础设施的经济决策。”

这种转变具有直观意义。培训在少数拥有数十亿美元集群的前沿实验室进行。每当用户提示模型时,推理无处不在——随着消费者和企业采用的爆炸式增长,对代币的总需求已经超出了为训练时代构建的基础设施。电源、冷却和内存供应现在与原始芯片性能一样决定了代币的生成方式,这也改变了哪些硬件赢得交易。

Positron 押注商品内存

Positron AI 在 9 月份以 50 亿美元的估值筹集了 8.75 亿美元,其整个战略都是围绕推理时代构建的。该公司的核心设计选择是:跳过高带宽内存(HBM),这是大多数人工智能加速器的稀有且昂贵的内存类型,而是围绕商品内存构建推理设备。

“业内几乎所有其他人都在使用所谓的 HBM 或高带宽内存。它的供应非常有限,而且非常昂贵,”麦卡斯基尔说。 “我们选择了商品内存。”

这些权衡是经过深思熟虑的。商品内存更便宜,也更容易采购,Positron 的架构使风冷房间的功耗保持在足够低的水平 - 不需要奇特的液体冷却。单个 Positron 服务器的功耗约为 4,500 瓦,而该公司即将推出的 Titan 服务器的整个机架功耗不超过 40 千瓦。

路线图正在快速推进。 Positron 的第一代 Atlas 服务器在可编程芯片上运行,该公司计划明年初为 Titan 服务器推出自己的芯片。该公司已经实现了大规模部署:根据 McCaskill 的说法,甲骨文本季度将在其云中引入大约 340 台 Atlas 服务器,而一家 neocloud 提供商已与 Atlas 签约,同时致力于即将推出的 Titan 一代。

模块化数据中心成为自然推理之家

也许采访中最重要的部分是麦卡斯基尔所说的需求来自哪里:不是超大规模的园区,而是小型、快速、模块化的设施。

他说:“我们现在看到的一批公司正在崛起,并向我们寻求产品的是这些模块化数据中心,他们拥有半兆瓦、1兆瓦或2.5兆瓦的模块化数据中心,而且这些数据中心可以非常快速地部署。” “许多推理玩家的目标是在 90 到 120 天内将土地和电力转化为可货币化的代币。”

对于千兆瓦规模的培训园区来说,这个时间线(从破土动工到实现收入大约需要四分之一)是不可能的,因为它可能需要数年时间才能获得许可、建设和通电。推理工作负载更小,地理上更灵活,并且可以容忍运营商可以在没有严格监管障碍的情况下找到几兆瓦的廉价电力的站点。其结果是出现了一层新兴的分布式推理基础设施,位于电信站点、托管设施和更接近实际需求的模块化单元中。

这对行业意味着什么

对于芯片供应商来说,传达的信息是人工智能硬件市场正在分化。培训继续奖励最先进的加速器和最雄厚的资金。推理奖励不同的优点:功效、内存成本、部署速度以及在普通风冷建筑物中运行的能力。仅针对训练竞赛进行优化的供应商可能会发现未来最大数量的部署决策(代币实际上已货币化)发生在为不同的约束条件设计的硬件上。

对于企

对于人工智能行业的建设叙事(通常被描述为对千兆瓦园区的无休止的竞赛),推理翻转提醒人们,需求曲线正在扩大,而不仅仅是规模扩大。 SC26 引用的三分之二里程碑是一位高管的估计,但它与每个主要云运营商报告的方向相符:人工智能构建的重心正在从训练模型转向为模型提供服务。

保持人工智能领先

通过 AI Buzz Wire 跟踪最新的 AI 发展,这是您的 AI 硬件和基础设施新闻来源。

阅读更多人工智能新闻 →