人工智能领域增长最快的成本可能不是芯片，而可能是为其供电的电力。 10 月 12 日，密歇根大学宣布，全球占主导地位的 AI 计算公司 NVIDIA 正在评估如何在 NVIDIA 广泛使用的用于训练大型语言模型的开源平台 Megatron-LM 中添加两款密歇根大学节能工具。据该大学称，该软件可以将训练人工智能所需的能量减少高达 50%，而不会影响训练速度或模型性能。
这一消息的重要性远远超出了某个实验室的发表记录。 Megatron-LM 不是一个利基研究代码库：公司可以直接使用它，也可以作为自己的私人定制训练平台的基础，它是用于训练 NVIDIA 旗舰 Nemotron 模型的平台，用户可以将其下载到自己的硬件上。如果密歇根大学的工具进入 Megatron-LM，学术实验室开发的效率改进将传播到世界上很大一部分人工智能训练中。如需持续报道人工智能背后的基础设施竞赛，请关注我们主页上的最新人工智能发展。
卡瑞乌斯和珀尔修斯实际上做了什么
这两种工具针对分布式训练中不同的浪费源及其节省堆栈。
Perseus：管理处理器速度
Perseus 解决了过度配置的计算问题。在大型训练运行中，并非每个处理器每时每刻都在做有用的工作，但它们都会消耗能量。据密歇根大学称，通过管理处理器速度以匹配训练中每个点的实际工作量，Perseus 将训练 AI 所需的能量减少了 30%。
Kareus：更智能的计算和通信计时
卡里乌斯的目标是一个更微妙的问题。训练现代模型需要协调数百到数千个处理器，并且工作在计算和芯片间通信之间分配。 Kareus 通过找到这些训练和通信任务之间最有效的时间安排和资源共享（对每项任务进行调度，以便双方都不会闲着等待对方），将训练能量额外减少 15% 到 30%。
该大学表示，这些工具可以节省大约一半用于训练人工智能的能源，同时提供相同的训练速度和最终模型性能。 Kareus 也是一项经过同行评审的成果：该工具在 7 月份的 USENIX 操作系统设计与实现 (OSDI) 研讨会上进行了展示，该研讨会是系统研究的顶级场所之一。
为什么 NVIDIA 的兴趣是真实的故事
学术效率研究通常面临着漫长的生产之路。这一次可能会有所不同，因为它落地的地方不同。作为实习的一部分，博士生 Ruofan Wu 在 NVIDIA 度过了去年夏天，将 U-M 软件集成到 Megatron-LM 中，这意味着这些工具不是提案，而是 NVIDIA 训练堆栈中的工作代码，目前正在接受正式评估。
密歇根大学计算机科学与工程博士生吴在该大学的声明中表示：“随着模型变得越来越大，越来越多的人想要训练模型，人工智能正在变得功率受限，但我们可以使用更少的能源实现相同的训练速度和性能。” “在软件和硬件层面优化人工智能能源使用有很多机会，实习中最有价值的部分之一就是有机会将我的研究想法引入生产系统，”她补充道。
“功率受限”这个词是该行业的新口号。密歇根大学研究团队还包括博士生 Jeff Ma 和 Jae-Won Chung 以及副教授 Mosharaf Chowdhury，他们正在与 NVIDIA 合作进行集成。该团队的框架很简单：目标是通过找到最有效的方法来协调数百到数千个处理器的训练，让人工智能以更少的能源和成本做更多有用的工作。
能源现在是首要约束
前沿培训的规模可以将节省的百分比转化为战略数字。 Meta 本周表示，其新的 Muse Wonder 模型在 Prometheus 进行了训练，并将其描述为千兆瓦级数据中心。当单个训练活动以这种规模进行时，百分比级别的能量减少并不是舍入误差；这就是训练运行是否符合功率预算的区别。
经济学遵循物理学。能源已成为人工智能扩张的门禁资源之一。使用现有硬件将训练运行电费减半的软件改变了每家训练自己模型的公司的计算方式，特别是对于能源成本是约束因素的小型企业而言。
它还重新定义了围绕人工智能的环境争论。大部分公众讨论都集中在推理能量上，即每个聊天机器人查询所消耗的能量。但培训是最大的单一能源集中的地方，而经过同行评审、与供应商无关的软件方法将其削减多达一半，提供了比硬件路线图更罕见的东西：效率的提高可以通过下一个开源版本而不是下一个数据中心构建来实现。
接下来会发生什么
该大学表示，NVIDIA 正在评估如何将该软件添加到其开源培训平台中。如果它在 Megatron-LM 中发布，考虑到该框架在整个行业和学术界的使用范围，采用可能会迅速蔓延。密歇根大学团队更广泛的研究计划继续寻求整个软件和硬件堆栈的节能——这个议程在几年前似乎是小众的，现在看起来像是游戏的中心。
