人工知能のコストが最も急上昇しているのはチップではないかもしれません。チップに電力を供給しているのかもしれません。 10 月 12 日、ミシガン大学は、世界を支配する AI コンピューティング企業である NVIDIA が、大規模言語モデルのトレーニングに広く使用されている NVIDIA のオープンソース プラットフォームである Megatron-LM に 2 つの U-M 省エネ ツールを追加する方法を検討していると発表しました。同大学によると、このソフトウェアはトレーニング速度やモデルのパフォーマンスに影響を与えることなく、AI のトレーニングに必要なエネルギーを最大 50% 削減できるという。
このニュースは、1 つの研究室の出版記録をはるかに超えて重要です。 Megatron-LM はニッチな研究コードベースではありません。企業はこれを直接使用することも、独自のプライベートなカスタマイズされたトレーニング プラットフォームの基盤として使用することもできます。また、これは NVIDIA の主力モデルである Nemotron モデルをトレーニングするために使用されるプラットフォームであり、ユーザーはそれを自分のハードウェアにダウンロードできます。 U-M ツールが Megatron-LM に導入されれば、学術研究室で開発された効率改善が世界の AI トレーニング実行の大部分に波及することになります。 AI の背後にあるインフラストラクチャ競争に関する継続的な報道については、当社のホームページで最新の AI 開発をフォローしてください。
カレウスとペルセウスが実際に行うこと
この 2 つのツールは、分散トレーニングにおけるさまざまな無駄の発生源と、その節約スタックを攻撃します。
Perseus: プロセッサ速度の管理
Perseus は、過剰にプロビジョニングされたコンピューティングに対処します。大規模なトレーニングの実行では、すべてのプロセッサが常に有用な作業を行っているわけではありませんが、すべてのプロセッサが電力を消費します。 U-M 氏によると、Perseus はトレーニングの各時点で実際に利用できる作業量に合わせてプロセッサーの速度を管理することで、AI のトレーニングに必要なエネルギーを最大 30% 削減します。
Kareus: コンピューティングと通信のよりスマートなタイミング
カレウスは、より微妙な問題をターゲットにしています。最新のモデルをトレーニングするには、数百から数千のプロセッサを調整する必要があり、その作業は計算とチップ間通信に分割されます。 Kareus は、トレーニング タスクとコミュニケーション タスクの間で最も効率的なタイミングとリソース共有を見つけ、どちらも他方を待ってアイドル状態にならないようにスケジュールを設定することで、トレーニング エネルギーをさらに 15% ～ 30% 削減します。
同大学によると、これらのツールを併用することで、AIのトレーニングに使用されるエネルギーの約半分を節約しながら、同じトレーニング速度と最終モデルのパフォーマンスを実現できるという。 Kareus はピアレビューの結果でもあります。このツールは、システム研究のトップ会場の 1 つである 7 月の OSDI (オペレーティング システムの設計と実装に関する USENIX シンポジウム) で発表されました。
NVIDIA の関心が真実である理由
学術効率の研究は通常、成果を上げるまで長い道のりに直面します。着陸した場所により、これは異なる可能性があります。博士課程の学生である Ruofan Wu は、この夏、インターンシップの一環として NVIDIA で U-M ソフトウェアを Megatron-LM に統合しました。つまり、ツールは提案ではなく、NVIDIA のトレーニング スタック内で動作するコードであり、現在正式な評価中です。
「モデルが大型化し、より多くの人がモデルをトレーニングしたいと考えるようになるにつれて、AI は電力制限が厳しくなってきていますが、より少ないエネルギーで同じトレーニング速度とパフォーマンスを達成することができます」と、U-M のコンピュータサイエンスとエンジニアリングの博士課程の学生であるウー氏は大学の発表で述べた。 「ソフトウェアおよびハードウェア レベルで AI のエネルギー使用を最適化する機会はたくさんあります。インターンシップで最もやりがいのある部分の 1 つは、私の研究から得たアイデアを生産システムに取り入れる機会でした。」と彼女は付け加えました。
この言葉、「電力の制約」は、業界の新しい合言葉です。 U-M 研究チームには、博士課程の学生である Jeff Ma 氏と Je-Won Chung 氏、准教授の Mosharaf Chowdhury 氏も含まれており、NVIDIA と連携して統合に取り組んでいます。チームの枠組みは単純明快です。目標は、数百から数千のプロセッサ間でトレーニングを調整する最も効率的な方法を見つけることで、より少ないエネルギーとコストでより有用な作業を AI に実行させることです。
エネルギーは今や第一級の制約となっています
フロンティアトレーニングの規模によって、節約率が戦略的な数字に変わります。 Metaは今週、同社の新しいMuse Wonderモデルがギガワット規模のデータセンターと称するPrometheusでトレーニングされたと発表した。単一のトレーニング キャンペーンをその規模で実行する場合、パーセンテージ レベルのエネルギー削減は四捨五入誤差ではありません。それは、トレーニング実行を電力バジェット内に収めるかどうかの違いです。
経済学は物理学に続きます。エネルギーは AI 拡張のゲート リソースの 1 つになっています。既存のハードウェアを使用して、トレーニング実行の電気代を半分にするソフトウェアは、独自のモデルをトレーニングするすべての企業、特にエネルギーコストが制約となっている小規模企業の計算式を変更します。
また、AI をめぐる環境に関する議論も再構成されます。公開議論の多くは、推論エネルギー、つまりすべてのチャットボット クエリによって消費される電力に焦点を当ててきました。しかし、トレーニングはエネルギーの最大の単一ブロックが集中する場所であり、それを最大半分に削減するピアレビュー済みのベンダーに依存しないソフトウェアアプローチは、ハードウェアロードマップよりも珍しいものを提供します。それは、次のデータセンター構築ではなく、次のオープンソースリリースで実現できる効率の向上です。
次に何が起こるか
同大学によると、NVIDIA はオープンソースのトレーニング プラットフォームにこのソフトウェアを追加する方法を検討中だという。 Megatron-LM で出荷される場合、このフレームワークが業界および学術界でどれほど広く使用されているかを考えると、採用が急速に広がる可能性があります。 U-M チームの広範な研究プログラムは、ソフトウェアとハードウェア スタック全体での省エネを模索し続けています。この課題は、数年前にはニッチに見えましたが、現在ではゲームの中心のように見えます。
