AI インフラストラクチャの経済性は反転しました。 Positron AI 幹部の Cameron McCaskill 氏によると、今日 AI インフラストラクチャで実行されているワークロードのおよそ 3 分の 2 はトレーニングではなく推論であり、SC26 スーパーコンピューティング カンファレンスでの theCUBE Research とのインタビューでこの数字を共有しました。 3 年前、その分割はほぼ逆で、約 85 パーセントがトレーニング、15 パーセントが推論でした。
この逆転は、AI コンピューティングが存在する場所の地図を静かに再描画しています。そして、これは、新世代の推論優先チップメーカーが、自社よりはるかに大きな企業から突然クラウド契約を獲得している理由を説明しています。
反転の背後にある数字
「これらの AI インフラストラクチャを通じて実行されるワークロードの約 3 分の 2 が推論であるのに対し、3 分の 1 はトレーニングであるという段階に来ています」と、Positron の営業および事業開発責任者であるマッカスキル氏は theCUBE Research の Rebecca Knight 氏と John Furrier 氏とのインタビューで語った。 「2023 年当時は、85% がトレーニング、15% が推論といった感じでした。インフラをどのように構築するかという経済的決定を推論が推進している理由がわかりました。」
このシフトは直感的に理にかなっています。トレーニングは、数十億ドルのクラスターを持つ少数のフロンティア研究所で行われます。推論はどこでも、ユーザーがモデルをプロンプトするたびに発生します。消費者と企業の採用が爆発的に増加するにつれて、トークンの総需要がトレーニング時代に構築されたインフラストラクチャを圧倒しています。電力、冷却、およびメモリの供給は、チップのパフォーマンスと同様にトークンが生成される場所を決定し、それによってどのハードウェアが取引を獲得するかが変わります。
コモディティメモリに対するポジトロンの賭け
9 月に 50 億ドルの評価額で 8 億 7,500 万ドルを調達した Positron AI は、推論時代を中心に戦略全体を構築しました。同社の中心的な設計選択は、ほとんどの AI アクセラレータを支える希少かつ高価なメモリ タイプである高帯域幅メモリ (HBM) をスキップし、代わりに汎用メモリを中心に推論アプライアンスを構築することです。
「業界の他のほとんどの企業は、HBM または高帯域幅メモリと呼ばれるものを使用しています。供給が非常に限られており、非常に高価です」とマカスキル氏は述べた。 「私たちはコモディティメモリーを採用しました。」
トレードオフは意図的に行われます。コモディティメモリは安価で調達がはるかに簡単で、Positron のアーキテクチャにより電力は空冷室に十分に低く抑えられ、特殊な液体冷却は必要ありません。 1 台の Positron サーバーは約 4,500 ワットを消費し、同社の今後の Titan サーバーのラック全体は 40 キロワット以内に収まります。
ロードマップは急速に進んでいます。 Positron の第 1 世代 Atlas サーバーはプログラム可能なチップ上で動作しており、同社は来年初めに Titan サーバー用に独自のシリコンをテープアウトする予定です。同社はすでに大規模な導入を完了しています。McCaskill 氏によると、Oracle は今四半期、約 340 台の Atlas サーバーを自社のクラウド上で稼働させる予定であり、ネオクラウドプロバイダーは次期 Titan 世代にコミットすると同時に Atlas にサインオンしています。
モジュール式データセンターが推論の自然な拠点となる
おそらく、インタビューの最も重要な部分は、需要が超大規模なキャンパスではなく、小規模で高速なモジュール式施設から来ているとマカスキル氏が述べたところです。
「現在増加傾向にあり、製品を求めて当社に来ている企業グループの 1 つは、これらのモジュラー データ センターです。そこでは、0.5 メガワット、または 1 メガワット、または 2.5 メガワットのモジュラー データ センターがあり、非常に迅速に導入できます。」と同氏は述べました。 「これらの推論プレーヤーの多くの目標は、土地と電力を90日から120日以内に収益化可能なトークンに到達させたいということです。」
着工から収益まで約 4 分の 1 というスケジュールは、許可、建設、活性化に何年もかかる可能性があるギガワット規模のトレーニング キャンパスでは不可能です。推論ワークロードは小さく、地理的に柔軟性が高く、オペレータが大きな規制上のハードルなしに数メガワットの安価な電力を見つけることができるサイトに寛容です。その結果、実際の需要に近い通信事業所、コロケーション施設、モジュラーユニットに分散推論インフラストラクチャの階層が新たに誕生しました。
業界にとっての意味
チップベンダーにとって、AIハードウェア市場は二分化しつつあるというメッセージとなる。トレーニングは引き続き、最先端のアクセラレーターと最も深い資金力に報いるものです。推論は、電力効率、メモリ コスト、展開速度、通常の空冷建物内で実行できる能力など、さまざまな利点をもたらします。トレーニング レースのみに最適化されたベンダーは、将来の導入に関する決定 (トークンが実際に収益化される場所) の最大量が、異なる一連の制約に合わせて設計されたハードウェア上で行われることに気づくかもしれません。
企業やクラウドの顧客にとって、この変化はほとんど目に見えませんが、ますます重大な影響を及ぼします。推論容量が 90 日から 120 日単位で増加するということは、より競争力のある価格設定と、ユーザーやデータの近くでモデルを実行するための地理的なオプションが増えることを意味します。
そして、ギガワットキャンパスをめぐる終わりのない競争として組み立てられることが多い AI 業界の構築の物語にとって、この推論の反転は、需要曲線が拡大しているだけでなく、拡大していることを思い出させます。 SC26 で言及された 3 分の 2 というマイルストーンは、ある幹部の推定ですが、これはすべての大手クラウド オペレーターが報告している方向性と一致しています。つまり、AI ビルドアウトの重心は、モデルのトレーニングからモデルの提供へと移行しています。
AI の先を行くAI ハードウェアおよびインフラストラクチャのニュースのソースである AI Buzz Wire を使用して、最新の AI 開発を追跡します。
AI ニュースをもっと読む→