Cerebras Systems は、分散推論を本番環境に導入し、AI 推論のワークロードを従来の GPU とウェハスケールのプロセッサ間で分割したと発表しました。この構成では、生成速度を犠牲にすることなくメガワットあたり 5 倍以上のトークンを供給できると同社は主張しています。
2026 年 11 月 17 日に同社のブログで公開されたこの発表は、ウェーハ スケール エンジンを GPU ベースの推論を補完するものではなく、その代替手段として位置付けることに何年も費やしてきた同社にとって、注目すべき変化を示しています。現在、Cerebras は、GPU がプロンプト処理段階を処理し、自社のシステムがトークン生成段階を処理すると述べています。 この件の詳細は、AIニュースをご覧ください。
なぜ推論を 2 つに分割するのでしょうか?
推論は 2 段階で行われます。プレフィルはユーザーのプロンプトを処理し、中間モデル状態を生成します。次に、デコードはその状態を使用して、応答のすべての単語に対して繰り返される自己回帰ループで出力トークンを一度に 1 つずつ生成します。
2 つのステージの計算プロファイルは大きく異なります。プレフィルは計算量が多く並列処理が必要であり、この点で GPU が優れています。デコードはメモリ帯域幅に制限されており、シーケンシャルであるため、生成中に GPU クラスターの速度を低下させるチップ間通信を行わずにモデル全体を単一のシリコン上に配置できるため、Cerebras はウェーハ スケール アーキテクチャに利点があると主張しています。
同社はワークロードを分割する他の方法を実験していました。 Cerebras はそのブログ投稿の中で、小規模なモデルがトークンを提案し、より大きなモデルがトークンを検証するというドラフトとターゲットのスキーム、および検討した代替案間のアテンションと FFN の分離を列挙しています。しかし、デコードステージではCerebrasの特徴である超高速生成速度がそのまま維持されるため、プリフィルとデコードを分離することは高度にインタラクティブなアプリケーションに特に適していると主張している。
主張の背後にある数字
発表によると、細分化された構成は Cerebras Inference Cloud で稼働しており、同社がすでに提供していたものと同じ世代の速度でメガワットあたり 5 倍のトークンを配信します。 Cerebras によれば、インフラストラクチャパートナーは自社のデータセンターに同じ分割アーキテクチャを導入することもできるという。
経済の論理は単純です。推論プロバイダーはトークンごとに収益を上げ、電力は容量に対する拘束力のある制約となります。同じメガワットで 5 倍のトークンが得られる場合、同じ施設は比例してより多くの収益を生み出す可能性があり、これを同社は、集約されたサービス構成と細分化されたサービス構成を比較した表で示しています。
この発表はまた、需要予測に基づいて、業界は可能な限りの効率向上を必要としていると主張している。セレブラス社はゴールドマン・サックスのリサーチを引用し、AI推論の需要は2030年までに2026年の水準から約24倍に成長すると予測されているが、一方でデータセンターの容量は同期間で約2.2倍しか増加しないと述べている。両方の予測が当てはまる場合、ユーザーが実行したいものと施設が電力を供給できるものとの間のギャップが、2020 年代後半の AI 構築の決定的な制約になります。
エージェント アプリケーションが危機を引き起こす
同社は、需要急増の原因は 2026 年に急速に拡大するエージェント アプリケーションにあると考えており、ユーザーの関与を維持するために高度にインタラクティブな推論を必要とする製品の例として Muse、Copilot、Codex を挙げています。トークンごとに応答をストリーミングする会話エージェントは、まさに、生成速度がバックエンドの指標ではなくユーザー向けの機能となるワークロードです。
セレブラスは今回の立ち上げを、より広範な生産能力の推進の一環として位置づけている。同社は、同社とそのパートナーが 2027 年以降、大幅に多くのトラフィックに対応できるようにする要素として、最近発表された CS-4 システム、製造生産量の劇的な拡大、計画されている約 700 メガワットのデータセンター容量を挙げています。
ウェーハスケールの実用的な転換
戦略的には、この発表は GPU の優位性を現実的に調整するものであると考えられます。 Cerebras は、推論パイプライン全体をエキゾチックなシリコンに移行するよう顧客に求めるのではなく、分業を提案しています。GPU に最適化されたことを行わせ、ウェハー スケールのハードウェアに最適化されたことを行わせます。需要の急増と電力制約の間で窮地に立たされている推論プロバイダーにとって、重要なのは、新世代のハードウェアを待たずに追加できる容量です。
5 倍の効率という主張が、さまざまなモデル アーキテクチャや現実世界のトラフィック ミックス全体で維持できるかどうかは、パートナーが構成を大規模に展開するときに初めて明らかになります。しかし、業界全体で進む方向は明らかです。推論が主要なコンピューティング ワークロードとしてトレーニングに取って代わられる中、主要なハードウェア ベンダーはすべて、生成の 2 つの段階をどのように分割し、電力を供給し、価格設定するかを再検討しています。
GPU ネイティブのアプローチとの比較
主要なハイパースケール推論プロバイダーは、独自の分解戦略を追求しており、通常、GPU ファミリ上の両方のステージをそれぞれの目的に合わせて調整しています。 Cerebras の亜種は、ベンダーラインを横断する点で特徴的です。同社は、AMD GPU が製品構成のプレフィル段階を処理し、Cerebras システムがデコードを担当することを確認しました。この異質性は事業者にとって重要です。なぜなら、プレフィルとデコードは単一の統合されたスタックではなく、個別に調達可能な商品として扱われるからです。
同社が公表した結果は、分割によって効率性を犠牲にするのではなく、発電速度が維持されることを強調している。この違いは、分割されたサービングに対する長年の批判に対処するものです。プリフィルを個別にバッチ処理すると、最初のトークンに待ち時間が追加される可能性があり、デコード ループを遅くする構成は、プレミアム推論サービスが売りとするインタラクティブな感触を損ないます。 Cerebras は、その仕組みにより両方のペナルティを回避できると主張しているが、実際のテストとなるのは、さまざまなプロンプトの長さとトラフィック パターンにわたる独立したベンチマークである。
インフラストラクチャ競争を追跡している AI Buzz Wire の読者にとって、Cerebras からのメッセージは、ワンチップですべてをカバーする推論の時代は専用のパイプラインに取って代わられつつある、そして同社はそのデコードの半分を所有するつもりであるということです。
---
AIの最新情報をお届けAIの最新ニュース、分析、ブレイクスルーを一箇所で。
AIニュースをもっと読む →