Cerebras は、数兆パラメータの AI モデルを自社のウェーハスケールのハードウェアにどのように展開するかについての詳細なエンジニアリングの内訳を公開しました。これは、重みだけで数テラバイトのメモリを必要とするモデルの超高速推論の背後にある配管を公開する貴重な公開資料です。

Sarah Chieng によって書かれ、2026 年 10 月 22 日に Cerebras ブログに掲載されたこの投稿は、Hacker News のトップページに掲載された後、週末に再び注目を集めました。その中心的な疑問は単純です。1 枚の Cerebras WSE-3T ウェーハには 44 GB のオンチップ メモリがありますが、兆パラメータのフロンティア モデルは重みを保存するためだけにテラバイトを必要とします。そのギャップをどのように埋めるのでしょうか？ この件の詳細は、人工知能の最新情報をご覧ください。

トリリオンパラメータモデルが通常のハードウェアを破壊する理由

その答えは、従来のアクセラレータにとって不快な真実から始まります。つまり、完全な精度では、3 兆のパラメータを持つモデルは、市販されている単一チップのメモリに収まりません。 GPU クラスターは、モデルを多くのデバイスに分割し、高速相互接続を介して重みとアクティベーションを継続的に送信することでこの問題を解決します。これが、巨大なモデルの推論が高価で遅い理由の大部分を占めています。

Cerebras は異なるアプローチをとります。同社のウェハスケールのチップには、WSE-3T ウェハあたり 44 GB という膨大な量のオンチップ SRAM が搭載されています。これは、同社の目標が重みをオンチップに常駐させ、メモリ アクセスがどのオフチップ リンクよりも劇的に高速であることを意味します。

同社によれば、このアーキテクチャにより、数兆パラメータのモデルを毎秒1,000から2,000以上のトークンで実行できるという。

実例としての キミ K3

説明を具体的にするために、Cerebras は、約 3 兆個のパラメーターを持つオープンソース モデルである Kim K3 のデプロイ手順を説明します。このモデルは、69 のリニア アテンション レイヤーと 24 の高密度レイヤーのハイブリッド アーキテクチャを使用しています。

同ブログではベンチマーク結果を引用し、 Kim K3 のスコアは Terminal-Bench 2.1 で 88.3% (GPT-5.6 Sol の 88.8% に次ぐ) であり、BrowseComp では 91.2% で GPT-5.6 Sol の 90.4% を上回っていると述べています。これらの数字はオープンウェイトモデルにおけるフロンティアレベルのコーディングとエージェント能力を示しており、それがデモンストレーションの対象として適しているとセレブラス氏は主張する。

この例では、256,000 トークンの平均リクエスト サイズ、4 ビットの重み量子化 (Hugging Face 実装と一致)、および 8 ビット KV キャッシュを想定しています。

3T モデルを 44 GB の部分にスライスする

この記事の中で最も分かりやすい部分は算術です。パラメーターあたり 4 ビットの場合、Kimi K3 の 3 兆個のパラメーターは、生の重みとして約 1.5 TB に相当します。モデルの 93 レイヤーに分割されているため、各レイヤーには約 16 GB が必要です。

これは各ウェーハで利用可能な 44 GB にきちんと収まりますが、2 つの層タイプは分割方法が異なります。

  • 高密度レイヤーには、アクティブなリクエストごとにすべてのトークンのキーと値が完全に保存されるため、KV キャッシュ用のスペースが必要です。 Cerebras はウェーハごとに 1 つの高密度層を配置し、残りの SRAM をそのキャッシュ用に残します。
  • 線形アテンション レイヤー は、コンテキストの長さに関係なく、リクエストごとに小さな固定サイズの状態のみを保持するため、KV キャッシュは必要ありません。これにより、ウェーハごとに 2 つの線形層を配置できる余地が残ります。

69 個の線形レイヤーと 24 個の稠密レイヤーを備えたモデルは、線形レイヤー用の 35 枚のウェハーと稠密レイヤー用の 24 枚のウェハー、つまり 1 つの Kim K3 コピーに対して合計 59 枚のウェハーにマッピングされます。

ウェイトは決して移動しません - アクティベーションのみが移動します

2 番目の重要なアイデアは、Cerebras がこれら 59 枚のウェーハ間で何を送信し、何を送信しないのかということです。同社はモデルをパイプラインとして実行します。コンパイラーがレイヤーをウェーハの領域にマッピングした後、ランタイムがウェーハからウェーハへトークンがたどるパスをグラフにします。

重要なのは、各レイヤーが 1 つのウェーハ (線形レイヤーの場合は 2 つ) に完全に収まるため、モデルの重みを移動する必要がないことです。層はウェーハ全体に分割されません。アクティベーションのみが 1 つのウェハから次のウェハに渡され、ホップ時間約 2 マイクロ秒の標準イーサネット上の RDMA 経由で伝送されます。

この設計点は、Cerebras のパフォーマンスに関する主張について多くのことを説明しています。 GPU の導入では、デバイス間でのウェイトやシャーディング状態の移動がボトルネックになることがよくあります。 Cerebras ハードウェアでは、相互接続ははるかに小さい活性化テンソルのみを伝送します。

推論市場にとって重要な理由

この投稿は、部分的にはエンジニアリングの説明であり、部分的には、ウェーハスケールの SRAM は、業界が出荷するますます巨大化するモデルに対応する信頼できる方法であるという主張です。 Kimi K3 のようなオープンウェイト リリースが 3 兆パラメータに近づくと、メモリの壁が推論経済学の決定的な制約となり、ウェイトを固定に保つアプローチにはトークンごとの速度において構造的な利点があります。

また、量子化にどの程度依存しているかも強調します。導入全体は、4 ビットの重みと 8 ビットの KV キャッシュにかかっています。これは、ベンチマークのパフォーマンスを維持しながら、16 ビットのベースラインと比較してメモリ フットプリントを約 75% 以上削減する技術です。これらがなければ、59 枚のウェハーでも十分ではありません。

トレードオフも現実のものです。 59 ウェーハ システムは大規模で特殊なマシンであり、パイプライン アプローチでは、システム全体でリクエストを効率的にバッチ処理できることが前提となっています。 Cerebras のブログでは、中心的なトピックの 1 つとして同時実行性を取り上げており、アーキテクチャが多数の同時リクエストを処理するように設計されていることを指摘しています。

現時点では、この投稿は、フロンティア規模のオープン モデルを 4 桁のトークン速度で提供するために実際に何が必要なのかについて、最も明確に公開された説明の 1 つであり、推論ハードウェアに関する議論がチップからウェーハ全体のシステムに移行していることを示すものです。

出典: Cerebras ブログ、「Cerebras での兆パラメータ フロンティア モデルの展開方法」(2026 年 10 月 22 日)

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →