Google は、第 8 世代 TPU ラインアップを 2 つの新しい専用システムで拡張しました。TPU 8i Max は、ロングコンテキストのエージェントワークロード向けに 2 つの推論チップを 1 つのパッケージに組み合わせたもので、もう 1 つは規制対象の企業や政府を対象とした機密のハードウェア分離推論用に構築された TPU 8tx です。 Tom's Hardware は木曜日に追加情報を報告した。

この動きは、Googleが4月に大規模なAIトレーニング用に設計されたTPU 8tと、サンプリング、提供、推論などの汎用推論作業用に構築されたTPU 8iで開始したファミリーを完成させるものである。新しいバリアントにより、第 8 世代のラインナップはトレーニング、標準推論、安全な推論、最大帯域幅のエージェント推論をカバーするようになりました。これは、企業による AI ハードウェアの使用方法の違いを反映したオプションのマトリックスです。このチップ ニュースは、AI ハードウェア市場全体に関する当社の 最新の AI 開発 の一部です。

新しいチップの機能

TPU 8i Max は 2 つの 8i チップを 1 つのパッケージに搭載し、元の 8i のコンピューティング、SRAM、高帯域幅メモリ帯域幅を 2 倍にします。この設計は、ロングコンテキストのエージェント作業、つまり AI エージェントが複数ステップのタスクにわたって非常に大規模な作業コンテキストを実行するシナリオをターゲットとしています。

Tom's Hardware は、帯域幅の 2 倍化を、Google がメモリ ウォールと呼ぶもの、つまり「数十の AI エージェントがソフトウェア コードベース全体で連携する場合」に深刻になる帯域幅のボトルネックを回避する方法として枠組み付けしました。コンテキスト ウィンドウが大きくなる (約 100 万のトークンを対象とする大規模なモデルを使用する) と、部分的に SRAM に保持される KV キャッシュが大きくなり、生成される新しいトークンごとにそのキャッシュをメモリから読み戻す必要があります。単一パッケージで HBM 帯域幅を 2 ​​倍にすることは、まさにそのボトルネックを攻撃するものであり、この出版物は、これがデコード用の 2 番目のチップタイプとコンテキスト用のストレージ層を組み合わせるという Nvidia のアプローチとは異なるルートであると述べています。

一方、TPU 8tx は、以前に発表されたトレーニング指向の 8t と同じシリコン上に構築されていますが、機密コンピューティング用に構成されています。つまり、処理中にデータとモデルが保護されていることを証明する必要がある、規制対象の企業や政府向けのハードウェア分離推論です。このシステムは、8t および 8i で使用されていた Arm ベースの Axion ホスト CPU を第 5 世代 AMD EPYC プロセッサに交換し、Google の Boardfly ネットワーキングを採用しています。

特に、Googleはどちらの新システムについても詳細な仕様、価格、出荷日をまだ公表していないため、購入者は現在、注文可能な製品ではなく、レンダリングとポジショニングを持っています。

Google が発表と同時に公開したレンダリングでは、4 つのチップを搭載した TPU 8tx ボードと、それぞれ 1 つのパッケージに 2 つのチップを搭載した 4 つの TPU 8i Max ボードが示されています。これは、第 8 世代ファミリーが、前世代の 1 チップですべてに対応するアクセラレータ モデルからどれほど離れているかを物理的に示しています。

TPU Sync: エージェント メモリのソフトウェア層

Google はシリコンと並んで、エージェントのメモリ問題を解決するソフトウェアにも力を入れています。 TPU Sync は、オープンソースの「TPU クラスターのモデル状態レイヤー」であり、大規模な KV キャッシュをチップからミリ秒単位で自動的に階層化して、ホスト DRAM に移動し、実験的には共有ストレージに移動します。

Google によると、これにより KV キャッシュ転送のレイテンシが 90% 以上削減され、それに応じて最初のトークンまでの時間 (AI システムが応答を開始するまでにユーザーが経験する遅延) も向上します。エージェント ワークロードでは、1 つのセッションに数十の連続したモデル呼び出しが含まれ、それぞれが同じ蓄積されたコンテキストにアクセスする必要があるため、キャッシュ管理が生のコンピューティングと同じくらい重要になっています。

AI ハードウェア市場にとってそれが重要な理由

TPU は Google にとって急成長しているビジネスとなっており、同チップの顧客は 100 社近くいると主張しています。その中には Meta 社のデータセンターでの Google TPU の採用は、Nvidia の領域への最も重大な競争侵入の 1 つを示しています。 Google が第 8 世代ファミリーで採用している、よりモジュール化されたアプローチにより、特殊なシステムを「数年ではなく数か月で」提供できるようになり、顧客の成長に貢献できると同社は述べています。

発表のタイミングが印象的だ。 Google のチップ拡張は、NVIDIA が CEO のジェンスン・ファンが辞任し、CFO のコレット・クレスが暫定 CEO に任命されたと発表したと発表したのと同じ日に発表された。Google の TPU が削り取っている市場で GPU が独占しているまさにその会社における、異例のリーダーシップの混乱だ。この 2 つの出来事には原因は関係ありませんが、合わせて AI インフラストラクチャ市場がいかに競争的で、いかに不安定になっているかを強調しています。

AI インフラストラクチャを評価している企業にとって、この追加は選択肢が広がっていることを示しています。トレーニングに最適化されたシリコン、一般推論、規制されたデータの安全な推論、エージェント フリート向けの最大帯域幅パッケージは、万能のアクセラレータではなく、別個の製品カテゴリになりつつあります。 Google が価格と入手可能性の詳細を公開するとき、購入者にとって実際的な問題は、8i Max の 2 倍の帯域幅がエージェント フリートの十分なスループットに変換され、標準の 8i 導入よりも割増になるのに正当な理由があるかどうかということになるでしょう。

モジュール化には供給側ロジックもあります。次世代設計がハードウェア スタック全体を循環するまで何年も待つのではなく、Google は、8 トン シリコンを別のホスト CPU を備えた安全な推論パッケージに移動することで行ったように、既存のシリコンを再結合して、すべてのバリアントで共通のソフトウェア スタックを維持しながら、より迅速にニッチ セグメントに到達することができます。このスピード自体が、顧客の要件が四半期ごとに変化する市場において競争力のある武器となります。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→