Google は、第 8 世代 TPU ポートフォリオを 2 つの新しいシステム (安全な機密推論用の TPU 8tx と大規模なコンテキスト ウィンドウ用の TPU 8i Max) で拡張しました。これは、同社が 1 年間に 4 つの TPU システムを出荷したのは初めてです。

Googleは月曜日に公開したブログ投稿の中で、この2つの追加機能は、10年前に最初のTPUが発売されたときにはほとんど存在しなかったワークロードプロファイル、つまり膨大なコンテキストウィンドウを推論し、機密性の高いエンタープライズデータを処理する自律エージェント群に向けて設計されたと述べた。 「コンピューティングが人間規模からエージェント規模に移行する中、企業はAIモデルの巨大なコンテキストウィンドウ全体を推論できるアクセラレータを求めている」と同社は書いている。 「さらに、高度に規制されている一部の顧客は、独自のワークロードに特化した暗号化機能を求めています。」 この件の詳細は、AIニュースをご覧ください。

エージェントのライフサイクルのあらゆる段階に対応するシステム

第 8 世代は、4 月の Google Cloud Next で、大規模なトレーニング用に構築された TPU 8t と、リアルタイム推論用に構築された TPU 8i で始まりました。 Google は、前世代と比較して、8t ではトレーニング パフォーマンスが最大 2.7 倍向上し、8i では推論のコスト パフォーマンスが 80% 向上したと述べています。

新しく到着した2人が残りの領土を分割した。 Google が述べているように、4 つのシステムを組み合わせることで、顧客は「エージェントのライフサイクルのあらゆる段階に特化したアクセラレータ」を提供できます。スケールアップ トレーニング用の TPU 8t、低遅延推論用の TPU 8i、機密コンピューティング用の TPU 8tx、大規模なコンテキスト ウィンドウとラックあたりの最高のコンピューティング密度用の TPU 8i Max です。

TPU 8tx: ハードウェアに組み込まれたセキュリティ

TPU 8tx は安全かつ機密性の高い推論を実現するために最適化されており、小規模なトレーニングにも適していると Google は指摘しています。対象となる顧客は明確です。最も機密性の高いデータとともにフロンティアまたは独自のモデルと自律型エージェントを実行している規制対象の企業や政府です。

このエンジニアリングのアプローチは、セキュア コンピューティングにおける長年の緊張に対処します。データは通常、保存または送信されるときに暗号化されますが、コンピューターがデータを処理する間、つまり最も危険にさらされる瞬間にメモリ内でロックを解除する必要があります。 TPU 8t と同じシリコン上に構築され、第 5 世代 AMD EPYC CPU ホストと組み合わせられた TPU 8tx は、セキュリティをハードウェア層に直接構築し、アクティブな使用中であっても機密データとモデルの重みを保護および隔離します。

このシステムは、Google がリアルタイム推論用に作成したものと同じ低遅延の「Boardfly」ネットワークを使用しているため、トレーニング グレードのコンピューティングと高速推論を同時に処理できます。 Googleによれば、これにより組織は、個別のクラスタ間で機密データを移行することなく、プライベートデータを使用してモデルを微調整し、大きなモデルを小さなモデルに抽出し、単一システム上で強化学習を通じてエージェントをトレーニングできるようになるという。

TPU 8i Max: メモリの壁を攻撃する

TPU 8i Max は、まったく異なる制約に取り組みます。 「数十のAIエージェントがソフトウェアコードベース全体や何時間ものビデオを一度に連携して動作させると、メモリ帯域幅がすぐにボトルネックになる」とGoogleは書いている。同社の答えはアーキテクチャにあり、2 つの低遅延 TPU 8i チップを 1 つのパッケージに組み合わせています。

その結果、コンピューティングとメモリを段階的に拡張するシステムが誕生し、TPU 8i の 2 倍のコンピューティング、2 倍の SRAM、2 倍の HBM 帯域幅を実現します。また、TPU 8i Max は既存のラック設置面積内にシリコンの 2 倍を収めることができるため、データセンターは平方フィート当たりおよびワット当たりのコンピューティング能力を大幅に増加できると Google は述べています。これは、電力と床面積が AI の能力拡張に対する拘束力のある制約である場合に、有意義な考慮事項となります。

なぜチップではなくシステムなのか

月曜日の発表の重要なニュアンスは、Googleがこれらを新しいチップではなく新しいシステムとして組み立てていることである。同社によると、チップの設計は物理学や製造スケジュールに縛られ、数十億個のトランジスタをレイアウトする数年かかるプロセスだという。システム (コンピューティング、ネットワーキング、ストレージ、パッケージングがチップの周囲にどのように配置されるか) を、はるかに迅速に調整できます。

そのモジュール性は Google の AI ハイパーコンピューター戦略の中核であり、これにより 4 つの特殊なシステムを 1 世代以内に出荷できるようになりました。 Googleはまた、自社のAIインフラストラクチャの多くがハードウェアの構築に回帰していることも強調した。同社はDeepMindのAlphaChip強化学習システムを使用しており、Geminiがチップレイアウトの提供を「数週間ではなく数時間で」支援できるようになったと述べた。 Googleはこれを「真の共同設計」であり、独自の差別化要因と呼んでいます。

競争環境

この拡張は、AI アクセラレータにおける競争が激化する中で行われます。 TPU 導入は、Google 独自の壁の外でモデルを提供する役割で注目を集めています。同社は、TPU が現在、Gemini モデル、エージェント ワークロード、Google Cloud カスタマー サービス、そして最近では顧客自身のデータ センターへの TPU の直接導入のトレーニングとサービスを強化していると述べています。 GoogleはTPUを「急速に成長しているビジネス」と表現している。

TechPowerUp や Electronics Weekly の記事を含むこの発表の報道では、この動きを明らかに競争的な条件で組み立てました。Google は、NVIDIA ハードウェアで実行される可能性のある AI ワークロードを求めて、カスタム シリコンのラインナップを拡大しています。 NVIDIA は、自社のラックスケール システムを何世代にもわたって出荷し続けているため、AI インフラストラクチャの購入者は、マーチャント シリコンとカスタム シリコンの間でますます信頼性の高い選択肢を得ることができます。

開発者にとっての意味

開発者にとって、実際的な重要性は単一のベンチマークではなく、適合性の方が重要です。長いドキュメント、大規模なコードベース、または拡張されたビデオ コンテキストを処理するエージェント製品を構築しているチームは、生の FLOPS では解決できないメモリ帯域幅の上限に達しています。8i Max はこの問題に対応して構築されています。処理中にデータを復号化する必要があるため、機密性の高いワークロードを共有インフラストラクチャに移動できなかった金融、医療、政府のチームに、8tx のハードウェア支援オプションが提供されるようになりました。

Googleは、ハードウェアのニュースとソフトウェアのアクセシビリティに関するメッセージを結び付け、最近のPyTorchの発表と、TPUを「汎用ハードウェアと同じくらい使いやすい」ものにするという同社の明言された目標を指摘した。同社は月曜日に新しいシステムの詳細を説明するブロードキャストを主催し、顧客はGoogle Cloudのウェブサイトでインフラストラクチャの全ラインナップを探索できると述べた。

AI の先を行く

カスタム シリコンは、AI 構築の戦略的な戦場になりつつあります。 AI Buzz Wire で AI の先を行きましょう — AI ハードウェア、モデル、およびそれらを構築する企業の最新情報を報道します。

AIニュースをもっと読む→