クアルコムは、わずか 150 ワットを消費しながら、最大 870 TOPS の INT8 パフォーマンスと 288 TFLOPS の FP16 コンピューティングを実現するデータセンター推論アクセラレータである Cloud AI 100 Ultra を発売しました。これは、現在生成 AI 推論を支配している GPU の電力エンベロープのほんの一部です。

このカードは、クアルコムの公式データセンター製品ページに掲載されており、発売記事で詳しく説明されており、生成 AI および大規模言語モデルのワークロード向けに特別に設計されています。これは、企業が AI エージェント、副操縦士、検索拡張アプリケーションを大規模に展開するにつれて需要が急増している推論市場において、モバイル チップの巨人を直接の挑戦者として位置付けています。 AI ハードウェア競争の詳細については、AI ニュース報道 をご覧ください。

仕様: 1 番目に SRAM、2 番目に DRAM

Cloud AI 100 Ultra の中心には、64 個の AI コアと 576 MB のオンダイ SRAM があります。クアルコムの賭けは、すべてのトークンを外部メモリに移動させるのではなく、モデルの重みとアクティベーションをコンピューティングユニットの物理的に近くに保つことによって、メモリ帯域幅で生きたり消えたりするトランスベースのモデルにとって有益であるということです。

このカードは、16 レーンの PCIe Gen4 で接続された、より大きなモデルやより長いコンテキスト向けに 548 GB/秒の帯域幅を備えた 128 GB の LPDDR4x メモリを搭載しています。この組み合わせ、つまり大規模なオンダイ SRAM と適度な 150W の消費電力が、このカードの差別化要因となります。 Nvidia のデータセンター GPU は通常 300W から 700W の範囲にあり、推論がトークンによって課金され、データセンターの電力が業界で最も争われているリソースである場合、あらゆるワットが重要になります。

同社は製品資料の中で「Cloud AI 100 Ultraは、パフォーマンスとコストが最適化されたAI推論ソリューションである」と述べ、コンピュータービジョンから自然言語処理に至るまでのワークロードにわたるプログラマビリティを強調している。

ソフトウェア: OpenAI 互換のオンランプ

クアルコムにとって、データセンターにおいてハードウェアが問題になったことは一度もありません。ソフトウェアにはあります。同社は、チャットボット、副操縦士、AI エージェントを構築するための OpenAI 互換 API を公開するソフトウェア レイヤーである AI Inference Suite でこの問題に取り組んでいます。

このスイートは、チャット、画像生成、マルチモーダル モデル、検索拡張生成 (RAG) ワークフローをサポートし、Kubernetes またはベアメタル コンテナーを介してデプロイされます。クアルコムは、ユーザー管理および管理ツールも出荷しています。これは、生のアクセラレータ製品には欠けていることが多い地味な追加機能ですが、企業の IT チームがワークロードを社内に移行するときに重視する機能です。

OpenAI 互換 API サーフェスは戦略的に重要です。これにより、開発者は書き換えではなく構成変更で、既存の OpenAI バウンド パイプラインを Qualcomm ハードウェアに向けることができ、この市場での既存事業を保護してきたスイッチング コストを削減できます。

混雑したフィールドに明確なリーダーが 1 人いる

クアルコムは、AI ハードウェア サイクルの激戦地となっている推論市場に参入します。 Nvidia の L40S と H100 が優勢です。 AMD の MI300X と Intel の Gaudi 3 は同じワークロードをターゲットとしています。 Groq と Cerebras の特殊シリコンは、生の推論速度のニッチ分野を開拓しました。

需要側は争奪戦について説明している。 AI エージェントと RAG パイプラインを提供すると、1 つのユーザー セッションで生成されるモデル呼び出しの数が倍増します。これらの呼び出しはすべて、トークンあたりの最小コストで解決すべき推論問題になります。ハイパースケーラーは、それに対応するために主力 GPU のラックを購入します。その傘下の企業は、電力契約を再交渉することなく、標準的な電力回路上の標準的なサーバーに適合するハードウェアを探しています。

クアルコムの売り文句は、最高のパフォーマンスではなく総所有コストです。大規模に推論を実行している企業の場合、消費電力は運用コストに直接影響し、150 W で競争力のあるスループットを提供するカードは総当たり GPU の経済性を損なうことになります。トレーニングは依然として Nvidia の領域であり、Ultra はそれについて主張していませんが、業界のユニットエコノミクスが実際に決定されるのは推論であり、オンプレミス クラスターであろうとコロケーション ケージであろうと、ほとんどの企業が自ら実行するワークロードです。

ソフトウェア エコシステムは依然として困難な戦いを続けています。 Nvidia の CUDA プラットフォームは、依然としてほとんどの AI 開発者にとってデフォルトの選択肢であり、OpenAI 互換 API は参入障壁を低くしますが、カスタム推論パイプラインに必要な再作業が排除されるわけではありません。

クアルコムのラインナップに適合する場所

Ultra は、Qualcomm の推論ラインナップの最上位に位置します。これには、Cloud AI 80 Ultra (同じ 576 MB の SRAM で最大 618 TOPS の INT8)、Cloud AI 100 Pro、および 75W の電力エンベロープを備えたエッジおよび小規模の導入をターゲットとする Cloud AI 100 Standard も含まれます。

この発表は、クアルコムの Dragonfly データセンター ロードマップの現世代を表しており、同社はこれまでクラウド規模の AI ワークロード向けに開発を進めてきました。これにより、コスト、レイテンシ、データ ガバナンスなどの理由から、パブリック クラウドではなくオンプレミスで生成 AI 推論を実行したいと考えている企業にとって、クアルコムは説得力を持つことになります。

賭けを一言で言うと

クアルコムは、AIが少数のハイパースケーラーから数千の企業に移行するにつれて、勝利する推論カードは最速のものではなく、最も効率的なものになると賭けている。 Cloud AI 100 Ultra は、シリコンにおけるその議論です。開発者がワット数に従うかどうかは未解決の問題のままです。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→