Qualcomm uvedl na trh Cloud AI 100 Ultra, akcelerátor vyvozování datových center, který poskytuje až 870 TOPS výkonu INT8 a 288 TFLOPS výpočetního výkonu FP16, přičemž spotřebuje pouhých 150 wattů – zlomek energetické obálky GPU, které v současnosti dominují generativnímu vyvozování AI.

Karta, která je uvedena na oficiální produktové stránce datového centra Qualcomm a je podrobně popsána v pokrytí uvedení na trh, je navržena speciálně pro generativní AI a velké pracovní zátěže jazykových modelů. To staví mobilního čipového giganta jako přímého vyzyvatele na inferenčním trhu, kde poptávka prudce stoupá s tím, jak podniky ve velkém nasazují agenty AI, kopiloty a aplikace s rozšířeným vyhledáváním. Další souvislosti o hardwarovém závodu AI najdete v našem zpravodajství o AI.

Specifikace: SRAM za prvé, DRAM za druhé

Srdcem Cloud AI 100 Ultra je 64 AI jader a 576 MB on-die SRAM. Qualcomm sází na to, že udržovat váhy a aktivace modelů fyzicky blízko výpočetních jednotek – spíše než přenášet každý token do externí paměti – se vyplatí pro modely založené na transformátorech, které žijí a umírají na šířce pásma paměti.

Karta stále nese 128 GB paměti LPDDR4x s šířkou pásma 548 GB/s pro větší modely a delší kontexty, připojené přes PCIe Gen4 s 16 pruhy. Tato kombinace – velká on-die SRAM plus skromný příkon 150 W – je rozdíl mezi kartou. GPU datových center Nvidia se obvykle pohybují od 300 W do 700 W a každý watt je důležitý, když je odvození účtováno tokenem a výkon datového centra je nejspornějším zdrojem v tomto odvětví.

„Cloud AI 100 Ultra je řešení pro odvození umělé inteligence optimalizované na výkon a náklady,“ uvedla společnost ve svých produktových materiálech a zdůraznila programovatelnost napříč pracovními zátěžemi od počítačového vidění až po zpracování přirozeného jazyka.

Software: On-Ramp kompatibilní s OpenAI

Hardware nikdy nebyl problémem Qualcommu v datovém centru; software má. Společnost to řeší pomocí své AI Inference Suite, softwarové vrstvy, která odhaluje API kompatibilní s OpenAI pro vytváření chatbotů, kopilotů a agentů AI.

Sada podporuje chat, generování obrázků, multimodální modely a pracovní postupy RAG (retrieval-augmented generation) a nasazuje se přes Kubernetes nebo bare-metal kontejnery. Qualcomm také dodává nástroje pro správu a správu uživatelů – neokázalý doplněk, který nezpracovaným akcelerátorům často chybí, ale který podnikové IT týmy těžce váží, když přesouvají pracovní zátěž v rámci firmy.

Povrch API kompatibilní s OpenAI je strategicky důležitý: umožňuje vývojářům nasměrovat stávající kanály vázané na OpenAI na hardware Qualcomm se změnou konfigurace, nikoli přepisem, čímž se snižují náklady na přepínání, které chrání stávající společnost na tomto trhu.

Přeplněné pole s jedním jasným vůdcem

Qualcomm vstupuje na inferenční trh, který se stal bojištěm hardwarového cyklu AI. Dominují Nvidia L40S a H100; AMD MI300X a Intel Gaudi 3 se zaměřují na stejné pracovní zatížení; a specializovaný křemík od Groq a Cerebras vytvořil mezery v rychlosti hrubého odvození.

Strana poptávky vysvětluje tahanice. Obsluhování agentů umělé inteligence a kanálů RAG znásobuje počet modelových volání, která vygeneruje jedna uživatelská relace, a každé z těchto volání je problémem, který je třeba vyřešit s co nejnižšími náklady na token. Hyperškálovači kupují stojany vlajkových GPU, aby to zvládli; podniky pod nimi hledají hardware, který by se vešel do standardního serveru, na standardní napájecí okruh, aniž by museli znovu vyjednávat smlouvy o elektřině.

Základním předpokladem společnosti Qualcomm jsou spíše celkové náklady na vlastnictví než špičkový výkon. U podniků, které využívají inferenci ve velkém, se spotřeba energie promítá přímo do provozních nákladů a karta poskytující konkurenceschopnou propustnost 150 W podkopává ekonomiku GPU s hrubou silou. Školení zůstává doménou Nvidie – Ultra si na něj nečiní žádný nárok – ale o ekonomice jednotlivých odvětví se ve skutečnosti rozhoduje odvození a je to pracovní zátěž, kterou bude většina podniků provozovat sama, ať už v místním clusteru nebo kolokační kleci.

Nelehkým bojem zůstává softwarový ekosystém. Platforma CUDA společnosti Nvidia je stále výchozí volbou pro většinu vývojářů AI, a přestože API kompatibilní s OpenAI snižují překážku vstupu, neodstraňují přepracování, které je nutné pro vlastní inferenční kanály.

Kam se hodí v sestavě Qualcommu

Ultra je na vrcholu inferenční řady Qualcommu, která také zahrnuje Cloud AI 80 Ultra (až 618 TOPS INT8 se stejnými 576 MB SRAM), Cloud AI 100 Pro a Cloud AI 100 Standard, který se zaměřuje na okrajová a menší nasazení s obálkami výkonu 75 W.

Uvedení na trh představuje současnou generaci plánu datového centra Dragonfly od Qualcommu, který společnost vyvíjela pro cloudové úlohy AI – a která nyní dává Qualcommu argument pro podniky, které chtějí provozovat generativní odvozování AI lokálně spíše než ve veřejném cloudu, ať už z důvodů nákladů, latence nebo správy dat.

Sázka v jedné větě

Qualcomm sází na to, že jak se umělá inteligence posouvá od hrstky hyperscalerů k tisícům podniků, vítězná inferenční karta není ta nejrychlejší, ale ta nejúčinnější. Cloud AI 100 Ultra je tento argument v křemíku; Otevřenou otázkou zůstává, zda vývojáři dodržují watty.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →