Qualcomm har lanserat Cloud AI 100 Ultra, en inferensaccelerator för datacenter som levererar upp till 870 TOPS INT8-prestanda och 288 TFLOPS FP16-beräkningar samtidigt som den drar bara 150 watt – en bråkdel av kraftenveloppen för de GPU:er som för närvarande dominerar generativ AI-inferens.
Kortet, listat på Qualcomms officiella produktsida för datacenter och detaljerat i lanseringstäckning, är designat specifikt för generativ AI och stora arbetsbelastningar för språkmodeller. Det positionerar den mobila chipjätten som en direkt utmanare på slutledningsmarknaden, där efterfrågan ökar när företag distribuerar AI-agenter, andrapiloter och appar som utökats med hämtning i stor skala. För mer sammanhang om AI-hårdvarutävlingen, se vår AI-nyhetsbevakning.
Specifikationerna: SRAM först, DRAM andra
I hjärtat av Cloud AI 100 Ultra finns 64 AI-kärnor och 576 MB on-die SRAM. Qualcomms insats är att det lönar sig för transformatorbaserade modeller som lever och dör på minnesbandbredd att hålla modellvikter och aktiveringar fysiskt nära beräkningsenheterna – snarare än att skicka ut varje token till externt minne.
Kortet har fortfarande 128 GB LPDDR4x-minne med 548 GB/s bandbredd för större modeller och längre sammanhang, kopplat över PCIe Gen4 med 16 banor. Den kombinationen - stor on-die SRAM plus en blygsam 150W strömförbrukning - är kortets differentiator. Nvidias datacenter-GPU:er sträcker sig vanligtvis från 300W till 700W, och varje watt spelar roll när slutsatsen faktureras av token och datacenterkraften är branschens mest omtvistade resurs.
"Cloud AI 100 Ultra är en prestanda- och kostnadsoptimerad lösning för AI-inferens", sa företaget i sitt produktmaterial och betonade programmerbarhet över arbetsbelastningar, från datorseende till naturlig språkbehandling.
Programvara: En OpenAI-kompatibel On-Ramp
Hårdvara har aldrig varit Qualcomms problem i datacentret; mjukvaran har. Företaget tar itu med det med sin AI Inference Suite, ett mjukvarulager som exponerar OpenAI-kompatibla API:er för att bygga chatbotar, copiloter och AI-agenter.
Sviten stöder chatt, bildgenerering, multimodala modeller och RAG-arbetsflöden (retrieval-augmented generation), och distribueras via Kubernetes eller barmetallbehållare. Qualcomm levererar också verktyg för användarhantering och administration – ett oglamoröst tillägg som råacceleratorerbjudanden ofta saknar, men som företagens IT-team väger tungt när de flyttar arbetsbelastningar internt.
Den OpenAI-kompatibla API-ytan är strategiskt viktig: den låter utvecklare peka befintliga OpenAI-bundna pipelines mot Qualcomm-hårdvara med en konfigurationsändring snarare än en omskrivning, vilket sänker växlingskostnaden som har skyddat tjänsteställning på denna marknad.
Ett trångt fält med en tydlig ledare
Qualcomm går in på en slutledningsmarknad som har blivit slagfältet för AI-hårdvarucykeln. Nvidias L40S och H100 dominerar; AMD:s MI300X och Intels Gaudi 3 riktar sig mot samma arbetsbelastning; och specialiserat kisel från Groq och Cerebras har skapat nischer på rå inferenshastighet.
Efterfrågesidan förklarar rusningen. Att betjäna AI-agenter och RAG-pipelines multiplicerar antalet modellanrop som en enskild användarsession genererar, och vart och ett av dessa samtal är ett slutledningsproblem som ska lösas till lägsta möjliga kostnad per token. Hyperscalers köper rack av flaggskepps-GPU:er för att hantera det; företagen under dem letar efter hårdvara som passar i en standardserver, på en standardströmkrets, utan att omförhandla sina elkontrakt.
Qualcomms pitch är total ägandekostnad snarare än toppprestanda. För företag som kör slutsatser i stor skala, flödar strömförbrukningen direkt in i driftskostnaderna, och ett kort som levererar konkurrenskraftig kapacitet på 150 W underskrider ekonomin för brute-force GPU:er. Utbildning förblir Nvidias domän - Ultra gör inga anspråk på det - men slutsatsen är där branschens enhetsekonomi faktiskt avgörs, och det är den arbetsbelastning som de flesta företag kommer att köra själva, oavsett om det är i ett lokalt kluster eller en samlokaliseringsbur.
Programvaruekosystemet förblir uppförsbacken. Nvidias CUDA-plattform är fortfarande standardvalet för de flesta AI-utvecklare, och även om OpenAI-kompatibla API:er sänker inträdesbarriären, eliminerar de inte omarbetningen som krävs för anpassade slutledningspipelines.
Där det passar i Qualcomms lineup
Ultra sitter i toppen av Qualcomms slutledningssortiment, som även inkluderar Cloud AI 80 Ultra (upp till 618 TOPS av INT8 med samma 576 MB SRAM), Cloud AI 100 Pro och Cloud AI 100 Standard, som riktar sig till edge och mindre skala implementeringar med 75W effektomslag.
Lanseringen representerar den nuvarande generationen av Qualcomms Dragonfly-datacenter-färdplan, som företaget har utvecklat för molnskaliga AI-arbetsbelastningar – och som nu ger Qualcomm ett argument för företag som vill köra generativ AI-inferens på plats snarare än i det offentliga molnet, oavsett om det är av kostnads-, latens- eller datastyrningsskäl.
Satsningen, i en mening
Qualcomm satsar på att när AI går från en handfull hyperscalers till tusentals företag är det vinnande slutledningskortet inte det snabbaste utan det mest effektiva. Cloud AI 100 Ultra är det argumentet i kisel; om utvecklarna följer watten är fortfarande den öppna frågan.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
