Qualcomm a lansat Cloud AI 100 Ultra, un accelerator de inferență pentru centre de date care oferă până la 870 TOPS de performanță INT8 și 288 TFLOPS de calcul FP16 în timp ce consumă doar 150 de wați - o fracțiune din anvelopa de putere a GPU-urilor care domină în prezent inferența generativă AI.
Cardul, listat pe pagina oficială a produsului Qualcomm a centrului de date și detaliat în acoperirea lansării, este conceput special pentru AI generativă și pentru încărcături de lucru mari model de limbaj. Poziționează gigantul de cipuri mobile ca un provocator direct pe piața de inferență, unde cererea este în creștere pe măsură ce întreprinderile implementează agenți AI, copiloți și aplicații îmbunătățite de recuperare la scară. Pentru mai mult context despre cursa hardware AI, consultați acoperirea știrilor AI.
Specificațiile: SRAM în primul rând, DRAM în al doilea rând
În centrul Cloud AI 100 Ultra se află 64 de nuclee AI și 576 MB de SRAM integrat. Pariul Qualcomm este că menținerea greutăților și activărilor modelului aproape fizic de unitățile de calcul – mai degrabă decât transferul fiecărui token către memoria externă – dă roade pentru modelele bazate pe transformatoare, care trăiesc și mor pe lățimea de bandă a memoriei.
Cardul încă poartă 128 GB de memorie LPDDR4x cu 548 GB/s lățime de bandă pentru modele mai mari și contexte mai lungi, conectat prin PCIe Gen4 cu 16 benzi. Acea combinație - SRAM mare pe matriță plus o putere modestă de 150 W - este diferențiatorul cardului. GPU-urile pentru centrele de date ale Nvidia variază de obicei de la 300 W la 700 W și fiecare watt contează atunci când inferența este facturată prin simbol, iar puterea centrului de date este cea mai contestată resursă a industriei.
„Cloud AI 100 Ultra este o soluție de inferență AI optimizată pentru performanță și cost”, a spus compania în materialele sale, subliniind programabilitatea în sarcinile de lucru, de la viziunea computerizată la procesarea limbajului natural.
Software: O rampă de acces compatibilă cu OpenAI
Hardware-ul nu a fost niciodată problema Qualcomm în centrul de date; software-ul are. Compania abordează acest lucru cu AI Inference Suite, un strat software care expune API-uri compatibile cu OpenAI pentru construirea de chatbot, copiloți și agenți AI.
Suita acceptă chat, generarea de imagini, modele multimodale și fluxuri de lucru RAG (retrieval-augmented generation) și se implementează prin Kubernetes sau containere bare-metal. Qualcomm oferă, de asemenea, instrumente de gestionare și administrare a utilizatorilor - o adăugare lipsită de farmec, care adesea lipsește ofertelor de accelerare brută, dar pe care echipele IT ale întreprinderilor o cântăresc foarte mult atunci când mută sarcinile de lucru în interior.
Suprafața API compatibilă cu OpenAI contează strategic: le permite dezvoltatorilor să îndrepte conductele existente legate de OpenAI către hardware-ul Qualcomm cu o schimbare a configurației, mai degrabă decât cu o rescrie, reducând costul de comutare care a protejat ocupația pe această piață.
Un câmp aglomerat cu un lider clar
Qualcomm intră pe o piață de inferență care a devenit câmpul de luptă al ciclului hardware AI. L40S și H100 de la Nvidia domină; MI300X de la AMD și Gaudi 3 de la Intel vizează aceleași sarcini de lucru; și siliciul specializat de la Groq și Cerebras a creat nișe pe viteza de inferență brută.
Partea cererii explică conflictul. Servirea agenților AI și a conductelor RAG multiplică numărul de apeluri model pe care le generează o singură sesiune de utilizator și fiecare dintre aceste apeluri este o problemă de inferență care trebuie rezolvată la cel mai mic cost posibil pe token. Hyperscalerele cumpără rafturi de GPU-uri emblematice pentru a se descurca; întreprinderile de sub ei caută hardware care să se potrivească într-un server standard, pe un circuit de alimentare standard, fără a-și renegocia contractele de electricitate.
Prezentul Qualcomm este mai degrabă costul total de proprietate decât performanța de vârf. Pentru întreprinderile care efectuează inferențe la scară, consumul de energie se transferă direct în costurile de operare, iar un card care oferă un randament competitiv la 150 W subcutează economia GPU-urilor cu forță brută. Training-ul rămâne domeniul Nvidia - Ultra nu face nicio pretenție asupra acestuia - dar deducerea este locul în care se decide de fapt economia unității industriei și este volumul de lucru pe care majoritatea întreprinderilor o vor rula singure, fie într-un cluster local, fie într-o cușcă de colocare.
Ecosistemul software rămâne bătălia dificilă. Platforma CUDA a Nvidia este încă alegerea implicită pentru majoritatea dezvoltatorilor AI și, în timp ce API-urile compatibile cu OpenAI reduc bariera de intrare, ele nu elimină reluarea necesară pentru conductele de inferență personalizate.
Unde se potrivește în gama Qualcomm
Ultra se află în fruntea gamei de inferențe Qualcomm, care include și Cloud AI 80 Ultra (până la 618 TOPS de INT8 cu aceiași 576 MB de SRAM), Cloud AI 100 Pro și Cloud AI 100 Standard, care vizează implementări de vârf și la scară mai mică, cu puteri de 75 W.
Lansarea reprezintă generația actuală a foii de parcurs pentru centrele de date Dragonfly de la Qualcomm, pe care compania a dezvoltat-o pentru sarcinile de lucru AI la scară cloud - și care oferă acum Qualcomm un argument pentru întreprinderile care doresc să ruleze inferențe AI generative la nivel local, mai degrabă decât în cloud-ul public, fie din motive de cost, latență sau guvernanță a datelor.
Pariul, într-o singură propoziție
Qualcomm pariază că, pe măsură ce AI trece de la o mână de hyperscalers la mii de întreprinderi, cartea de inferență câștigătoare nu este cea mai rapidă, ci cea mai eficientă. Cloud AI 100 Ultra este acel argument în siliciu; dacă dezvoltatorii urmăresc wați rămâne întrebarea deschisă.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.
Citește mai multe știri AI →
