Qualcomm ha lanciato Cloud AI 100 Ultra, un acceleratore di inferenza per data center che offre fino a 870 TOPS di prestazioni INT8 e 288 TFLOPS di calcolo FP16 assorbendo solo 150 watt, una frazione della potenza delle GPU che attualmente dominano l'inferenza AI generativa.
La scheda, elencata nella pagina del prodotto ufficiale del data center di Qualcomm e dettagliata nella copertura del lancio, è progettata specificamente per l'intelligenza artificiale generativa e carichi di lavoro di modelli linguistici di grandi dimensioni. Posiziona il gigante dei chip mobili come uno sfidante diretto nel mercato dell’inferenza, dove la domanda è in aumento mentre le aziende implementano agenti AI, copiloti e applicazioni potenziate dal recupero su larga scala. Per ulteriori informazioni sulla corsa all'hardware IA, consulta la nostra copertura delle notizie sull'IA.
Le specifiche: prima la SRAM, poi la DRAM
Nel cuore del Cloud AI 100 Ultra ci sono 64 core AI e 576 MB di SRAM on-die. La scommessa di Qualcomm è che mantenere i pesi e le attivazioni dei modelli fisicamente vicini alle unità di calcolo, anziché trasferire ogni token alla memoria esterna, ripaga i modelli basati su trasformatore, che vivono e muoiono sulla larghezza di banda della memoria.
La scheda trasporta ancora 128 GB di memoria LPDDR4x con 548 GB/s di larghezza di banda per modelli più grandi e contesti più lunghi, connessa tramite PCIe Gen4 con 16 corsie. Questa combinazione (grande SRAM on-die più un modesto assorbimento di potenza di 150 W) è l'elemento che differenzia la scheda. Le GPU dei data center di Nvidia variano in genere da 300 W a 700 W e ogni watt conta quando l'inferenza viene fatturata tramite token e la potenza del data center è la risorsa più contestata del settore.
"Cloud AI 100 Ultra è una soluzione di inferenza AI ottimizzata in termini di prestazioni e costi", ha affermato l'azienda nei materiali del prodotto, sottolineando la programmabilità attraverso carichi di lavoro che vanno dalla visione artificiale all'elaborazione del linguaggio naturale.
Software: una rampa di accesso compatibile con OpenAI
L'hardware non è mai stato un problema per Qualcomm nei data center; il software ha. L’azienda sta affrontando questo problema con la sua AI Inference Suite, un livello software che espone API compatibili con OpenAI per la creazione di chatbot, copiloti e agenti AI.
La suite supporta chat, generazione di immagini, modelli multimodali e flussi di lavoro RAG (retrieval-augmented generation) e viene distribuita tramite Kubernetes o contenitori bare-metal. Qualcomm fornisce anche strumenti di gestione e amministrazione degli utenti: un'aggiunta poco affascinante che spesso manca nelle offerte di acceleratori grezzi, ma che i team IT aziendali pesano molto quando spostano i carichi di lavoro internamente.
La superficie API compatibile con OpenAI è importante dal punto di vista strategico: consente agli sviluppatori di indirizzare le pipeline esistenti legate a OpenAI all'hardware Qualcomm con una modifica della configurazione anziché una riscrittura, riducendo i costi di commutazione che hanno protetto la posizione dominante in questo mercato.
Un campo affollato con un leader indiscusso
Qualcomm entra in un mercato di inferenza che è diventato il campo di battaglia del ciclo dell’hardware AI. Dominano l'L40S e l'H100 di Nvidia; L'MI300X di AMD e il Gaudi 3 di Intel si rivolgono agli stessi carichi di lavoro; e il silicio specializzato di Groq e Cerebras ha ritagliato nicchie sulla velocità di inferenza grezza.
Il lato della domanda spiega la corsa. Servire agenti AI e pipeline RAG moltiplica il numero di chiamate modello generate da una singola sessione utente e ognuna di queste chiamate è un problema di inferenza da risolvere al minor costo possibile per token. Gli hyperscaler acquistano rack di GPU di punta per gestirlo; le imprese sotto di loro sono alla ricerca di hardware che si adatti a un server standard, su un circuito di alimentazione standard, senza rinegoziare i loro contratti elettrici.
La proposta di Qualcomm riguarda il costo totale di proprietà piuttosto che le massime prestazioni. Per le aziende che eseguono inferenza su larga scala, il consumo energetico confluisce direttamente nei costi operativi e una scheda che offre un throughput competitivo a 150 W riduce i costi delle GPU a forza bruta. La formazione rimane dominio di Nvidia (l'Ultra non ne fa alcuna pretesa), ma l'inferenza è il luogo in cui vengono effettivamente decisi gli aspetti economici unitari del settore, ed è il carico di lavoro che la maggior parte delle aziende gestirà da sola, sia in un cluster locale che in una gabbia di colocation.
L’ecosistema software rimane la battaglia in salita. La piattaforma CUDA di Nvidia è ancora la scelta predefinita per la maggior parte degli sviluppatori di intelligenza artificiale e, sebbene le API compatibili con OpenAI abbassino la barriera all'ingresso, non eliminano la rielaborazione richiesta per le pipeline di inferenza personalizzate.
Dove si inserisce nella gamma Qualcomm
L'Ultra si trova al vertice della gamma di inferenze di Qualcomm, che include anche Cloud AI 80 Ultra (fino a 618 TOPS di INT8 con gli stessi 576 MB di SRAM), Cloud AI 100 Pro e Cloud AI 100 Standard, che si rivolge a implementazioni edge e su scala ridotta con inviluppi di potenza di 75 W.
Il lancio rappresenta l’attuale generazione della roadmap del data center Dragonfly di Qualcomm, che l’azienda ha sviluppato per carichi di lavoro AI su scala cloud – e che ora fornisce a Qualcomm un argomento per le aziende che desiderano eseguire inferenza AI generativa on-premise piuttosto che nel cloud pubblico, sia per ragioni di costo, latenza o governance dei dati.
La scommessa, in una frase
Qualcomm scommette che, man mano che l’intelligenza artificiale si sposta da una manciata di hyperscaler a migliaia di imprese, la carta deduttiva vincente non sarà quella più veloce ma quella più efficiente. Il Cloud AI 100 Ultra è quell'argomento in silicio; se gli sviluppatori seguano i watt rimane la questione aperta.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
