Qualcomm lanzó Cloud AI 100 Ultra, un acelerador de inferencia de centro de datos que ofrece hasta 870 TOPS de rendimiento INT8 y 288 TFLOPS de cómputo FP16 mientras consume solo 150 vatios, una fracción de la potencia envolvente de las GPU que actualmente dominan la inferencia generativa de IA.
La tarjeta, que figura en la página oficial del producto del centro de datos de Qualcomm y se detalla en la cobertura del lanzamiento, está diseñada específicamente para IA generativa y grandes cargas de trabajo de modelos de lenguaje. Posiciona al gigante de los chips móviles como un rival directo en el mercado de inferencia, donde la demanda está aumentando a medida que las empresas implementan agentes de IA, copilotos y aplicaciones de recuperación aumentada a escala. Para obtener más contexto sobre la carrera del hardware de IA, consulte nuestra cobertura de noticias sobre IA.
Las especificaciones: SRAM primero, DRAM segundo
En el corazón del Cloud AI 100 Ultra hay 64 núcleos de IA y 576 MB de SRAM integrada. La apuesta de Qualcomm es que mantener los pesos y activaciones de los modelos físicamente cerca de las unidades de cómputo (en lugar de enviar cada token a la memoria externa) vale la pena para los modelos basados en transformadores, que viven y mueren en el ancho de banda de la memoria.
La tarjeta todavía lleva 128 GB de memoria LPDDR4x con 548 GB/s de ancho de banda para modelos más grandes y contextos más largos, conectada a través de PCIe Gen4 con 16 carriles. Esa combinación (una gran SRAM incorporada más un modesto consumo de energía de 150 W) es el diferenciador de la tarjeta. Las GPU de los centros de datos de Nvidia suelen oscilar entre 300 W y 700 W, y cada vatio importa cuando la inferencia se factura por token y la potencia del centro de datos es el recurso más controvertido de la industria.
"Cloud AI 100 Ultra es una solución de inferencia de IA con rendimiento y costos optimizados", dijo la compañía en los materiales de su producto, enfatizando la programabilidad en cargas de trabajo que van desde la visión por computadora hasta el procesamiento del lenguaje natural.
Software: una rampa de acceso compatible con OpenAI
El hardware nunca ha sido el problema de Qualcomm en el centro de datos; el software tiene. La compañía está abordando esto con su AI Inference Suite, una capa de software que expone API compatibles con OpenAI para crear chatbots, copilotos y agentes de IA.
La suite admite chat, generación de imágenes, modelos multimodales y flujos de trabajo de generación aumentada de recuperación (RAG), y se implementa a través de Kubernetes o contenedores bare-metal. Qualcomm también ofrece herramientas de administración y gestión de usuarios, una adición poco glamorosa de la que a menudo carecen las ofertas de aceleradores sin procesar, pero que los equipos de TI empresariales pesan mucho cuando mueven cargas de trabajo internamente.
La superficie API compatible con OpenAI es estratégica: permite a los desarrolladores apuntar los canales existentes vinculados a OpenAI al hardware de Qualcomm con un cambio de configuración en lugar de una reescritura, lo que reduce el costo de cambio que ha protegido la titularidad en este mercado.
Un campo lleno de gente con un líder claro
Qualcomm ingresa a un mercado de inferencia que se ha convertido en el campo de batalla del ciclo del hardware de IA. Dominan las L40S y H100 de Nvidia; El MI300X de AMD y el Gaudi 3 de Intel tienen como objetivo las mismas cargas de trabajo; y el silicio especializado de Groq y Cerebras ha creado nichos en la velocidad de inferencia bruta.
El lado de la demanda explica la lucha. Servir a agentes de IA y canalizaciones de RAG multiplica la cantidad de llamadas de modelo que genera una sola sesión de usuario, y cada una de esas llamadas es un problema de inferencia que debe resolverse al menor costo por token posible. Los hiperescaladores compran bastidores de GPU emblemáticas para manejarlo; las empresas que están debajo de ellos buscan hardware que encaje en un servidor estándar, en un circuito de energía estándar, sin renegociar sus contratos de electricidad.
El argumento de Qualcomm es el costo total de propiedad en lugar del máximo rendimiento. Para las empresas que ejecutan inferencia a escala, el consumo de energía fluye directamente hacia los costos operativos, y una tarjeta que ofrece un rendimiento competitivo de 150 W socava la economía de las GPU de fuerza bruta. La capacitación sigue siendo dominio de Nvidia (Ultra no tiene ningún derecho sobre ella), pero la inferencia es donde realmente se deciden las unidades económicas de la industria, y es la carga de trabajo que la mayoría de las empresas ejecutarán por sí mismas, ya sea en un clúster local o en una jaula de colocación.
El ecosistema de software sigue siendo una batalla cuesta arriba. La plataforma CUDA de Nvidia sigue siendo la opción predeterminada para la mayoría de los desarrolladores de IA y, si bien las API compatibles con OpenAI reducen la barrera de entrada, no eliminan el retrabajo necesario para los canales de inferencia personalizados.
Dónde encaja en la gama de Qualcomm
El Ultra se encuentra en la parte superior de la línea de inferencia de Qualcomm, que también incluye el Cloud AI 80 Ultra (hasta 618 TOPS de INT8 con los mismos 576 MB de SRAM), el Cloud AI 100 Pro y el Cloud AI 100 Standard, que apunta a implementaciones de borde y de menor escala con envolventes de potencia de 75W.
El lanzamiento representa la generación actual de la hoja de ruta del centro de datos Dragonfly de Qualcomm, que la compañía ha estado desarrollando para cargas de trabajo de IA a escala de nube, y que ahora le da a Qualcomm un argumento para las empresas que desean ejecutar inferencia generativa de IA en las instalaciones en lugar de en la nube pública, ya sea por razones de costo, latencia o gobernanza de datos.
La apuesta, en una frase
Qualcomm apuesta a que a medida que la IA pasa de un puñado de hiperescaladores a miles de empresas, la carta de inferencia ganadora no será la más rápida sino la más eficiente. El Cloud AI 100 Ultra es ese argumento en silicio; La pregunta abierta es si los desarrolladores siguen los vatios.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
