La economía de la infraestructura de IA ha cambiado. Aproximadamente dos tercios de las cargas de trabajo que se ejecutan a través de la infraestructura de IA hoy en día son inferencias en lugar de entrenamiento, según Cameron McCaskill, ejecutivo de Positron AI, quien compartió la cifra en una entrevista con theCUBE Research en la conferencia de supercomputación SC26. Hace tres años, la división era casi exactamente opuesta: alrededor del 85 por ciento de entrenamiento y el 15 por ciento de inferencia.
Esa reversión está rediseñando silenciosamente el mapa de dónde vive la computación de IA, y explica por qué una nueva generación de fabricantes de chips que priorizan la inferencia está ganando repentinamente acuerdos de nube con empresas mucho más grandes que ellos.
Los números detrás del cambio
"Estamos en un punto en el que alrededor de dos tercios de las cargas de trabajo que se ejecutan a través de estas infraestructuras de IA son inferencias, frente a un tercio es capacitación", dijo McCaskill, jefe de ventas y desarrollo comercial de Positron, en la entrevista con Rebecca Knight y John Furrier de theCUBE Research. "En 2023, era como 85% de capacitación, 15% de inferencia. Así que ahora se puede ver por qué la inferencia está impulsando las decisiones económicas sobre cómo van a construir su infraestructura".
El cambio tiene sentido intuitivo. La capacitación se lleva a cabo en un puñado de laboratorios de vanguardia con grupos de miles de millones de dólares. La inferencia ocurre en todas partes, cada vez que un usuario solicita un modelo, y a medida que la adopción por parte de consumidores y empresas se ha disparado, la demanda agregada de tokens ha abrumado la infraestructura construida para la era de la capacitación. El suministro de energía, refrigeración y memoria ahora determina dónde se generan los tokens tanto como lo hace el rendimiento bruto del chip, y eso cambia qué hardware gana acuerdos.
La apuesta de Positron por la memoria de los productos básicos
Positron AI, que recaudó 875 millones de dólares con una valoración de 5 mil millones de dólares en septiembre, ha construido toda su estrategia en torno a la era de la inferencia. La elección de diseño central de la compañía: omitir la memoria de gran ancho de banda (HBM), el tipo de memoria escasa y costosa que ancla la mayoría de los aceleradores de IA, y en su lugar construir dispositivos de inferencia alrededor de la memoria básica.
"Prácticamente todos los demás en la industria están utilizando lo que se llama HBM o memoria de alto ancho de banda. Su oferta es muy limitada y muy costosa", dijo McCaskill. "Nos decidimos por la memoria mercantil".
Las compensaciones son deliberadas. La memoria básica es más barata y mucho más fácil de conseguir, y la arquitectura de Positron mantiene la energía lo suficientemente baja para habitaciones enfriadas por aire, sin necesidad de refrigeración líquida exótica. Un solo servidor Positron consume alrededor de 4.500 vatios, y un rack completo de los próximos servidores Titan de la compañía cabe en 40 kilovatios.
La hoja de ruta avanza rápidamente. El servidor Atlas de primera generación de Positron funcionaba con un chip programable y la compañía planea grabar su propio silicio a principios del próximo año para el servidor Titan. La compañía ya ha realizado implementaciones destacadas: Oracle traerá aproximadamente 340 servidores Atlas a su nube este trimestre, según McCaskill, y un proveedor de neocloud se ha registrado para Atlas mientras se compromete con la próxima generación Titan.
Los centros de datos modulares se convierten en el hogar natural de la inferencia
Quizás la parte más trascendental de la entrevista es de dónde dice McCaskill que proviene la demanda: no campus a gran escala, sino instalaciones modulares pequeñas, rápidas.
"Uno de los grupos de empresas en los que estamos viendo un aumento en este momento y que acuden a nosotros en busca de productos son estos centros de datos modulares, donde tienen un centro de datos modular de medio megavatio o 1 megavatio o 2,5 megavatios, y se pueden implementar muy rápidamente", dijo. "El objetivo de muchos de estos jugadores de inferencia es pasar de la tierra y el poder a tokens monetizables en un plazo de 90 a 120 días".
Ese cronograma (aproximadamente una cuarta parte desde la inauguración hasta los ingresos) es imposible para un campus de capacitación a escala de gigavatios, cuyo permiso, construcción y activación pueden llevar años. Las cargas de trabajo de inferencia son más pequeñas, más flexibles geográficamente y tolerantes con sitios donde los operadores pueden encontrar unos pocos megavatios de energía barata sin grandes obstáculos regulatorios. El resultado es un nivel emergente de infraestructura de inferencia distribuida ubicada en sitios de telecomunicaciones, instalaciones de colocación y unidades modulares más cercanas a donde realmente está la demanda.
Qué significa para la industria
Para los proveedores de chips, el mensaje es que el mercado de hardware de IA se está bifurcando. La formación sigue premiando a los aceleradores más avanzados y a los bolsillos más llenos. La inferencia premia diferentes virtudes: eficiencia energética, costo de memoria, velocidad de implementación y la capacidad de funcionar en edificios ordinarios refrigerados por aire. Los proveedores optimizados solo para la carrera de capacitación pueden encontrar que el mayor volumen de decisiones de implementación futuras (donde los tokens realmente se monetizan) se toman en hardware diseñado para un conjunto diferente de restricciones.
Para las empresas y los clientes de la nube, el cambio es mayormente invisible pero cada vez más trascendente: la capacidad de inferencia que llega en incrementos de 90 a 120 días significa precios más competitivos y más opciones geográficas para ejecutar modelos cerca de los usuarios y los datos.
Y para la narrativa de desarrollo de la industria de la IA, a menudo enmarcada como una carrera interminable por los campus de gigavatios, el cambio de inferencia es un recordatorio de que la curva de demanda se está ampliando, no sólo escalando. El hito de dos tercios citado en SC26 es la estimación de un ejecutivo, pero coincide con la dirección que todos los principales operadores de nube han informado: el centro de gravedad del desarrollo de la IA está pasando del entrenamiento de los modelos a su servicio.
Manténgase por delante de la IARealice un seguimiento de los últimos desarrollos de IA a medida que ocurren con AI Buzz Wire, su fuente de noticias sobre infraestructura y hardware de IA.
Leer más noticias sobre IA →