A economia da infraestrutura de IA mudou. Aproximadamente dois terços das cargas de trabalho que passam pela infraestrutura de IA hoje são inferências e não treinamento, de acordo com Cameron McCaskill, executivo da Positron AI, que compartilhou o número em uma entrevista à theCUBE Research na conferência de supercomputação SC26. Há três anos, a divisão era quase exatamente oposta: cerca de 85% de treinamento e 15% de inferência.

Essa inversão está redesenhando silenciosamente o mapa de onde reside a computação de IA – e explica por que uma nova geração de fabricantes de chips que priorizam a inferência está subitamente ganhando negócios de nuvem de empresas muito maiores do que eles próprios.

Os números por trás da virada

“Chegamos a um ponto em que cerca de dois terços das cargas de trabalho executadas por meio dessas infraestruturas de IA são inferências, contra um terço é treinamento”, disse McCaskill, chefe de vendas e desenvolvimento de negócios da Positron, em entrevista a Rebecca Knight e John Furrier, da theCUBE Research. “Em 2023, era 85% de treinamento e 15% de inferência. Agora você pode ver por que a inferência está orientando as decisões econômicas sobre como eles construirão sua infraestrutura.”

A mudança faz sentido intuitivamente. O treinamento acontece em alguns laboratórios de ponta com clusters de bilhões de dólares. A inferência acontece em todos os lugares, sempre que um usuário solicita um modelo – e à medida que a adoção por consumidores e empresas explodiu, a demanda agregada por tokens sobrecarregou a infraestrutura construída para a era do treinamento. O fornecimento de energia, resfriamento e memória agora determina o local onde os tokens são gerados tanto quanto o desempenho bruto do chip, e isso muda o hardware que ganha negócios.

Aposta da Positron na memória de commodities

A Positron AI, que levantou US$ 875 milhões em uma avaliação de US$ 5 bilhões em setembro, construiu toda a sua estratégia em torno da era da inferência. A escolha central de design da empresa: ignorar a memória de alta largura de banda (HBM), o tipo de memória escasso e caro que ancora a maioria dos aceleradores de IA, e construir dispositivos de inferência em torno da memória comum.

“Praticamente todo mundo na indústria está usando o que é chamado de HBM ou memória de alta largura de banda. O fornecimento é muito limitado e muito caro”, disse McCaskill. "Optamos pela memória commodity."

As compensações são deliberadas. A memória comum é mais barata e muito mais fácil de obter, e a arquitetura da Positron mantém a energia baixa o suficiente para salas refrigeradas a ar – sem necessidade de refrigeração líquida exótica. Um único servidor Positron consome cerca de 4.500 watts, e um rack completo dos próximos servidores Titan da empresa cabe em 40 quilowatts.

O roteiro está avançando rapidamente. O servidor Atlas de primeira geração da Positron funcionou em um chip programável, e a empresa planeja instalar seu próprio silício no início do próximo ano para o servidor Titan. A empresa já realizou implantações marcantes: a Oracle está colocando cerca de 340 servidores Atlas em operação em sua nuvem neste trimestre, de acordo com McCaskill, e um provedor de neocloud assinou contrato com o Atlas enquanto se compromete com a próxima geração Titan.

Data centers modulares se tornam o lar natural para inferência

Talvez a parte mais importante da entrevista seja de onde McCaskill diz que vem a demanda: não de campi de grande escala, mas de instalações pequenas, rápidas e modulares.

“Um dos grupos de empresas que estamos vendo um aumento agora e que nos procuram em busca de produtos são esses data centers modulares, onde têm meio megawatt ou 1 megawatt ou 2,5 megawatts de data center modular, e podem ser implantados muito rapidamente”, disse ele. “O objetivo de muitos desses participantes de inferência é passar da terra e do poder para tokens monetizáveis ​​dentro de 90 a 120 dias.”

Esse cronograma – cerca de um quarto desde o início até a receita – é impossível para um campus de treinamento em escala de gigawatts, que pode levar anos para permitir, construir e energizar. As cargas de trabalho de inferência são menores, mais flexíveis geograficamente e tolerantes a locais onde as operadoras podem encontrar alguns megawatts de energia barata sem pesados ​​obstáculos regulatórios. O resultado é uma camada emergente de infraestrutura de inferência distribuída localizada em locais de telecomunicações, instalações de colocation e unidades modulares mais próximas de onde realmente está a demanda.

O que isso significa para a indústria

Para os fornecedores de chips, a mensagem é que o mercado de hardware de IA está se bifurcando. A formação continua a premiar os aceleradores mais avançados e os bolsos mais fundos. A inferência recompensa diferentes virtudes: eficiência energética, custo de memória, velocidade de implantação e capacidade de operação em edifícios comuns refrigerados a ar. Os fornecedores otimizados apenas para a corrida de treinamento podem descobrir que o maior volume de decisões de implantação futuras – onde os tokens são realmente monetizados – acontece em hardware projetado para um conjunto diferente de restrições.

Para as empresas e os clientes da nuvem, a mudança é praticamente invisível, mas cada vez mais consequente: a capacidade de inferência que chega em incrementos de 90 a 120 dias significa preços mais competitivos e mais opções geográficas para executar modelos perto de utilizadores e dados.

E para a narrativa de expansão da indústria da IA ​​– muitas vezes enquadrada como uma corrida interminável por campi de gigawatts – a mudança de inferência é um lembrete de que a curva da procura está a alargar-se, e não apenas a crescer. O marco de dois terços citado no SC26 é a estimativa de um executivo, mas corresponde à direção relatada por todos os principais operadores de nuvem: o centro de gravidade do desenvolvimento da IA ​​está passando do treinamento dos modelos para atendê-los.

Fique à frente da IA

Acompanhe os últimos desenvolvimentos de IA conforme eles acontecem com AI Buzz Wire, sua fonte de notícias sobre hardware e infraestrutura de IA.

Leia mais notícias sobre IA →