O custo que mais cresce em inteligência artificial pode não ser o dos chips – pode ser a eletricidade que os alimenta. Em 12 de outubro, a Universidade de Michigan anunciou que a NVIDIA, a empresa de computação de IA dominante no mundo, está avaliando como adicionar duas ferramentas de economia de energia da UM ao Megatron-LM, a plataforma de código aberto amplamente utilizada da NVIDIA para treinamento de grandes modelos de linguagem. Segundo a universidade, o software pode reduzir a energia necessária para treinar IA em até 50% — sem afetar a velocidade de treinamento ou o desempenho do modelo.
A notícia importa muito além do registro de publicação de um laboratório. Megatron-LM não é uma base de código de pesquisa de nicho: as empresas podem usá-lo diretamente ou como base para suas próprias plataformas de treinamento personalizadas e privadas, e é a plataforma usada para treinar os principais modelos Nemotron da NVIDIA, que os usuários podem baixar em seu próprio hardware. Se as ferramentas da UM chegarem ao Megatron-LM, as melhorias de eficiência desenvolvidas em um laboratório acadêmico se propagariam em uma grande parte dos treinamentos de IA do mundo. Para uma cobertura contínua da corrida da infraestrutura por trás da IA, acompanhe os desenvolvimentos mais recentes da IA em nossa página inicial.
O que Kareus e Perseus realmente fazem
As duas ferramentas atacam diferentes fontes de desperdício no treinamento distribuído e suas economias.
Perseus: Gerenciando a velocidade do processador
Perseus aborda computação superprovisionada. Em uma grande execução de treinamento, nem todos os processadores realizam um trabalho útil a todo momento, mas todos consomem energia. Ao gerenciar a velocidade do processador para corresponder ao trabalho real disponível em cada ponto do treinamento, o Perseus reduz a energia necessária para treinar a IA em até 30%, de acordo com a U-M.
Kareus: timing mais inteligente para computação e comunicação
Kareus tem como alvo um problema mais sutil. O treinamento de modelos modernos requer a coordenação de centenas a milhares de processadores, e o trabalho se divide entre computação e comunicação chip a chip. Kareus reduz a energia de treinamento em mais 15% a 30%, encontrando o tempo e o compartilhamento de recursos mais eficientes entre essas tarefas de treinamento e comunicação – programando cada uma para que nenhuma fique parada esperando pela outra.
Juntas, diz a universidade, as ferramentas podem economizar cerca de metade da energia usada para treinar IA, ao mesmo tempo que proporcionam a mesma velocidade de treinamento e desempenho do modelo final. Kareus também é um resultado revisado por pares: a ferramenta foi apresentada no Simpósio USENIX sobre Design e Implementação de Sistemas Operacionais (OSDI) em julho, um dos principais locais para pesquisa de sistemas.
Por que o interesse da NVIDIA é a verdadeira história
A pesquisa sobre eficiência acadêmica geralmente enfrenta um longo caminho até a produção. Este pode ser diferente, por causa de onde pousou. Um estudante de doutorado, Ruofan Wu, passou o verão passado na NVIDIA integrando o software U-M ao Megatron-LM como parte de um estágio – o que significa que as ferramentas não são uma proposta, mas código funcional dentro da pilha de treinamento da NVIDIA, agora sob avaliação formal.
“A IA está ficando com restrição de energia à medida que os modelos se tornam maiores e mais pessoas querem treiná-los, mas podemos alcançar a mesma velocidade e desempenho de treinamento usando menos energia”, disse Wu, estudante de doutorado em ciência da computação e engenharia na UM, no anúncio da universidade. “Há muitas oportunidades para otimizar o uso de energia da IA no nível de software e hardware, e uma das partes mais gratificantes do estágio foi a oportunidade de trazer ideias da minha pesquisa em sistemas de produção”, acrescentou ela.
Essa palavra – poder limitado – é a nova palavra de ordem da indústria. A equipe de pesquisa da U-M, que também inclui os estudantes de doutorado Jeff Ma e Jae-Won Chung, juntamente com o professor associado Mosharaf Chowdhury, está trabalhando com a NVIDIA na integração. A estrutura da equipe é simples: o objetivo é permitir que a IA faça um trabalho mais útil com menos energia e custo, encontrando a maneira mais eficiente de coordenar o treinamento em centenas a milhares de processadores.
Energia é agora uma restrição de primeira classe
A escala do treinamento de fronteira é o que transforma a economia percentual em números estratégicos. A Meta disse esta semana que seus novos modelos Muse Wonder foram treinados no Prometheus, que descreve como um data center em escala de gigawatts. Quando uma única campanha de treinamento é executada nessa escala, uma redução de energia em nível percentual não é um erro de arredondamento; é a diferença entre encaixar um treinamento dentro de um orçamento de energia ou não.
A economia segue a física. A energia tornou-se um dos recursos de entrada para a expansão da IA. Um software que reduz para metade a conta de electricidade de uma sessão de treino – utilizando o hardware existente – altera o cálculo para cada empresa que treina os seus próprios modelos e, particularmente, para os intervenientes mais pequenos, para quem os custos de energia são a restrição vinculativa.
Também reformula o debate ambiental em torno da IA. Grande parte da discussão pública concentrou-se na energia de inferência – a energia consumida por cada consulta do chatbot. Mas o treinamento é onde os maiores blocos individuais de energia estão concentrados, e uma abordagem de software revisada por pares e independente de fornecedor, que o reduz pela metade, oferece algo mais raro do que um roteiro de hardware: ganhos de eficiência que podem chegar com o próximo lançamento de código aberto, em vez da próxima construção do data center.
O que acontece a seguir
A universidade afirma que a NVIDIA está avaliando como adicionar o software à sua plataforma de treinamento de código aberto. Se for fornecido no Megatron-LM, a adoção poderá se espalhar rapidamente, dada a ampla utilização da estrutura na indústria e na academia. O programa de investigação mais amplo da equipa da U-M continua a procurar poupanças de energia em toda a pilha de software e hardware – uma agenda que parecia um nicho há alguns anos e agora parece ser o centro do jogo.
