El costo de más rápido crecimiento en inteligencia artificial tal vez no sean los chips, sino la electricidad que los alimenta. El 12 de octubre, la Universidad de Michigan anunció que NVIDIA, la empresa de informática de IA dominante en el mundo, está evaluando cómo agregar dos herramientas de ahorro de energía de la UM a Megatron-LM, la plataforma de código abierto ampliamente utilizada de NVIDIA para entrenar grandes modelos de lenguaje. Según la universidad, el software puede reducir la energía necesaria para entrenar la IA hasta en un 50%, sin afectar la velocidad del entrenamiento ni el rendimiento del modelo.
La noticia importa mucho más allá del registro de publicaciones de un laboratorio. Megatron-LM no es una base de código de investigación de nicho: las empresas pueden usarlo directamente o como base para sus propias plataformas de capacitación privadas y personalizadas, y es la plataforma utilizada para entrenar los modelos insignia Nemotron de NVIDIA, que los usuarios pueden descargar en su propio hardware. Si las herramientas de la UM llegan a Megatron-LM, las mejoras de eficiencia desarrolladas en un laboratorio académico se propagarían a una gran parte de los entrenamientos de IA del mundo. Para obtener una cobertura continua de la carrera de infraestructura detrás de la IA, siga los últimos desarrollos de IA en nuestra página de inicio.
Lo que realmente hacen Kareus y Perseo
Las dos herramientas atacan diferentes fuentes de desperdicio en la capacitación distribuida y su ahorro.
Perseus: Gestión de la velocidad del procesador
Perseus aborda el cómputo sobreaprovisionado. En un entrenamiento de gran tamaño, no todos los procesadores realizan un trabajo útil en todo momento, pero todos consumen energía. Al gestionar la velocidad del procesador para que coincida con el trabajo real disponible en cada punto del entrenamiento, Perseus reduce la energía necesaria para entrenar la IA hasta en un 30%, según la UM.
Kareus: sincronización más inteligente para la informática y la comunicación
Kareus apunta a un problema más sutil. Entrenar modelos modernos requiere coordinar de cientos a miles de procesadores, y el trabajo se divide entre la computación y la comunicación de chip a chip. Kareus reduce la energía de entrenamiento entre un 15% y un 30% adicional al encontrar el momento más eficiente y compartir recursos entre esas tareas de entrenamiento y comunicación, programando cada una de ellas de manera que ninguna se quede inactiva esperando a la otra.
En conjunto, afirma la universidad, las herramientas pueden ahorrar alrededor de la mitad de la energía utilizada para entrenar la IA y, al mismo tiempo, ofrecer la misma velocidad de entrenamiento y el mismo rendimiento del modelo final. Kareus también es un resultado revisado por pares: la herramienta se presentó en el Simposio USENIX sobre Diseño e Implementación de Sistemas Operativos (OSDI) en julio, uno de los principales lugares para la investigación de sistemas.
Por qué el interés de NVIDIA es la historia real
La investigación sobre eficiencia académica generalmente enfrenta un largo camino hacia la producción. Este puede ser diferente debido al lugar donde aterrizó. Un estudiante de doctorado, Ruofan Wu, pasó el verano pasado en NVIDIA integrando el software de la UM en Megatron-LM como parte de una pasantía, lo que significa que las herramientas no son una propuesta sino un código de trabajo dentro de la pila de capacitación de NVIDIA, ahora bajo evaluación formal.
"La IA tiene limitaciones de energía a medida que los modelos se hacen más grandes y más personas quieren entrenar modelos, pero podemos lograr la misma velocidad de entrenamiento y rendimiento usando menos energía", dijo Wu, estudiante de doctorado en ciencias de la computación e ingeniería en la UM, en el anuncio de la universidad. "Hay muchas oportunidades para optimizar el uso de energía de la IA a nivel de software y hardware, y una de las partes más gratificantes de la pasantía fue la oportunidad de aportar ideas de mi investigación a los sistemas de producción", añadió.
Esa palabra –poder restringido– es el nuevo lema de la industria. El equipo de investigación de la UM, que también incluye a los estudiantes de doctorado Jeff Ma y Jae-Won Chung junto con el profesor asociado Mosharaf Chowdhury, está trabajando con NVIDIA en la integración. El marco del equipo es sencillo: el objetivo es permitir que la IA haga un trabajo más útil por menos energía y costo al encontrar la forma más eficiente de coordinar el entrenamiento en cientos o miles de procesadores.
La energía es ahora una limitación de primera clase
La escala de la formación de vanguardia es lo que convierte los ahorros porcentuales en cifras estratégicas. Meta dijo esta semana que sus nuevos modelos Muse Wonder fueron entrenados en Prometheus, que describe como un centro de datos a escala de gigavatios. Cuando se ejecuta una sola campaña de capacitación a esa escala, una reducción de energía a nivel porcentual no es un error de redondeo; es la diferencia entre ajustar una carrera de entrenamiento dentro de un presupuesto de energía o no.
La economía sigue a la física. La energía se ha convertido en uno de los recursos de entrada para la expansión de la IA. El software que reduce a la mitad la factura de electricidad de una sesión de capacitación (utilizando hardware existente) cambia el cálculo para cada empresa que entrena sus propios modelos, y particularmente para los actores más pequeños para quienes los costos de energía son la limitación vinculante.
También replantea el debate medioambiental en torno a la IA. Gran parte del debate público se ha centrado en la energía de inferencia: la energía consumida por cada consulta del chatbot. Pero la capacitación es donde se concentran los bloques individuales más grandes de energía, y un enfoque de software independiente del proveedor y revisado por pares que lo reduce hasta a la mitad ofrece algo más raro que una hoja de ruta de hardware: ganancias de eficiencia que pueden llegar con la próxima versión de código abierto en lugar de la próxima construcción del centro de datos.
¿Qué pasa después?
La universidad dice que NVIDIA está evaluando cómo agregar el software a su plataforma de capacitación de código abierto. Si se envía en Megatron-LM, la adopción podría extenderse rápidamente dado el uso generalizado del marco en la industria y el mundo académico. El programa de investigación más amplio del equipo de la UM continúa buscando ahorros de energía en toda la pila de software y hardware, una agenda que parecía un nicho hace unos años y ahora parece el centro del juego.
