Il costo in più rapida crescita nel settore dell’intelligenza artificiale potrebbe non essere rappresentato dai chip, ma dall’elettricità che li alimenta. Il 12 ottobre, l'Università del Michigan ha annunciato che NVIDIA, la società di calcolo AI dominante nel mondo, sta valutando come aggiungere due strumenti di risparmio energetico UM a Megatron-LM, la piattaforma open source di NVIDIA ampiamente utilizzata per l'addestramento di modelli linguistici di grandi dimensioni. Secondo l’università, il software può ridurre l’energia necessaria per addestrare l’intelligenza artificiale fino al 50%, senza influire sulla velocità di addestramento o sulle prestazioni del modello.
Le notizie contano ben oltre il record di pubblicazioni di un laboratorio. Megatron-LM non è un codebase di ricerca di nicchia: le aziende possono usarlo direttamente o come base per le proprie piattaforme di formazione private e personalizzate, ed è la piattaforma utilizzata per addestrare i modelli Nemotron di punta di NVIDIA, che gli utenti possono scaricare sul proprio hardware. Se gli strumenti di messaggistica unificata venissero integrati in Megatron-LM, i miglioramenti in termini di efficienza sviluppati in un laboratorio accademico si propagherebbero a gran parte dei corsi di formazione sull’intelligenza artificiale a livello mondiale. Per una copertura continua della corsa alle infrastrutture dietro l'intelligenza artificiale, segui gli ultimi sviluppi dell'intelligenza artificiale sulla nostra home page.
Cosa fanno realmente Kareus e Perseo
I due strumenti attaccano diverse fonti di spreco nella formazione distribuita e i relativi risparmi.
Perseus: gestione della velocità del processore
Perseus affronta il calcolo con provisioning eccessivo. In un training di grandi dimensioni, non tutti i processori svolgono un lavoro utile in ogni momento, ma tutti assorbono energia. Secondo UM, gestendo la velocità del processore in modo che corrisponda al lavoro effettivo disponibile in ogni punto dell'addestramento, Perseus riduce l'energia necessaria per addestrare l'intelligenza artificiale fino al 30%.
Kareus: tempistiche più intelligenti per l'elaborazione e la comunicazione
Kareus affronta un problema più sottile. L’addestramento di modelli moderni richiede il coordinamento di centinaia o migliaia di processori e il lavoro si divide tra calcolo e comunicazione chip-to-chip. Kareus riduce l'energia di formazione di un ulteriore 15% - 30% trovando la tempistica e la condivisione delle risorse più efficienti tra le attività di formazione e comunicazione, programmandole ciascuna in modo che nessuna delle due rimanga inattiva ad aspettare l'altra.
Insieme, afferma l’università, gli strumenti possono far risparmiare circa la metà dell’energia utilizzata per addestrare l’intelligenza artificiale, offrendo allo stesso tempo la stessa velocità di addestramento e le stesse prestazioni del modello finale. Kareus è anche un risultato sottoposto a revisione paritaria: lo strumento è stato presentato al simposio USENIX sulla progettazione e implementazione dei sistemi operativi (OSDI) a luglio, una delle sedi principali per la ricerca sui sistemi.
Perché l'interesse di NVIDIA è la verità
La ricerca sull’efficienza accademica di solito deve affrontare una lunga strada verso la produzione. Questo potrebbe essere diverso, a causa di dove è atterrato. Uno studente di dottorato, Ruofan Wu, ha trascorso l'estate scorsa presso NVIDIA integrando il software UM in Megatron-LM come parte di uno stage, il che significa che gli strumenti non sono una proposta ma codice funzionante all'interno dello stack di formazione di NVIDIA, ora in fase di valutazione formale.
"L'intelligenza artificiale sta diventando sempre più limitata in termini di potenza man mano che i modelli diventano più grandi e sempre più persone desiderano addestrarli, ma possiamo ottenere la stessa velocità di addestramento e le stesse prestazioni utilizzando meno energia", ha affermato Wu, uno studente di dottorato in informatica e ingegneria presso la UM, nell'annuncio dell'università. "Ci sono molte opportunità per ottimizzare l'uso dell'energia dell'intelligenza artificiale a livello di software e hardware e una delle parti più gratificanti dello stage è stata l'opportunità di portare idee dalla mia ricerca nei sistemi di produzione", ha aggiunto.
Quella parola – vincolo di potere – è la nuova parola d’ordine del settore. Il gruppo di ricerca dell'UM, che comprende anche gli studenti di dottorato Jeff Ma e Jae-Won Chung insieme al professore associato Mosharaf Chowdhury, sta lavorando con NVIDIA all'integrazione. L'impostazione del team è semplice: l'obiettivo è consentire all'IA di svolgere un lavoro più utile con meno energia e costi, trovando il modo più efficiente per coordinare la formazione tra centinaia o migliaia di processori.
L'energia è ora un vincolo di prima classe
La portata della formazione di frontiera è ciò che trasforma il risparmio percentuale in numeri strategici. Meta ha affermato questa settimana che i suoi nuovi modelli Muse Wonder sono stati addestrati presso Prometheus, che descrive come un data center su scala gigawatt. Quando una singola campagna di formazione viene eseguita su quella scala, una riduzione percentuale dell'energia non è un errore di arrotondamento; è la differenza tra adattare una corsa di allenamento all'interno di un budget energetico o meno.
L’economia segue la fisica. L’energia è diventata una delle risorse chiave per l’espansione dell’intelligenza artificiale. Un software che dimezza la bolletta elettrica di un corso di formazione, utilizzando l’hardware esistente, cambia il calcolo per ogni azienda che forma i propri modelli, e in particolare per gli attori più piccoli per i quali i costi energetici rappresentano un vincolo vincolante.
Inoltre, riformula il dibattito ambientale sull’intelligenza artificiale. Gran parte della discussione pubblica si è concentrata sull’energia di inferenza, ovvero la potenza consumata da ogni query del chatbot. Ma la formazione è il luogo in cui si concentrano i singoli blocchi più grandi di energia, e un approccio software peer-reviewed e indipendente dal fornitore che la riduce fino alla metà offre qualcosa di più raro di una roadmap hardware: guadagni di efficienza che possono arrivare con la prossima versione open source piuttosto che con la prossima costruzione del data center.
Cosa succede dopo
L'università afferma che NVIDIA sta valutando come aggiungere il software alla sua piattaforma di formazione open source. Se venisse spedito in Megatron-LM, l’adozione potrebbe diffondersi rapidamente data l’ampia diffusione del framework nel settore e nel mondo accademico. Il più ampio programma di ricerca del team UM continua a cercare il risparmio energetico nell'intero stack software e hardware: un'agenda che sembrava di nicchia qualche anno fa e ora sembra il centro del gioco.
