Le coût qui augmente le plus rapidement dans le domaine de l’intelligence artificielle n’est peut-être pas celui des puces, mais plutôt l’électricité qui les alimente. Le 12 octobre, l'Université du Michigan a annoncé que NVIDIA, la principale société informatique d'IA au monde, étudiait comment ajouter deux outils d'économie d'énergie U-M à Megatron-LM, la plate-forme open source largement utilisée de NVIDIA pour la formation de grands modèles de langage. Selon l’université, le logiciel peut réduire jusqu’à 50 % l’énergie nécessaire à l’entraînement de l’IA, sans affecter la vitesse d’entraînement ou les performances du modèle.
L’actualité compte bien au-delà du record de publication d’un laboratoire. Megatron-LM n'est pas une base de code de recherche de niche : les entreprises peuvent l'utiliser directement ou comme base pour leurs propres plates-formes de formation privées et personnalisées, et c'est la plate-forme utilisée pour former les modèles Nemotron phares de NVIDIA, que les utilisateurs peuvent télécharger sur leur propre matériel. Si les outils U-M parviennent à Megatron-LM, les améliorations d'efficacité développées dans un laboratoire universitaire se propageraient à une grande partie des cycles de formation en IA dans le monde. Pour une couverture continue de la course aux infrastructures derrière l’IA, suivez les derniers développements de l’IA sur notre page d’accueil.
Ce que font réellement Kareus et Persée
Les deux outils s'attaquent à différentes sources de gaspillage dans la formation distribuée et à leur pile d'économies.
Perseus : Gérer la vitesse du processeur
Perseus s'attaque au calcul surprovisionné. Lors d'un cycle de formation à grande échelle, tous les processeurs ne font pas un travail utile à chaque instant, mais ils consomment tous de l'énergie. En gérant la vitesse du processeur pour qu'elle corresponde au travail réel disponible à chaque étape de la formation, Perseus réduit l'énergie nécessaire à la formation de l'IA jusqu'à 30 %, selon l'UM.
Kareus : un timing plus intelligent pour le calcul et la communication
Kareus cible un problème plus subtil. La formation de modèles modernes nécessite la coordination de centaines, voire de milliers de processeurs, et le travail se répartit entre le calcul et la communication puce à puce. Kareus réduit l'énergie de formation de 15 à 30 % supplémentaires en trouvant le timing et le partage de ressources les plus efficaces entre ces tâches de formation et de communication, en planifiant chacune de manière à ce qu'aucune des deux ne reste inactive à attendre l'autre.
Ensemble, selon l'université, les outils peuvent économiser environ la moitié de l'énergie utilisée pour entraîner l'IA tout en offrant la même vitesse de formation et les mêmes performances du modèle final. Kareus est également un résultat évalué par des pairs : l'outil a été présenté au symposium USENIX sur la conception et la mise en œuvre des systèmes d'exploitation (OSDI) en juillet, l'un des principaux lieux de recherche sur les systèmes.
Pourquoi l'intérêt de NVIDIA est la vraie histoire
La recherche sur l’efficacité académique est généralement confrontée à un long chemin vers la production. Celui-ci peut être différent, en raison de l’endroit où il a atterri. Un doctorant, Ruofan Wu, a passé l'été dernier chez NVIDIA à intégrer le logiciel U-M dans Megatron-LM dans le cadre d'un stage, ce qui signifie que les outils ne sont pas une proposition mais un code fonctionnel au sein de la pile de formation de NVIDIA, actuellement en cours d'évaluation formelle.
"L'IA est de plus en plus limitée en termes de puissance à mesure que les modèles deviennent plus grands et que de plus en plus de personnes souhaitent entraîner des modèles, mais nous pouvons atteindre la même vitesse de formation et les mêmes performances en utilisant moins d'énergie", a déclaré Wu, doctorant en informatique et en ingénierie à l'UM, dans l'annonce de l'université. "Il existe de nombreuses opportunités pour optimiser la consommation d'énergie de l'IA au niveau logiciel et matériel, et l'une des parties les plus enrichissantes du stage a été l'opportunité d'appliquer les idées de mes recherches aux systèmes de production", a-t-elle ajouté.
Ce mot – puissance limitée – est le nouveau mot d'ordre de l'industrie. L'équipe de recherche de l'UM, qui comprend également les doctorants Jeff Ma et Jae-Won Chung ainsi que le professeur associé Mosharaf Chowdhury, travaille avec NVIDIA sur l'intégration. Le cadre de l'équipe est simple : l'objectif est de permettre à l'IA d'effectuer un travail plus utile pour moins d'énergie et de coûts en trouvant le moyen le plus efficace de coordonner la formation sur des centaines, voire des milliers de processeurs.
L'énergie est désormais une contrainte de premier ordre
L’ampleur de la formation frontalière est ce qui transforme les pourcentages d’économies en chiffres stratégiques. Meta a déclaré cette semaine que ses nouveaux modèles Muse Wonder avaient été formés à Prometheus, qu'elle décrit comme un centre de données à l'échelle du gigawatt. Lorsqu’une seule campagne de formation se déroule à cette échelle, un pourcentage de réduction d’énergie ne constitue pas une erreur d’arrondi ; c'est la différence entre intégrer ou non un entraînement dans un budget de puissance.
L'économie suit la physique. L’énergie est devenue l’une des ressources clés pour l’expansion de l’IA. Un logiciel qui réduit de moitié la facture d'électricité d'une formation - en utilisant le matériel existant - change le calcul pour chaque entreprise qui forme ses propres modèles, et en particulier pour les petits acteurs pour qui les coûts énergétiques sont la contrainte majeure.
Il recadre également le débat environnemental autour de l’IA. Une grande partie du débat public s'est concentrée sur l'énergie d'inférence, c'est-à-dire l'énergie consommée par chaque requête de chatbot. Mais c'est dans la formation que se concentrent les plus gros blocs d'énergie, et une approche logicielle évaluée par des pairs et indépendante du fournisseur, qui la réduit de moitié, offre quelque chose de plus rare qu'une feuille de route matérielle : des gains d'efficacité qui peuvent arriver avec la prochaine version open source plutôt que la prochaine construction de centre de données.
Que se passe-t-il ensuite
L'université affirme que NVIDIA étudie la manière d'ajouter le logiciel à sa plateforme de formation open source. S'il est livré dans Megatron-LM, son adoption pourrait se propager rapidement étant donné l'ampleur de l'utilisation du cadre dans l'industrie et dans le monde universitaire. Le programme de recherche plus large de l'équipe UM continue de rechercher des économies d'énergie à travers la pile logicielle et matérielle - un programme qui semblait une niche il y a quelques années et qui semble maintenant être au centre du jeu.
