De snelst groeiende kostenpost op het gebied van kunstmatige intelligentie zijn misschien niet de chips; het kan de elektriciteit zijn die ze voedt. Op 12 oktober maakte de Universiteit van Michigan bekend dat NVIDIA, 's werelds dominante AI-computerbedrijf, evalueert hoe twee U-M energiebesparende tools kunnen worden toegevoegd aan Megatron-LM, NVIDIA's veelgebruikte open-sourceplatform voor het trainen van grote taalmodellen. Volgens de universiteit kan de software de energie die nodig is om AI te trainen met wel 50% verminderen – zonder de trainingssnelheid of modelprestaties te beïnvloeden.
Het nieuws is van veel groter belang dan het publicatierecord van één laboratorium. Megatron-LM is geen niche-onderzoekscodebase: bedrijven kunnen het rechtstreeks gebruiken of als basis voor hun eigen privé, op maat gemaakte trainingsplatforms, en het is het platform dat wordt gebruikt om NVIDIA's vlaggenschip Nemotron-modellen te trainen, die gebruikers naar hun eigen hardware kunnen downloaden. Als de U-M-tools Megatron-LM halen, zouden efficiëntieverbeteringen die in een academisch laboratorium zijn ontwikkeld, zich verspreiden in een groot deel van de AI-trainingen ter wereld. Voor voortdurende berichtgeving over de infrastructuurrace achter AI kunt u de laatste AI-ontwikkelingen volgen op onze homepage.
Wat Kareus en Perseus eigenlijk doen
De twee tools pakken verschillende bronnen van verspilling in gedistribueerde training aan, en hun besparingen.
Perseus: processorsnelheid beheren
Perseus pakt overbezette rekenkracht aan. Tijdens een grote trainingsrun doet niet elke processor op elk moment nuttig werk, maar toch verbruiken ze allemaal stroom. Door de processorsnelheid zo te beheren dat deze overeenkomt met het daadwerkelijke werk dat op elk punt in de training beschikbaar is, vermindert Perseus de energie die nodig is om AI te trainen met wel 30%, aldus U-M.
Kareus: slimmere timing voor computergebruik en communicatie
Kareus richt zich op een subtieler probleem. Het trainen van moderne modellen vereist het coördineren van honderden tot duizenden processors, en het werk verdeelt zich tussen berekeningen en chip-naar-chip-communicatie. Kareus vermindert de trainingsenergie met nog eens 15% tot 30% door de meest efficiënte timing en verdeling van middelen te vinden tussen deze trainings- en communicatietaken - door ze allemaal zo te plannen dat geen van beiden stil zit te wachten op de ander.
Samen kunnen de tools volgens de universiteit ongeveer de helft van de energie besparen die wordt gebruikt om AI te trainen, terwijl ze dezelfde trainingssnelheid en uiteindelijke modelprestaties leveren. Kareus is ook een peer-reviewed resultaat: de tool werd in juli gepresenteerd op het USENIX Symposium on Operating Systems Design and Implementation (OSDI), een van de toplocaties voor systeemonderzoek.
Waarom de interesse van NVIDIA het echte verhaal is
Academisch efficiëntieonderzoek kent doorgaans een lange weg naar productie. Deze kan anders zijn, vanwege de plek waar hij is geland. Een promovendus, Ruofan Wu, bracht de afgelopen zomer bij NVIDIA door met het integreren van de U-M-software in Megatron-LM als onderdeel van een stage - wat betekent dat de tools geen voorstel zijn, maar werkende code binnen de trainingsstack van NVIDIA, die nu formeel wordt geëvalueerd.
"AI wordt steeds beperkter in vermogen naarmate modellen groter worden en meer mensen modellen willen trainen, maar we kunnen dezelfde trainingssnelheid en -prestaties bereiken met minder energie", zegt Wu, een doctoraalstudent in computerwetenschappen en techniek aan de UM, in de aankondiging van de universiteit. "Er zijn veel mogelijkheden om het energieverbruik van AI op software- en hardwareniveau te optimaliseren, en een van de meest lonende onderdelen van de stage was de mogelijkheid om ideeën uit mijn onderzoek naar productiesystemen te brengen", voegde ze eraan toe.
Dat woord – beperkte macht – is het nieuwe wachtwoord van de industrie. Het U-M-onderzoeksteam, waartoe ook promovendi Jeff Ma en Jae-Won Chung en universitair hoofddocent Mosharaf Chowdhury behoren, werkt samen met NVIDIA aan de integratie. De opzet van het team is eenvoudig: het doel is om AI nuttiger werk te laten doen tegen minder energie en kosten, door de meest efficiënte manier te vinden om de training van honderden tot duizenden processors te coördineren.
Energie is nu een eersteklas beperking
De omvang van de grensoverschrijdende training zorgt ervoor dat procentuele besparingen in strategische cijfers worden omgezet. Meta zei deze week dat zijn nieuwe Muse Wonder-modellen zijn getraind bij Prometheus, dat het beschrijft als een datacenter op gigawatt-schaal. Wanneer een enkele trainingscampagne op die schaal wordt uitgevoerd, is een procentuele energiereductie geen afrondingsfout; het is het verschil tussen het wel of niet inpassen van een trainingsrun binnen een energiebudget.
De economie volgt de natuurkunde. Energie is een van de belangrijkste bronnen geworden voor de uitbreiding van AI. Software die de elektriciteitsrekening van een training halveert – gebruikmakend van bestaande hardware – verandert de berekening voor elk bedrijf dat zijn eigen modellen traint, en vooral voor kleinere spelers voor wie energiekosten de bindende beperking zijn.
Het herkadert ook het milieudebat rond AI. Een groot deel van de publieke discussie was gericht op inferentie-energie: de energie die wordt verbruikt door elke chatbotvraag. Maar training is waar de grootste afzonderlijke energieblokken geconcentreerd zijn, en een collegiaal getoetste, leveranciersonafhankelijke softwarebenadering die deze tot de helft terugbrengt, biedt iets zeldzamer dan een hardware-roadmap: efficiëntiewinsten die kunnen worden bereikt met de volgende open source-release in plaats van de volgende datacenter-build.
Wat gebeurt er vervolgens
De universiteit zegt dat NVIDIA evalueert hoe de software aan haar open-source trainingsplatform kan worden toegevoegd. Als het in Megatron-LM wordt geleverd, zou de adoptie zich snel kunnen verspreiden, gezien de wijdverbreide toepassing van het raamwerk in de industrie en in de academische wereld. Het bredere onderzoeksprogramma van het U-M-team blijft zoeken naar energiebesparingen in de software- en hardwarestack – een agenda die een paar jaar geleden een niche leek en nu het middelpunt van het spel lijkt.
