Den snabbast växande kostnaden för artificiell intelligens är kanske inte chips - det kan vara elektriciteten som matar dem. Den 12 oktober tillkännagav University of Michigan att NVIDIA, världens dominerande AI-datorföretag, utvärderar hur man kan lägga till två U-M energibesparande verktyg till Megatron-LM, NVIDIAs allmänt använda plattform med öppen källkod för att träna stora språkmodeller. Enligt universitetet kan programvaran minska energin som krävs för att träna AI med upp till 50 % – utan att påverka träningshastigheten eller modellens prestanda.
Nyheterna har betydelse långt bortom ett labbs publiceringsrekord. Megatron-LM är ingen nischforskningskodbas: företag kan använda den direkt eller som grunden för sina egna privata, anpassade träningsplattformar, och det är plattformen som används för att träna NVIDIAs flaggskepp Nemotron-modeller, som användare kan ladda ner till sin egen hårdvara. Om U-M-verktygen kommer in i Megatron-LM, skulle effektivitetsförbättringar som utvecklats i ett akademiskt labb spridas till en stor del av världens AI-utbildningskörningar. För pågående bevakning av infrastrukturtävlingen bakom AI, följ den senaste AI-utvecklingen på vår hemsida.
Vad Kareus och Perseus faktiskt gör
De två verktygen attackerar olika källor till avfall i distribuerad utbildning, och deras besparingsstapel.
Perseus: Hantera processorhastighet
Perseus tar upp överprovisionerad beräkning. I en stor träningskörning utför inte alla processorer användbart arbete i varje ögonblick, men alla drar ström. Genom att hantera processorhastigheten för att matcha det faktiska arbete som finns tillgängligt vid varje träningstillfälle, minskar Perseus energin som behövs för att träna AI med upp till 30 %, enligt U-M.
Kareus: Smartare timing för beräkning och kommunikation
Kareus siktar på ett mer subtilt problem. Att träna moderna modeller kräver koordinering av hundratals till tusentals processorer, och arbetet delas mellan beräkning och chip-till-chip-kommunikation. Kareus minskar träningsenergin med ytterligare 15 % till 30 % genom att hitta den mest effektiva timingen och resursdelningen mellan dessa tränings- och kommunikationsuppgifter – schemalägga var och en så att ingen av dem står stilla och väntar på den andra.
Tillsammans, säger universitetet, kan verktygen spara ungefär hälften av energin som används för att träna AI samtidigt som de levererar samma träningshastighet och slutliga modellprestanda. Kareus är också ett peer-reviewed resultat: verktyget presenterades vid USENIX Symposium on Operating Systems Design and Implementation (OSDI) i juli, en av de främsta platserna för systemforskning.
Varför NVIDIAs intresse är den verkliga historien
Akademisk effektivitetsforskning står vanligtvis inför en lång väg till produktion. Den här kan vara annorlunda på grund av var den landade. En doktorand, Ruofan Wu, tillbringade den gångna sommaren på NVIDIA med att integrera UM-mjukvaran i Megatron-LM som en del av en praktik – vilket betyder att verktygen inte är ett förslag utan en arbetskod i NVIDIAs träningsstack, nu under formell utvärdering.
"AI blir kraftbegränsad i takt med att modellerna blir större och fler vill träna modeller, men vi kan uppnå samma träningshastighet och prestanda med mindre energi", säger Wu, doktorand i datavetenskap och teknik vid UM, i universitetets tillkännagivande. "Det finns många möjligheter att optimera AI-energianvändningen på mjukvaru- och hårdvarunivå, och en av de mest givande delarna av praktiken var möjligheten att ta med idéer från min forskning om produktionssystem", tillade hon.
Det ordet – maktbegränsad – är branschens nya ledord. U-M-forskargruppen, som även inkluderar doktoranderna Jeff Ma och Jae-Won Chung tillsammans med docent Mosharaf Chowdhury, arbetar med NVIDIA om integrationen. Teamets inramning är okomplicerad: målet är att låta AI göra mer användbart arbete för mindre energi och kostnad genom att hitta det mest effektiva sättet att samordna utbildning mellan hundratals till tusentals processorer.
Energi är nu en förstklassig begränsning
Omfattningen av gränsträning är det som förvandlar procentuella besparingar till strategiska siffror. Meta sa i veckan att dess nya Muse Wonder-modeller tränades på Prometheus, som de beskriver som ett gigawatt-datacenter. När en enskild träningskampanj körs på den skalan är en procentuell energiminskning inte ett avrundningsfel; det är skillnaden mellan att passa ett träningspass inom en energibudget eller inte.
Ekonomin följer fysiken. Energi har blivit en av grindresurserna för AI-expansion. Programvara som halverar elräkningen för en utbildningskörning – med hjälp av befintlig hårdvara – ändrar kalkylen för varje företag som tränar sina egna modeller, och särskilt för mindre aktörer för vilka energikostnaderna är den bindande begränsningen.
Det omformulerar också miljödebatten kring AI. Mycket av den offentliga diskussionen har fokuserat på slutledningsenergi - strömmen som förbrukas av varje chatbot-fråga. Men utbildning är där de största enskilda energiblocken är koncentrerade, och en peer-reviewed, leverantörs-agnostisk mjukvaruansats som minskar den med upp till hälften erbjuder något sällsyntare än en hårdvarufärdplan: effektivitetsvinster som kan komma med nästa frisläppande av öppen källkod snarare än nästa datacenterbygge.
Vad händer härnäst
Universitetet säger att NVIDIA utvärderar hur man lägger till programvaran till sin utbildningsplattform med öppen källkod. Om det levereras i Megatron-LM kan adoptionen spridas snabbt med tanke på hur brett ramverket används inom branschen och i den akademiska världen. U-M-teamets bredare forskningsprogram fortsätter att leta efter energibesparingar över hela mjukvaran och hårdvaran – en agenda som verkade nisch för några år sedan och som nu ser ut som spelets centrum.
