Nejrychleji rostoucí náklady v umělé inteligenci nemusí být čipy – může to být elektřina, která je živí. 12. října Michiganská univerzita oznámila, že NVIDIA, světově dominantní počítačová společnost s umělou inteligencí, vyhodnocuje, jak přidat dva nástroje pro úsporu energie U-M do Megatron-LM, široce používané open-source platformy NVIDIA pro trénování velkých jazykových modelů. Podle univerzity dokáže software snížit energii potřebnou k trénování umělé inteligence až o 50 % – bez dopadu na rychlost tréninku nebo výkon modelu.
Na novinkách záleží daleko za publikačním záznamem jedné laboratoře. Megatron-LM není specializovaná výzkumná kódová základna: společnosti jej mohou používat přímo nebo jako základ pro své vlastní soukromé, přizpůsobené školicí platformy a je to platforma používaná k trénování vlajkových modelů Nemotron společnosti NVIDIA, které si uživatelé mohou stáhnout na svůj vlastní hardware. Pokud se nástroje UM dostanou do Megatron-LM, zlepšení efektivity vyvinuté v akademické laboratoři by se rozšířilo do velké části světových kurzů AI. Pro průběžné pokrytí infrastrukturního závodu o AI sledujte nejnovější vývoj AI na naší domovské stránce.
Co Kareus a Perseus vlastně dělají
Tyto dva nástroje útočí na různé zdroje plýtvání v distribuovaném školení a jejich úspory.
Perseus: Správa rychlosti procesoru
Perseus řeší přetížené výpočty. Ve velkém tréninkovém běhu ne každý procesor dělá užitečnou práci v každém okamžiku, ale všechny odebírají energii. Řízením rychlosti procesoru tak, aby odpovídala skutečné práci dostupné v každém bodě tréninku, snižuje Perseus energii potřebnou k tréninku AI až o 30 %, podle UM.
Kareus: Chytřejší načasování pro výpočetní techniku a komunikaci
Kareus se zaměřuje na jemnější problém. Trénink moderních modelů vyžaduje koordinaci stovek až tisíců procesorů a práce se rozděluje mezi výpočty a komunikaci mezi čipy. Kareus snižuje tréninkovou energii o dalších 15 % až 30 % tím, že najde nejúčinnější načasování a sdílení zdrojů mezi těmito tréninkovými a komunikačními úkoly – naplánováním každého z nich tak, aby ani jeden nečinně nečekal na druhého.
Univerzita říká, že společně mohou nástroje ušetřit přibližně polovinu energie použité k trénování umělé inteligence a zároveň poskytují stejnou rychlost tréninku a konečný výkon modelu. Kareus je také recenzovaným výsledkem: nástroj byl představen na červencovém sympoziu USENIX o návrhu a implementaci operačních systémů (OSDI), jednom z nejlepších míst pro výzkum systémů.
Proč je zájem společnosti NVIDIA skutečným příběhem
Akademický výzkum efektivity obvykle čeká dlouhá cesta k výrobě. Tenhle může být jiný, kvůli tomu, kde přistál. Doktorský student, Ruofan Wu, strávil minulé léto v NVIDIA integrací softwaru UM do Megatron-LM jako součást stáže – což znamená, že nástroje nejsou návrhem, ale pracovním kódem v tréninkovém zásobníku NVIDIA, nyní ve formálním hodnocení.
"AI se stává výkonově omezenou, protože modely se zvětšují a více lidí chce trénovat modely, ale můžeme dosáhnout stejné rychlosti a výkonu tréninku s menším množstvím energie," řekl Wu, doktorand v oboru informatiky a inženýrství na UM, v oznámení univerzity. „Existuje mnoho příležitostí k optimalizaci využití energie AI na softwarové i hardwarové úrovni a jednou z nejpřínosnějších částí stáže byla příležitost přinést nápady z mého výzkumu do produkčních systémů,“ dodala.
Toto slovo – omezení výkonu – je novým heslem tohoto odvětví. Výzkumný tým UM, který zahrnuje také doktorandy Jeffa Ma a Jae-Won Chunga spolu s docentem Mosharafem Chowdhurym, na integraci spolupracuje s NVIDIA. Uspořádání týmu je přímočaré: cílem je umožnit AI dělat užitečnější práci za méně energie a nákladů tím, že najde nejefektivnější způsob koordinace školení napříč stovkami až tisíci procesorů.
Energie je nyní omezením první třídy
Rozsah hraničního školení je to, co proměňuje procentuální úspory ve strategická čísla. Společnost Meta tento týden uvedla, že její nové modely Muse Wonder byly vyškoleny ve společnosti Prometheus, kterou popisuje jako datové centrum v gigawattovém měřítku. Když jedna tréninková kampaň běží v tomto měřítku, snížení energie na procentuální úrovni není zaokrouhlovací chybou; je rozdíl mezi tím, zda se tréninkový běh vejde do energetického rozpočtu, nebo ne.
Ekonomie následuje fyziku. Energie se stala jedním z hradlových zdrojů pro expanzi AI. Software, který snižuje účet za elektřinu při tréninku na polovinu – pomocí stávajícího hardwaru – mění kalkulaci pro každou společnost, která trénuje své vlastní modely, a zejména pro menší hráče, pro které jsou náklady na energii závazným omezením.
Přeformuluje také environmentální debatu kolem AI. Velká část veřejné diskuse se zaměřila na odvozenou energii – energii spotřebovanou každým dotazem chatbota. Školení je však tam, kde se soustředí největší jednotlivé bloky energie, a recenzovaný softwarový přístup nezávislý na dodavatelích, který ji zkrátí až na polovinu, nabízí něco vzácnějšího než hardwarový plán: zvýšení efektivity, které může přijít s příští verzí s otevřeným zdrojovým kódem spíše než s další výstavbou datového centra.
Co se stane dál
Univerzita říká, že NVIDIA vyhodnocuje, jak přidat software do své open source školicí platformy. Pokud se bude dodávat v Megatron-LM, přijetí by se mohlo rychle rozšířit vzhledem k tomu, jak široce je rámec používán v průmyslu a na akademické půdě. Širší výzkumný program týmu UM pokračuje v hledání úspor energie napříč softwarovým a hardwarovým balíkem – agenda, která se před několika lety zdála být výklenek a nyní vypadá jako střed hry.
