Costul cu cea mai rapidă creștere în inteligența artificială poate să nu fie cipurile – poate fi electricitatea care le alimentează. Pe 12 octombrie, Universitatea din Michigan a anunțat că NVIDIA, compania de calcul AI dominantă la nivel mondial, evaluează cum să adauge două instrumente de economisire a energiei UM la Megatron-LM, platforma open-source utilizată pe scară largă de NVIDIA pentru antrenarea modelelor lingvistice mari. Potrivit universității, software-ul poate reduce energia necesară antrenării AI cu până la 50% – fără a afecta viteza de antrenament sau performanța modelului.
Știrile contează cu mult dincolo de înregistrarea publicării unui laborator. Megatron-LM nu este o bază de cod de cercetare de nișă: companiile o pot folosi direct sau ca fundație pentru propriile platforme private de antrenament personalizate și este platforma folosită pentru a antrena modelele emblematice Nemotron ale NVIDIA, pe care utilizatorii le pot descărca pe propriul hardware. Dacă instrumentele U-M ajung în Megatron-LM, îmbunătățirile de eficiență dezvoltate într-un laborator academic s-ar propaga într-o mare parte a cursurilor de antrenament AI din lume. Pentru o acoperire continuă a cursei infrastructurii din spatele AI, urmăriți cele mai recente evoluții AI pe pagina noastră de pornire.
Ce fac de fapt Kareus și Perseus
Cele două instrumente atacă diferite surse de deșeuri în cadrul instruirii distribuite și stiva lor de economii.
Perseus: Gestionarea vitezei procesorului
Perseus abordează calcularea supraprovizionată. Într-o cursă mare de antrenament, nu fiecare procesor face o muncă utilă în fiecare moment, totuși toți consumă energie. Prin gestionarea vitezei procesorului pentru a se potrivi cu munca reală disponibilă la fiecare punct al antrenamentului, Perseus reduce energia necesară antrenării AI cu până la 30%, potrivit U-M.
Kareus: Timing mai inteligent pentru calcul și comunicare
Kareus vizează o problemă mai subtilă. Antrenarea modelelor moderne necesită coordonarea a sute până la mii de procesoare, iar munca se împarte între calcul și comunicarea cip-la-cip. Kareus reduce energia de antrenament cu încă 15% până la 30%, găsind cea mai eficientă sincronizare și partajare a resurselor între acele sarcini de antrenament și comunicare - programându-le fiecare astfel încât niciuna să nu stea inactiv în așteptarea celeilalte.
Împreună, spune universitatea, instrumentele pot economisi aproximativ jumătate din energia folosită pentru a antrena AI, oferind în același timp aceeași viteză de antrenament și performanță finală a modelului. Kareus este, de asemenea, un rezultat revizuit de colegi: instrumentul a fost prezentat la Simpozionul USENIX privind proiectarea și implementarea sistemelor de operare (OSDI) în iulie, una dintre cele mai importante locuri de cercetare a sistemelor.
De ce interesul NVIDIA este povestea reală
Cercetarea eficienței academice se confruntă de obicei cu un drum lung până la producție. Acesta poate fi diferit, din cauza locului în care a aterizat. Un doctorand, Ruofan Wu, și-a petrecut vara trecută la NVIDIA integrând software-ul U-M în Megatron-LM, ca parte a unui stagiu, ceea ce înseamnă că instrumentele nu sunt o propunere, ci un cod de lucru în cadrul stivei de instruire a NVIDIA, acum în curs de evaluare formală.
„AI devine constrâns de putere pe măsură ce modelele devin mai mari și mai mulți oameni doresc să antreneze modele, dar putem obține aceeași viteză de antrenament și performanță folosind mai puțină energie”, a spus Wu, doctorand în informatică și inginerie la U-M, în anunțul universității. „Există o mulțime de oportunități de a optimiza utilizarea energiei AI la nivel de software și hardware, iar una dintre cele mai pline de satisfacții ale stagiului a fost oportunitatea de a aduce idei din cercetarea mea în sistemele de producție”, a adăugat ea.
Acel cuvânt – constrâns de putere – este noul cuvânt de ordine al industriei. Echipa de cercetare U-M, care include și doctoranzi Jeff Ma și Jae-Won Chung împreună cu profesorul asociat Mosharaf Chowdhury, lucrează cu NVIDIA la integrare. Încadrarea echipei este simplă: scopul este de a lăsa AI să facă o muncă mai utilă pentru mai puțină energie și costuri, prin găsirea celei mai eficiente modalități de a coordona formarea pe sute până la mii de procesoare.
Energia este acum o constrângere de primă clasă
Amploarea formării de frontieră este cea care transformă economiile procentuale în cifre strategice. Meta a declarat săptămâna aceasta că noile sale modele Muse Wonder au fost antrenate la Prometheus, pe care îl descrie drept un centru de date la scară de gigawați. Când o singură campanie de antrenament se desfășoară la acea scară, o reducere de energie la nivel procentual nu este o eroare de rotunjire; este diferența dintre încadrarea unui antrenament într-un buget de putere sau nu.
Economia urmează fizicii. Energia a devenit una dintre resursele de intrare pentru extinderea AI. Software-ul care reduce la jumătate factura de energie electrică a unei curse de antrenament - folosind hardware-ul existent - schimbă calculul pentru fiecare companie care își antrenează propriile modele și, în special, pentru jucătorii mai mici pentru care costurile cu energie sunt constrângerile obligatorii.
De asemenea, reformează dezbaterea de mediu în jurul AI. O mare parte din discuția publică s-a concentrat pe energia de inferență - puterea consumată de fiecare interogare de chatbot. Dar antrenamentul este locul în care sunt concentrate cele mai mari blocuri de energie, iar o abordare software evaluată de colegi, independentă de furnizor, care o reduce la jumătate, oferă ceva mai rar decât o foaie de parcurs hardware: câștiguri de eficiență care pot ajunge cu următoarea versiune open-source, mai degrabă decât cu următoarea construcție a centrului de date.
Ce se întâmplă în continuare
Universitatea spune că NVIDIA evaluează cum să adauge software-ul la platforma sa de formare open-source. Dacă va fi livrat în Megatron-LM, adoptarea s-ar putea răspândi rapid, având în vedere cât de larg este utilizat cadrul în industrie și în mediul academic. Programul de cercetare mai larg al echipei U-M continuă să caute economii de energie în stiva de software și hardware - o agendă care părea de nișă în urmă cu câțiva ani și care acum arată ca centrul jocului.
