Najszybciej rosnącym kosztem sztucznej inteligencji mogą nie być chipy – może to być energia elektryczna, która je zasila. 12 października Uniwersytet Michigan ogłosił, że NVIDIA, dominująca na świecie firma zajmująca się przetwarzaniem sztucznej inteligencji, ocenia sposób dodania dwóch energooszczędnych narzędzi U-M do Megatron-LM, powszechnie używanej platformy NVIDIA o otwartym kodzie źródłowym do uczenia dużych modeli językowych. Zdaniem uniwersytetu oprogramowanie może zmniejszyć energię potrzebną do szkolenia sztucznej inteligencji nawet o 50% – bez wpływu na szybkość uczenia się i wydajność modelu.
Wiadomości mają znaczenie znacznie wykraczające poza historię publikacji jednego laboratorium. Megatron-LM nie jest niszową bazą kodu badawczego: firmy mogą używać go bezpośrednio lub jako podstawy dla własnych, prywatnych, dostosowanych do indywidualnych potrzeb platform szkoleniowych. Jest to platforma używana do szkolenia flagowych modeli Nemotron firmy NVIDIA, którą użytkownicy mogą pobrać na swój własny sprzęt. Jeśli narzędzia U-M trafią do Megatron-LM, ulepszenia wydajności opracowane w laboratorium akademickim przejdą na dużą część światowych szkoleń w zakresie sztucznej inteligencji. Aby na bieżąco relacjonować wyścig infrastrukturalny stojący za sztuczną inteligencją, śledź najnowsze osiągnięcia AI na naszej stronie głównej.
Co właściwie robią Kareus i Perseusz
Te dwa narzędzia atakują różne źródła marnotrawstwa w szkoleniach rozproszonych i związane z nimi oszczędności.
Perseus: Zarządzanie szybkością procesora
Perseus rozwiązuje problem nadmiernej alokacji mocy obliczeniowej. Podczas dużego cyklu treningowego nie każdy procesor wykonuje w każdym momencie użyteczną pracę, a mimo to wszystkie pobierają energię. Według U-M zarządzając szybkością procesora tak, aby odpowiadała rzeczywistej pracy dostępnej na każdym etapie szkolenia, Perseus zmniejsza energię potrzebną do trenowania sztucznej inteligencji nawet o 30%.
Kareus: Inteligentniejszy czas na obliczenia i komunikację
Kareus skupia się na subtelniejszym problemie. Szkolenie nowoczesnych modeli wymaga koordynacji setek, a nawet tysięcy procesorów, a praca jest podzielona pomiędzy obliczeniami i komunikacją między chipami. Kareus zmniejsza energię szkoleniową o dodatkowe 15–30%, znajdując najbardziej efektywny czas i podział zasobów pomiędzy zadaniami szkoleniowymi i komunikacyjnymi – planując każde z nich tak, aby żadne z nich nie siedziało bezczynnie i czekało na drugie.
Uniwersytet twierdzi, że narzędzia te łącznie mogą zaoszczędzić około połowy energii wykorzystywanej do szkolenia sztucznej inteligencji, zapewniając jednocześnie tę samą prędkość uczenia się i końcową wydajność modelu. Wynik Kareusa jest także recenzowany: narzędzie zostało zaprezentowane w lipcu podczas sympozjum USENIX poświęconego projektowaniu i wdrażaniu systemów operacyjnych (OSDI), które jest jednym z najważniejszych miejsc badań nad systemami.
Dlaczego zainteresowanie firmy NVIDIA to prawdziwa historia
Badania nad efektywnością akademicką zwykle mają długą drogę do wdrożenia. Ten może być inny ze względu na miejsce, w którym wylądował. Doktorant Ruofan Wu spędził minione lato w firmie NVIDIA, integrując oprogramowanie U-M z Megatron-LM w ramach stażu — co oznacza, że narzędzia nie są propozycją, ale działającym kodem znajdującym się w stosie szkoleniowym firmy NVIDIA, obecnie znajdującym się w fazie formalnej oceny.
„Sztuczna inteligencja staje się coraz bardziej ograniczona pod względem mocy, w miarę jak modele stają się większe i coraz więcej osób chce je trenować, ale tę samą prędkość i wydajność uczenia możemy osiągnąć przy mniejszym zużyciu energii” – stwierdził Wu, doktorant informatyki i inżynierii na U-M, w oświadczeniu uniwersytetu. „Istnieje wiele możliwości optymalizacji wykorzystania energii sztucznej inteligencji na poziomie oprogramowania i sprzętu, a jedną z najbardziej satysfakcjonujących części stażu była możliwość przeniesienia pomysłów z moich badań do systemów produkcyjnych” – dodała.
To słowo – ograniczona moc – jest nowym hasłem branżowym. Zespół badawczy U-M, w skład którego wchodzą także doktoranci Jeff Ma i Jae-Won Chung oraz profesor nadzwyczajny Mosharaf Chowdhury, współpracuje z firmą NVIDIA nad integracją. Ramy zespołu są proste: celem jest umożliwienie sztucznej inteligencji wykonywania bardziej użytecznej pracy przy mniejszym zużyciu energii i kosztach poprzez znalezienie najskuteczniejszego sposobu koordynowania uczenia setek, a nawet tysięcy procesorów.
Energia jest teraz ograniczeniem pierwszej klasy
Skala szkoleń pionierskich zamienia procentowe oszczędności w liczby strategiczne. Meta poinformowała w tym tygodniu, że jej nowe modele Muse Wonder zostały przeszkolone w ośrodku Prometheus, który opisuje jako centrum danych o mocy gigawatów. Kiedy pojedyncza kampania szkoleniowa przebiega na taką skalę, procentowa redukcja energii nie jest błędem zaokrąglenia; to jest różnica pomiędzy dopasowaniem biegu treningowego do budżetu mocy, czy nie.
Ekonomia podąża za fizyką. Energia stała się jednym z zasobów umożliwiających rozwój sztucznej inteligencji. Oprogramowanie, które zmniejsza o połowę rachunek za prąd podczas treningu — przy użyciu istniejącego sprzętu — zmienia sposób kalkulacji w przypadku każdej firmy trenującej własne modele, a szczególnie w przypadku mniejszych graczy, dla których koszty energii są wiążącym ograniczeniem.
Na nowo formułuje także debatę środowiskową wokół sztucznej inteligencji. Duża część publicznej dyskusji skupiała się na energii wnioskowania — mocy zużywanej przez każde zapytanie chatbota. Jednak w szkoleniu skupiają się największe pojedyncze bloki energii, a sprawdzone, niezależne od dostawcy podejście do oprogramowania, które zmniejsza tę energię nawet o połowę, oferuje coś rzadszego niż plan działania dotyczący sprzętu: wzrost wydajności, który może nastąpić wraz z następną wersją oprogramowania typu open source, a nie z następną budową centrum danych.
Co stanie się dalej
Uniwersytet twierdzi, że NVIDIA ocenia, jak dodać oprogramowanie do swojej platformy szkoleniowej typu open source. Jeśli zostanie dostarczony w Megatron-LM, przyjęcie może szybko się rozprzestrzenić, biorąc pod uwagę szerokie zastosowanie platformy w przemyśle i środowisku akademickim. Szerszy program badawczy zespołu U-M w dalszym ciągu szuka oszczędności energii w całym stosie oprogramowania i sprzętu — program, który kilka lat temu wydawał się niszowy, a obecnie wygląda na sedno gry.
