Найшвидше зростаюча ціна штучного інтелекту може бути не чіпами — це може бути електроенергія, яка їх живить. 12 жовтня Університет Мічигану оголосив, що NVIDIA, домінуюча у світі обчислювальна компанія зі штучним інтелектом, оцінює, як додати два інструменти енергозбереження U-M до Megatron-LM, широко використовуваної платформи NVIDIA з відкритим кодом для навчання великих мовних моделей. За даними університету, програмне забезпечення може скоротити енергію, необхідну для навчання ШІ, до 50% — без впливу на швидкість навчання чи продуктивність моделі.
Новини мають значення набагато більше, ніж публікації однієї лабораторії. Megatron-LM не є нішевою дослідницькою кодовою базою: компанії можуть використовувати її безпосередньо або як основу для власних приватних налаштованих навчальних платформ, і це платформа, яка використовується для навчання флагманських моделей NVIDIA Nemotron, які користувачі можуть завантажити на власне обладнання. Якщо інструменти U-M потраплять у Megatron-LM, підвищення ефективності, розроблене в академічній лабораторії, пошириться на значну частину світових тренувань ШІ. Слідкуйте за останніми розробками штучного інтелекту на нашій домашній сторінці.
Що насправді роблять Карей і Персей
Ці два інструменти атакують різні джерела відходів у розподіленому навчанні та накопичують їх заощадження.
Perseus: Керування швидкістю процесора
Perseus вирішує проблеми з надлишковими ресурсами. Під час великого тренування не кожен процесор виконує корисну роботу в кожну мить, але всі вони споживають енергію. Керуючи швидкістю процесора відповідно до фактичної роботи, доступної на кожному етапі навчання, Perseus скорочує енергію, необхідну для навчання ШІ, до 30%, згідно з U-M.
Kareus: розумніший час для обчислень і спілкування
Кареус націлений на тоншу проблему. Навчання сучасних моделей вимагає координації від сотень до тисяч процесорів, і робота розподіляється між обчисленнями та зв’язком між мікросхемами. Kareus зменшує витрати енергії на тренування додатково на 15–30%, знаходячи найефективніший час і розподіл ресурсів між цими навчальними й комунікаційними завданнями, плануючи кожне так, щоб жоден не сидів без діла, чекаючи іншого.
Разом, за словами університету, інструменти можуть заощадити приблизно половину енергії, яка використовується для навчання штучного інтелекту, забезпечуючи ту саму швидкість навчання та кінцеву продуктивність моделі. Kareus також є рецензованим результатом: інструмент був представлений на симпозіумі USENIX з проектування та впровадження операційних систем (OSDI) у липні, одному з найкращих місць для системних досліджень.
Чому інтерес NVIDIA є справжньою історією
Дослідження академічної ефективності зазвичай мають довгий шлях до виробництва. Цей може бути іншим через те, де він приземлився. Докторант Руофан Ву провів минуле літо в NVIDIA, інтегруючи програмне забезпечення U-M у Megatron-LM у рамках стажування, тобто інструменти є не пропозицією, а робочим кодом у навчальному стеку NVIDIA, який зараз офіційно оцінюється.
«Потужність штучного інтелекту стає обмеженою, оскільки моделі стають більшими, і все більше людей хочуть тренувати моделі, але ми можемо досягти тієї ж швидкості навчання та продуктивності, використовуючи менше енергії», — сказав Ву, докторант інформатики та інженерії в U-M, в повідомленні університету. «Є багато можливостей для оптимізації використання енергії штучного інтелекту на рівні програмного та апаратного забезпечення, і однією з найбільш корисних частин стажування була можливість перенести ідеї з мого дослідження у виробничі системи», — додала вона.
Це слово — обмеження влади — є новим лозунгом галузі. Дослідницька група U-M, до якої також входять докторанти Джефф Ма та Дже-Вон Чанг разом із доцентом Мошарафом Чоудхурі, працює з NVIDIA над інтеграцією. Формування команди є простим: мета полягає в тому, щоб дозволити штучному інтелекту виконувати більш корисну роботу за меншу енергію та витрати, знайшовши найефективніший спосіб координації навчання між сотнями й тисячами процесорів.
Енергія тепер є першокласним обмеженням
Масштаб навчання на кордоні – це те, що перетворює відсоток економії на стратегічні цифри. Meta повідомила цього тижня, що її нові моделі Muse Wonder пройшли навчання в Prometheus, який вона описує як центр обробки даних потужністю гігават. Коли одна навчальна кампанія проводиться в такому масштабі, відсоткове зниження енергії не є помилкою округлення; це різниця між включенням тренувального циклу в бюджет потужності чи ні.
Економіка слідує за фізикою. Енергія стала одним із провідних ресурсів для розширення ШІ. Програмне забезпечення, яке вдвічі зменшує рахунок за електроенергію під час тренувального циклу — з використанням наявного апаратного забезпечення — змінює обчислення для кожної компанії, яка навчає власні моделі, і особливо для невеликих гравців, для яких вартість енергії є обов’язковим обмеженням.
Це також переосмислює екологічну дискусію навколо ШІ. Значна частина публічних дискусій була зосереджена на енергії висновку — потужності, яку споживає кожен запит чат-бота. Але навчання — це місце, де зосереджено найбільші одиничні блоки енергії, а рецензоване програмне забезпечення, яке не залежить від постачальників, що скорочує її майже вдвічі, пропонує щось рідше, ніж дорожня карта апаратного забезпечення: підвищення ефективності, яке можна отримати з наступним випуском з відкритим кодом, а не з наступним створенням центру обробки даних.
Що станеться далі
Університет каже, що NVIDIA оцінює, як додати програмне забезпечення до своєї навчальної платформи з відкритим кодом. Якщо він постачатиметься в Megatron-LM, впровадження може швидко поширитися, враховуючи, наскільки широко цей фреймворк використовується в галузі та в наукових колах. Більш широка дослідницька програма команди U-M продовжує шукати економію енергії в пакеті програмного та апаратного забезпечення — програма, яка кілька років тому здавалася нішевою, а зараз виглядає як центр гри.
