Самой быстрорастущей стоимостью в области искусственного интеллекта могут быть не чипы, а электричество, которое их питает. 12 октября Мичиганский университет объявил, что NVIDIA, ведущая в мире компания в области вычислений в области искусственного интеллекта, рассматривает возможность добавления двух инструментов энергосбережения UM в Megatron-LM, широко используемую платформу NVIDIA с открытым исходным кодом для обучения больших языковых моделей. По данным университета, программное обеспечение может сократить энергию, необходимую для обучения ИИ, до 50%, не влияя при этом на скорость обучения или производительность модели.
Эта новость имеет значение, выходящее далеко за рамки публикаций одной лаборатории. Megatron-LM — это не нишевая исследовательская кодовая база: компании могут использовать ее напрямую или в качестве основы для своих собственных частных, настраиваемых обучающих платформ, и это платформа, используемая для обучения флагманских моделей NVIDIA Nemotron, которые пользователи могут загрузить на свое оборудование. Если инструменты UM войдут в Megatron-LM, улучшения эффективности, разработанные в академической лаборатории, будут распространены на большую часть мировых программ обучения искусственному интеллекту. Чтобы постоянно освещать инфраструктурную гонку за искусственным интеллектом, следите за последними разработками в области искусственного интеллекта на нашей домашней странице.
Что на самом деле делают Кареус и Персей
Эти два инструмента нацелены на различные источники потерь в распределенном обучении и их экономию.
Perseus: управление скоростью процессора
Perseus решает проблему избыточных вычислений. При большом обучающем запуске не каждый процессор выполняет полезную работу в каждый момент времени, но все они потребляют энергию. По данным UM, управляя скоростью процессора в соответствии с фактической работой, доступной на каждом этапе обучения, Perseus сокращает энергию, необходимую для обучения ИИ, до 30%.
Kareus: более разумное время для вычислений и связи
Кареус нацелен на более тонкую проблему. Обучение современных моделей требует координации сотен и тысяч процессоров, а работа разделяется между вычислениями и связью между чипами. Kareus сокращает затраты энергии на обучение еще на 15–30 %, находя наиболее эффективное время и распределение ресурсов между этими задачами обучения и общения, планируя каждую из них так, чтобы ни одна из них не сидела без дела в ожидании другой.
Вместе, по словам университета, эти инструменты могут сэкономить около половины энергии, используемой для обучения ИИ, обеспечивая при этом ту же скорость обучения и конечную производительность модели. Kareus также является результатом рецензирования: инструмент был представлен на симпозиуме USENIX по проектированию и внедрению операционных систем (OSDI) в июле, одном из лучших мест для системных исследований.
Почему интерес NVIDIA является реальной историей
Исследования академической эффективности обычно проходят долгий путь к производству. Этот может отличаться в зависимости от того, где он приземлился. Докторант Руофан Ву провел прошлое лето в NVIDIA, интегрируя программное обеспечение UM в Megatron-LM в рамках стажировки. Это означает, что инструменты — это не предложение, а рабочий код внутри учебного стека NVIDIA, который сейчас проходит официальную оценку.
«ИИ становится ограниченным по мощности, поскольку модели становятся больше, и все больше людей хотят обучать модели, но мы можем достичь той же скорости и производительности обучения, используя меньше энергии», — сказал Ву, докторант в области компьютерных наук и инженерии в UM, в объявлении университета. «Существует множество возможностей оптимизировать использование энергии ИИ на уровне программного и аппаратного обеспечения, и одной из самых полезных частей стажировки была возможность применить идеи моих исследований в производственных системах», — добавила она.
Это слово — «ограничение власти» — стало новым лозунгом отрасли. Исследовательская группа UM, в которую также входят докторанты Джефф Ма и Джэ-Вон Чунг, а также доцент Мошараф Чоудхури, работает с NVIDIA над интеграцией. Формулировка команды проста: цель состоит в том, чтобы позволить ИИ выполнять больше полезной работы с меньшими затратами энергии и затрат, найдя наиболее эффективный способ координации обучения сотен и тысяч процессоров.
Энергия теперь является первоклассным ограничением
Масштаб передового обучения — это то, что превращает процентную экономию в стратегические цифры. На этой неделе компания Meta заявила, что ее новые модели Muse Wonder прошли обучение в Прометее, который она описывает как центр обработки данных мощностью в гигаватт. Когда одна тренировочная кампания проводится в таком масштабе, снижение энергии на процентном уровне не является ошибкой округления; это разница между тем, вписаться ли тренировочный забег в бюджет мощности или нет.
Экономика следует за физикой. Энергия стала одним из ресурсов, способствующих расширению ИИ. Программное обеспечение, которое вдвое сокращает расходы на электроэнергию при обучении — с использованием существующего оборудования — меняет расчеты для каждой компании, обучающей свои собственные модели, и особенно для небольших игроков, для которых затраты на электроэнергию являются обязательным ограничением.
Это также переосмысливает экологические дебаты вокруг ИИ. Большая часть общественных дискуссий сосредоточена на энергии умозаключений — мощности, потребляемой каждым запросом чат-бота. Но обучение — это то место, где концентрируются самые большие отдельные блоки энергии, а проверенный программный подход, не зависящий от поставщика, который сокращает его почти вдвое, предлагает нечто более редкое, чем план аппаратного обеспечения: повышение эффективности, которое может быть достигнуто со следующей версией с открытым исходным кодом, а не со следующей сборкой центра обработки данных.
Что будет дальше
В университете говорят, что NVIDIA рассматривает возможность добавления этого программного обеспечения в свою учебную платформу с открытым исходным кодом. Если он появится в Megatron-LM, его внедрение может быстро распространиться, учитывая, насколько широко эта структура используется в отрасли и в научных кругах. В рамках более широкой исследовательской программы команды UM продолжаются поиски экономии энергии в программном и аппаратном обеспечении — программа, которая несколько лет назад казалась нишевой, а теперь выглядит как центр игры.
