Thinking Machines Lab, исследовательская компания, основанная бывшим техническим директором OpenAI Мирой Мурати, опубликовала подробное техническое объяснение того, как она обучает большие языковые модели почти полностью с 4-битной точностью — метод, который, по словам компании, обеспечивает значительную экономию скорости и памяти на новейшем оборудовании Nvidia для центров обработки данных.

Сообщение в блоге под названием «Сквозное 4-битное обучение», опубликованное на веб-сайте компании 13 ноября, рассматривает числовые компромиссы, связанные с обучением с низкой точностью, и описывает, как команда справилась с ними во время обучения своей модели Inkling 2 Small. Для читателей, следящих за последними разработками в области искусственного интеллекта, эта статья предлагает редкий публичный взгляд на инженерные решения, которые определяют, сколько на самом деле стоит обучение в передовом масштабе.

Почему меньше битов означает более быстрое обучение

Обучение большой языковой модели включает в себя вычисление и сохранение огромного количества чисел. Использование меньшего количества битов для каждого значения снижает использование памяти и позволяет графическим процессорам быстрее выполнять арифметические операции. Цена — точность: меньшее количество битов означает меньшее количество представимых чисел, поэтому значения необходимо округлять более агрессивно.

Компания иллюстрирует проблему на простом примере. Если формат может представлять только числа 3 и 4, сохранение 3,2 требует округления до 3, что приводит к ошибке квантования 0,2. Единственная ошибка округления тривиальна, но во время обучения эти ошибки накапливаются на разных уровнях и этапах оптимизации и могут помешать самому процессу обучения.

«Это главная проблема обучения с низкой точностью: как мы можем извлечь выгоду из более быстрой арифметики, не допуская ошибок, которые мешают обучению?» компания написала в сообщении.

Три формата, одна тренировка

Вместо того, чтобы придерживаться единого уровня точности, Thinking Machines на разных этапах обучения использует три числовых формата: BF16, MXFP8 и NVFP4. Каждый формат имеет фиксированную точность, но его скорость зависит от оборудования, на котором он работает.

Компания обучается на платформе Nvidia Grace Blackwell Ultra, GB300, которая специально разработана для ускорения умножения матриц в NVFP4. Согласно сообщению, NVFP4 хранит значения в 3,6 раза меньше битов, чем BF16, а в системах GB300 работает до 6 раз быстрее. Что касается чистой пропускной способности, компания указывает производительность GB300 примерно на уровне 15 PFLOPS в NVFP4, 5 PFLOPS в MXFP8 и 2,5 PFLOPS в BF16.

Загвоздка в том, что агрессивное сжатие NVFP4 вносит гораздо больше ошибок квантования, чем более широкие форматы. Эта ошибка допустима на одних этапах обучения и недопустима на других, поэтому компания рассматривает каждый этап отдельно.

Разные этапы, разные правила

Сообщение в блоге разбивает обучение на четыре этапа — прямой и обратный этапы предварительного обучения, сэмплер обучения с подкреплением и тренер RL — и назначает каждому различный баланс приоритетов между минимизацией ошибок, минимизацией систематической ошибки, увеличением скорости и сокращением использования памяти.

Скорость имеет наибольшее значение на этапах большого объема: предварительное обучение, которое обрабатывает триллионы токенов, и выборка RL, которая генерирует большие объемы развертываний. Однако пасы назад — это особый случай. В сообщении объясняется, что обратные проходы усредняются по многим токенам в пакете, что ослабляет влияние случайно распределенных ошибок округления, но они очень чувствительны к смещению квантования, систематическому дрейфу, который возникает, когда значения последовательно округляются в одном направлении. В отличие от случайного шума, это смещение может усиливаться на разных слоях, выборках и этапах обучения.

Компания заявляет, что сумела найти эти компромиссы во время обучения Inkling 2 Small, модели с открытым набором экспертов, которую она выпустила ранее в этом месяце под лицензией Apache 2.0. В сообщении не утверждается, что каждая часть прогона выполнялась в 4 битах; скорее, он описывает сквозную стратегию, в которой точность каждого компонента выбирается намеренно, а не наследуется по умолчанию.

Почему важно обучение с низкой точностью

Экономика здесь проста. Вычисления являются основной статьей затрат при разработке передовых моделей, и производители оборудования стремятся добавить ускорение низкой точности в каждое новое поколение чипов. Nvidia позиционирует поддержку NVFP4 в своей платформе Blackwell Ultra как главную функцию, а конкурирующие ускорители от AMD, Google и других рекламируют свои собственные форматы с пониженной точностью.

Если исследовательские лаборатории смогут безопасно перевести большую часть обучающего конвейера на 4-битную арифметику, тот же аппаратный бюджет позволит купить больше экспериментов, больше токенов или более крупные модели. Это значительное преимущество на рынке, где доступ к новейшим ускорителям ограничен и дорог. Это также сочетается с более широким стремлением отрасли к методам повышения эффективности, таким как логический вывод с учетом квантования и спекулятивное декодирование, которые выжимают больше возможностей из стационарного оборудования.

Этот пост также является сигналом того, куда движется исследовательское сообщество. Обучение с низкой точностью долгое время считалось слишком рискованным для чего-либо, кроме вывода, поскольку считалось, что ошибки округления искажают обучение. Тщательный поэтапный анализ, подобный тому, который опубликовал журнал Thinking Machines, позволяет проверить и, где возможно, опровергнуть это предположение.

От публикации в блоге до открытых весов

Что делает раскрытие примечательным, так это то, что оно не является чисто теоретическим. Компания напрямую связала эту технику с уже поставленной моделью. Inkling 2 Small был выпущен с загружаемыми весами в начале ноября, и в новом посте объясняется численная стратегия, лежащая в основе его тренировки. Практики, загружающие модель, по сути, получают работающий артефакт методологии низкой точности, которую описывает компания.

Thinking Machines была необычайно открыта для лаборатории передового масштаба, публикуя технические сообщения в блогах вместе с выпусками своих моделей. Эта прозрачность дает сторонним исследователям нечто редкое: документированный, воспроизводимый отчет о том, как современные тренировки справляются с беспорядочными числовыми реалиями арифметики смешанной точности.

Для более широкой отрасли смысл заключается в том, что 4-битное обучение перешло от исследовательского любопытства к производственной технике. По мере того, как все больше лабораторий будут применять аналогичные стратегии, разрыв между теоретической пиковой производительностью оборудования и реальной производительностью обучения будет сокращаться, а стоимость моделей, способных к обучению, будет продолжать падать.

Будьте впереди ИИ

Методы, лежащие в основе передовых моделей, развиваются еженедельно. Подпишитесь на AI Buzz Wire, чтобы получать четкие и достоверные отчеты об исследованиях, которые формируют эту область.

Читать больше новостей об искусственном интеллекте →