Thinking Machines описує наскрізне 4-розрядне навчання на апаратному забезпеченні Nvidia GB300

Thinking Machines Lab, дослідницька компанія, заснована колишнім головним технічним директором OpenAI Мірою Мураті, опублікувала детальне технічне пояснення того, як вона навчає великі мовні моделі майже повністю з 4-бітною точністю — методика, за словами компанії, відкриває значну економію швидкості та пам’яті на новітньому апаратному забезпеченні центру обробки даних Nvidia.

Повідомлення в блозі під назвою «Наскрізне 4-розрядне навчання», опубліковане на веб-сайті компанії 13 листопада, розповідає про численні компроміси, що стоять за низькоточним навчанням, і описує, як команда керувала ними під час навчання своєї моделі Inkling 2 Small. Для читачів, які слідкують за останніми розробками штучного інтелекту, публікація пропонує рідкісний публічний погляд на інженерні рішення, які визначають, скільки насправді коштує тренувальний запуск передового масштабу.

Чому менше бітів означає швидше навчання

Навчання великої мовної моделі передбачає обчислення та зберігання величезної кількості чисел. Використання меншої кількості бітів для кожного значення зменшує використання пам’яті та дозволяє графічним процесорам виконувати арифметику швидше. Ціна полягає в точності: менше бітів означає менше чисел, які можна представити, тому значення потрібно округлювати більш агресивно.

Компанія ілюструє проблему простим прикладом. Якщо формат може представляти лише числа 3 і 4, збереження 3,2 потребує округлення до 3, вводячи помилку квантування 0,2. Одна помилка округлення є тривіальною, але під час навчання ці помилки накопичуються між шарами та кроками оптимізації, і вони можуть заважати самому процесу навчання.

«Це головна проблема навчання з низькою точністю: як ми можемо отримати вигоду від швидшої арифметики, не вводячи помилок, які заважають навчанню?» – написала компанія в дописі.

Три формати, одне тренування

Замість того, щоб використовувати єдиний рівень точності, Thinking Machines використовує три числові формати на різних етапах навчання: BF16, MXFP8 і NVFP4. Кожен формат має фіксовану точність, але його швидкість залежить від апаратного забезпечення, яке його запускає.

Компанія тренується на платформі Nvidia Grace Blackwell Ultra, GB300, яка спеціально розроблена для прискорення множення матриць у NVFP4. Згідно з дописом, NVFP4 зберігає значення в 3,6 рази менше бітів, ніж BF16, і працює до 6 разів швидше на системах GB300. Якщо говорити про вихідну пропускну здатність, то продуктивність GB300 становить приблизно 15 PFLOPS у NVFP4, 5 PFLOPS у MXFP8 та 2,5 PFLOPS у BF16.

Заковика в тому, що агресивне стиснення NVFP4 створює набагато більше помилок квантування, ніж ширші формати. Ця помилка допустима на деяких етапах навчання і неприйнятна на інших, тому компанія розглядає кожен етап окремо.

Різні етапи, різні правила

Повідомлення в блозі розбиває навчання на чотири етапи — попередній і зворотний проходи попереднього навчання, семплер навчання з підкріпленням і RL-тренер — і призначає кожному різний баланс пріоритетів між мінімізацією помилок, мінімізацією упередженості, збільшенням швидкості та зменшенням використання пам’яті.

Швидкість має найбільше значення на етапах великого обсягу: попереднє навчання, яке запускає трильйони токенів, і вибірка RL, яка генерує великі обсяги розгортань. Проте паси назад — особливий випадок. У дописі пояснюється, що зворотні проходи усереднюють багато токенів у пакеті, що послаблює вплив випадково розподілених помилок округлення, але вони дуже чутливі до зміщення квантування, систематичного дрейфу, який виникає, коли значення послідовно округляються в одному напрямку. На відміну від випадкового шуму, це зміщення може поєднуватися між шарами, зразками та кроками навчання.

Компанія стверджує, що впоралася з цими компромісами під час навчання Inkling 2 Small, відкритої моделі суміші експертів, яку вона випустила на початку цього місяця за ліцензією Apache 2.0. У публікації не стверджується, що кожна частина прогону виконується в 4 біти; скоріше, це описує наскрізну стратегію, в якій точність кожного компонента вибирається свідомо, а не успадковується за замовчуванням.

Чому навчання з низькою точністю має значення

Економіка тут проста. Обчислення є домінуючою ціною в розробці передових моделей, і постачальники апаратного забезпечення поспішають додавати прискорення з низькою точністю до кожного нового покоління мікросхем. Nvidia позиціонує підтримку NVFP4 у своїй платформі Blackwell Ultra як головну функцію, а конкуруючі прискорювачі від AMD, Google та інших рекламують власні формати зниженої точності.

Якщо дослідницькі лабораторії можуть безпечно перенести більшу частину навчального конвеєра на 4-бітну арифметику, той самий бюджет апаратного забезпечення дозволить купити більше експериментів, більше токенів або більші моделі. Це суттєва перевага на ринку, де доступ до передових прискорювачів обмежений і дорогий. Це також поєднується з ширшим поштовхом галузі до ефективних методів, таких як висновок з урахуванням квантування та спекулятивне декодування, обидва з яких вичавлюють більше можливостей із фіксованого обладнання.

Пост також є сигналом того, куди рухається дослідницька спільнота. Довгий час навчання з низькою точністю вважалося занадто ризикованим для будь-чого, окрім висновків, оскільки вважалося, що помилки округлення псують навчання. Ретельний поетапний аналіз — на зразок того, який опублікували Thinking Machines — дає змогу перевірити це припущення та, де можливо, скасувати його.

Від допису в блозі до відкритих ваг

Що робить розкриття примітним, так це те, що воно не є чисто теоретичним. Компанія прив’язала цю техніку безпосередньо до моделі, яку вона фактично відвантажила. Inkling 2 Small був випущений із завантажуваними вагами на початку листопада, і нова публікація пояснює чисельну стратегію його навчання. Практики, які завантажують модель, фактично отримують робочий артефакт низькоточної методології, яку описує компанія.

Thinking Machines була надзвичайно відкритою для передової лабораторії, публікуючи технічні дописи в блогах разом із випусками своїх моделей. Ця прозорість дає стороннім дослідникам щось рідкісне: задокументований, відтворюваний звіт про те, як сучасний тренувальний запуск справляється з безладними чисельними реаліями арифметики змішаної точності.

Для ширшої індустрії повідомлення полягає в тому, що 4-розрядне навчання перейшло від дослідницької цікавості до техніки виробництва. Оскільки все більше лабораторій будуть застосовувати подібні стратегії, розрив між теоретичною максимальною продуктивністю апаратного забезпечення та реалізованою пропускною здатністю навчання буде звужуватися, а вартість навчання моделей, здатних до навчання, продовжуватиме падати.

Будьте попереду ШІ

Техніки, що лежать в основі передових моделей, розвиваються щотижня. Підпишіться на AI Buzz Wire, щоб отримати чіткі звіти з джерел про дослідження, які формують сферу діяльності.

Читати більше новин AI →