Модель мови з 28,9 мільйонами параметрів тепер працює на мікроконтролері за 8 доларів

Проект з відкритим вихідним кодом втиснув мовну модель з 28,9 мільйонами параметрів у мікроконтролер, який коштує близько 8 доларів, генеруючи текст повністю на чіпі зі швидкістю приблизно дев’яти токенів за секунду без підключення до мережі взагалі. Демонстрація, опублікована на GitHub і швидко поширюється на першій сторінці Hacker News, показує, як далеко просунувся кордон невеликого локального ШІ за короткий час.

Робота зосереджена на ESP32-S3, недорогому вбудованому чіпі, популярному серед любителів і виробників обладнання. Запуск моделі з 28,9 мільйонами параметрів на такому маленькому шматку кремнію ще недавно здавався неправдоподібним, і проект пропонує яскраву ілюстрацію ширшого поштовху до штучного інтелекту на пристроях, який ми відстежуємо в нашому щоденному [висвітленні галузі ШІ] (https://aibuzzwire.news). Там, де хмара колись вважалася обов’язковою для будь-якої моделі реальної мови, все більш потужні системи знаходять домівки на межі.

Числа за збіркою

Проект чітко викладає свої специфікації. Модель зберігає 28,9 мільйона параметрів, з яких близько 25 мільйонів знаходяться у флеш-таблиці пошуку. Він працює на чіпі ESP32-S3 із 512 КБ швидкої SRAM, 8 МБ PSRAM і 16 МБ флеш-пам’яті. На практиці він досягає приблизно 9,5 токенів на секунду від кінця до кінця, або 9,7 токенів на секунду чистого обчислення, а вся модель займає лише 14,9 мегабайт при зберіганні з 4-бітною точністю.

Найбільш вражаючим є порівняння автора з попередньою роботою. Остання відома мовна модель, що працює на чіпі цього класу, містила лише 260 000 параметрів. Нова збірка містить приблизно в сто разів більше, стрибок, який стався не завдяки більшому чіпу, а завдяки переосмисленню того, де насправді живуть дані моделі.

Трюк пам'яті, запозичений у Джемми

Основна проблема полягає в тому, що мікроконтролер майже не має швидкої пам'яті. ESP32-S3 пропонує лише 512 Кбайт SRAM, і зазвичай вся модель має бути доступною звідти, тому попередні спроби застрягли на кількох сотнях тисяч параметрів.

Обхідний шлях базується на простому спостереженні. Більшість параметрів мовної моделі міститься в таблиці вбудовування, з якої модель зчитує, а не обчислює. Тож замість того, щоб примусово зберігати цю величезну таблицю з 25 мільйонів рядків у дефіцитній швидкій пам’яті, проект залишає її в повільному флеш-пам’яті та отримує лише кілька рядків, які насправді потрібні кожному маркеру, приблизно по 450 байтів за раз. Невелика частина моделі, яка виконує реальні обчислення, залишається у швидкій пам’яті, тоді як основна частина ваг просто чекає у флеш-пам’яті, відбираючи потроху.

Цей метод відомий як Per-Layer Embeddings, і він походить від моделей Gemma від Google, зокрема Gemma 3n і Gemma 4, де він був розроблений для телефонів і графічних процесорів. За словами автора проекту, ніхто раніше не пробував цей підхід на такому маленькому чіпі.

Що він може, а що ні

Модель навчалася на TinyStories, наборі простих дитячих історій, тому її можливості навмисно звужені. Він пише короткі, здебільшого зв’язні історії, але він не відповідає на фактичні запитання, не виконує складних інструкцій, не пише код і не міркує про світ. Автор відвертий, що це обмеження походить від невеликої частини міркування моделі, і що трюк пам’яті не змінює її.

Отже, що робить проект цікавим, це не його якість, а його архітектура. Досягнення полягає в тому, що така велика модель розміщена на такому крихітному чіпі, доводячи, що ті самі методи, які забезпечують роботу ефективних моделей на телефонах і серверах, можна застосувати до апаратного забезпечення, яке коштує менше, ніж сендвіч.

Чому ШІ на пристрої важливий

Наслідки виходять далеко за рамки акуратної технічної демонстрації. Оскільки модель повністю працює на чіпі, на сервер нічого не надсилається. Це означає повну конфіденційність за своєю конструкцією, жодні дані не залишають пристрій, і немає рахунків за хмару для оплати. Для додатків у віддалених районах, пристроях із низьким енергоспоживанням або налаштуваннях, де підключення ненадійне, ця комбінація справді корисна.

Це також вказує на майбутнє, в якому невеликі спеціалізовані моделі будуть розподілені між мільярдами дешевих вбудованих пристроїв, а не зосереджені в кількох гігантських центрах обробки даних. Той самий тиск, який стимулює інтерес до локального штучного інтелекту на ноутбуках і телефонах, а саме менша затримка, нижча вартість і краща конфіденційність, ще сильніше поширюється на мікроконтролер.

Відкрите запрошення попрацювати

Проект випущено під дозвільною ліцензією MIT, і автор поділився повним кодом на GitHub разом із детальною документацією та результатами тестування. Ця відкритість означає, що інші розробники апаратного забезпечення можуть вивчати підхід, адаптувати його до інших чіпів або збільшити кількість параметрів ще більше.

Робота, випущена під ім’ям slvDev, викликала великий резонанс серед спільноти розробників, зібравши сотні голосів «за» на Hacker News і викликавши дискусію про те, куди ця техніка може потрапити далі. Якщо ця тенденція збережеться, межа між «мовною моделлю» та звичайним вбудованим програмним забезпеченням стане значно розмитішою.

Будьте попереду ШІ

Від мікросхем вартістю 8 доларів до центрів обробки даних вартістю мільярд доларів, питання про те, де працює ШІ, стає таким же важливим, як і те, що ШІ може зробити. Рівень апаратного забезпечення розвивається швидше, ніж більшість людей усвідомлюють, і проекти, які сьогодні виглядають як курйози, часто визначають мейнстрім завтра. Читайте більше новин про штучний інтелект на AI Buzz Wire, щоб стежити за кожним проривом у периферійних обчисленнях, ефективності моделювання та інтелекті на пристрої.

Не відставайте від апаратної революції AI — відвідайте AI Buzz Wire