У той момент, коли передові лабораторії змагаються за створення моделей із трильйонами параметрів, які заповнюють центри обробки даних, один розробник пішов у зовсім іншому напрямку: робоча модель мови відповідей на запитання, яка вміщується на одній дискеті 1980-х років і працює на достатньо старому ЦП, щоб поставити його всередині 486DX.

Проект під назвою Tiny 2.1 був помічений Hackaday і підібраний цього тижня Futurism і Tom's Hardware. Відповідно до сторінки проекту GitHub, вся модель важить приблизно 380 КБ 8-бітної ваги — досить мало, щоб зручно поміститися на одну дискету у форматі MS-DOS — і потребує лише 540 КБ пам’яті для роботи. Tom's Hardware повідомляє, що навіть вимовляє свої відповіді через скромний динамік ПК. Якщо вам подобаються розповіді про штучний інтелект, який порушує очікування, наші [останні розробки штучного інтелекту] (https://aibuzzwire.news) охоплюють усе: від граничного висновку до систем із трильйонами параметрів.

Трансформатор із запитаннями та 367 000 параметрами

Tiny 2.1 — це невелика архітектура-трансформер із приблизно 367 000 параметрами — частка розміру «легких» моделей, які зазвичай вимірюються в невеликих мільярдах. Він був написаний на Turbo C 2.0 і працює на MS-DOS, операційній системі, яка домінувала в персональних комп’ютерах у 1980-х і на початку 1990-х років, орієнтуючись на такі старі машини, як Intel 486DX і ранні покоління Pentium.

Його навчальні дані відповідно крихітні: лише 3500 фактів. Це обмеження визначає досвід його використання. На скріншоті, опублікованому на сторінці проекту, модель правильно відповідає, що кити — це ссавці, а не риби, і правильно приписує Олександру Грему Беллу винайдення телефону. Коли його просять обчислити 17 помножити на 23, він відповідає «96». А на запитання, хто такий король Франції, він впевнено відповідає: «Це був Антарс Ньютон» — із рівнем достовірності 100 відсотків.

Не чекайте продуктивності, подібної до Клода

Як відверто зазначає футуризм, модель «майже весь час вигадує відповіді», тому що вона просто не дуже багато знає про світ. Немає рівня пошуку, немає використання інструментів, немає веб-пошуку — лише компактна нейронна мережа та будь-які шаблони, які вона поглинула зі свого навчального набору з 3500 фактів.

Що робить проект помітним, так це не те, що може зробити модель, а те, що демонструє її існування. Сучасні висновки LLM пов’язані з гігабайтами пам’яті, прискоренням GPU та кіловатами потужності. Натомість Tiny 2.1 підтверджує концепцію, згідно з якою трансформатор може створювати структуровану взаємодію запитань і відповідей на апаратному забезпеченні без жодного модуля з плаваючою комою, жодних вимог до жорсткого диска, окрім дискети, і вихідного аудіоканалу такого ж примітивного, як динамік материнської плати.

AI, створений за допомогою AI

Є також мета поворот. Згідно зі сторінкою проекту, розробник не писав кожен рядок вручну: вони використовували Anthropic Fable 5.2, щоб допомогти написати код моделі, і Opus 5.5, щоб підтримувати процес навчання. Іншими словами, модель, досить мала, щоб поміститися на дискету, сама була створена та навчена за допомогою передових систем ШІ — крихітного нащадка дуже великих батьків.

Цей робочий процес відображає ширшу тенденцію в розробці штучного інтелекту, де великі моделі все частіше створюють, налагоджують і оптимізують системи, які працюють на набагато меншому обладнанні. Така ж картина проявляється в сучасних ланцюжках інструментів периферійного штучного інтелекту, де хмарні моделі допомагають стискати та квантувати мережі для телефонів, мікроконтролерів і вбудованих пристроїв.

Чому маленькі моделі важливі

Tiny 2.1 не загрожуватиме жодному комерційному чат-боту. Але подібні проекти служать корисним нагадуванням про те, наскільки далеко просунулося стиснення моделі — і наскільки роздутість є вибором, а не необхідністю. Ентузіасти ретро-комп’ютерів витратили роки, демонструючи, що апаратне забезпечення десятиліть давності залишається здатним до дивовижної роботи, від Amiga з підтримкою браузера до мережевих 8-розрядних машин. Мовна модель, що приєднується до цієї лінії, є першою і грайливою.

Інженерні обмеження, які сформували Tiny 2.1, також є прискореним курсом ефективності. 8-бітний формат ваги, словниковий запас і архітектура, що відповідають завданням, а також вихідний шлях, розроблений з урахуванням апаратних обмежень, створюють систему, де враховується кожен кілобайт. Порівняйте це з основними розгортаннями, де квантування, скорочення та дистиляція є ретроактивними виправленнями, застосованими до моделей, створених у значно більшому масштабі, і де один сеанс чату може споживати більше пам’яті, ніж потребує весь час виконання Tiny 2.1, включаючи ваги.

Він також припадає на час справжньої перевірки навколишнього середовища навколо апетиту штучного інтелекту до влади, коли дослідники та регулятори все більше зосереджуються на енергетичних витратах на широкомасштабне навчання та висновки, а боротьба за розміщення центрів обробки даних розгортається по всій території Сполучених Штатів. Модель, яка працює на 540 Кбайт пам’яті та блоку живлення 1980-х років, не є вирішенням цієї проблеми, але це яскрава ілюстрація іншого кінця спектру: висновок із слідом, виміряним у ватах, а не в мегаватах. Читачі, які відстежують, наскільки далеко простягається сфера, від дискет до гігаватних кампусів, можуть знайти обидва кінці в наших [надзвичайних новинах ШІ] (https://aibuzzwire.news).

На даний момент виробник Tiny 2.1 може претендувати на справді рідкісне досягнення: нейронну мережу, яку можна встановити з того самого носія, який ви використовували б для збереження документа текстового процесора, на машині, яка передувала Інтернету. Він постійно галюцинує, абсолютно впевнено неправильно цитує особу французької королівської сім’ї та не може надійно помножити двозначні числа. Він також повністю працює на дискеті.

Будьте попереду ШІ

Від моделей гнучких дисків до передових лабораторій, ми відстежуємо все. Читати більше новин AI →