В тот момент, когда пограничные лаборатории спешат создать модели с триллионом параметров, которые заполнят центры обработки данных, один разработчик пошел в совершенно другом направлении: работающая модель языка вопросов и ответов, которая умещается на одной дискете 1980-х годов и работает на процессоре, достаточно старом, чтобы его можно было поставить внутри 486DX.

Проект под названием Tiny 2.1 был замечен Hackaday и на этой неделе подхвачен Futurism и Tom's Hardware. Согласно странице проекта на GitHub, вся модель весит примерно 380 КБ 8-битных весов — достаточно мало, чтобы удобно разместиться на одной дискете в формате MS-DOS — и для работы требуется всего 540 КБ памяти. Tom's Hardware сообщает, что ответы даже озвучиваются через скромный динамик ПК. Если вам нравятся истории о том, как ИИ превосходит ожидания, наши последние разработки в области ИИ охватывают все: от вывода границ до пограничных систем с триллионом параметров.

Трансформатор вопросов и ответов с 367 000 параметров

Tiny 2.1 — это небольшая архитектура-трансформер с примерно 367 000 параметров — лишь малая часть размера «легких» моделей, размер которых обычно измеряется несколькими миллиардами. Он был написан на Turbo C 2.0 и работает под управлением MS-DOS, операционной системы, которая доминировала на персональных компьютерах в 1980-х и начале 1990-х годов и предназначалась для таких старых машин, как Intel 486DX и ранние поколения Pentium.

Его обучающие данные соответственно крошечные: всего 3500 фактов. Это ограничение определяет опыт его использования. На скриншоте, опубликованном на странице проекта, модель правильно отвечает, что киты — это млекопитающие, а не рыбы, и правильно приписывает Александру Грэму Беллу изобретение телефона. Однако на просьбу вычислить 17 умножить на 23 он отвечает: «96». А на вопрос, кто такой король Франции, он уверенно отвечает: «Это был Антарс Ньютон» — с уровнем уверенности в 100 процентов.

Не ждите производительности, подобной Клоду

Как прямо отмечает футуризм, модель «почти все время придумывает ответы», потому что она просто мало что знает о мире. Здесь нет слоя поиска, нет использования инструментов, нет поиска в Интернете — только компактная нейронная сеть и любые шаблоны, которые она впитала из своего обучающего набора из 3500 фактов.

Примечательным проект делает не столько то, на что способна модель, сколько то, что демонстрирует ее существование. Современный вывод LLM связан с гигабайтами памяти, ускорением графического процессора и киловаттами мощности. Вместо этого Tiny 2.1 доказывает концепцию, согласно которой преобразователь может обеспечивать структурированное взаимодействие вопросов и ответов на аппаратном обеспечении без какого-либо блока с плавающей запятой, без каких-либо требований к жесткому диску, кроме дискеты, и с таким примитивным каналом вывода звука, как динамик материнской платы.

ИИ, созданный с помощью ИИ

Есть еще мета-поворот. Согласно странице проекта, разработчик не писал каждую строчку вручную: они использовали Fable 5.2 от Anthropic для написания кода модели и Opus 5.5 для поддержки процесса обучения. Другими словами, модель, достаточно маленькая, чтобы поместиться на дискету, сама была создана и обучена с помощью передовых систем искусственного интеллекта — крошечный потомок очень крупных родителей.

Этот рабочий процесс отражает более широкую тенденцию в разработке искусственного интеллекта, когда большие модели все чаще создают, отлаживают и оптимизируют системы, работающие на гораздо меньшем оборудовании. Та же самая закономерность наблюдается в современных цепочках инструментов периферийного искусственного интеллекта, где модели облачного масштаба помогают сжимать и квантовать сети для телефонов, микроконтроллеров и встроенных устройств.

Почему маленькие модели так важны

Tiny 2.1 не будет угрожать ни одному коммерческому чат-боту. Но подобные проекты служат полезным напоминанием о том, как далеко зашло сжатие моделей — и насколько раздувание — это выбор, а не необходимость. Энтузиасты ретро-компьютеров потратили годы на то, чтобы продемонстрировать, что оборудование десятилетней давности по-прежнему способно на удивительную работу: от Amiga с поддержкой браузера до сетевых 8-битных машин. Языковая модель, присоединяющаяся к этой линии, является первой и игровой.

Инженерные ограничения, которые сформировали Tiny 2.1, также являются ускоренным курсом повышения эффективности. 8-битный весовой формат, словарь и архитектура, соответствующие поставленной задаче, а также путь вывода, разработанный с учетом аппаратных ограничений, составляют систему, в которой учитывается каждый килобайт. Сравните это с обычными развертываниями, где квантование, сокращение и дистилляция являются ретроактивными исправлениями, применяемыми к моделям, построенным в гораздо большем масштабе, и где один сеанс чата может потреблять больше памяти, чем требуется всей среде выполнения Tiny 2.1, включая веса.

Это также происходит во время реального экологического изучения энергоемкости ИИ, когда исследователи и регулирующие органы все больше внимания уделяют затратам энергии на крупномасштабное обучение и выводы, а также борьба за размещение центров обработки данных, разворачивающаяся по всей территории Соединенных Штатов. Модель с 540 КБ памяти и блоком питания 1980-х годов не является решением этой проблемы, но является яркой иллюстрацией другого конца спектра: вывода с занимаемой площадью, измеряемой в ваттах, а не в мегаваттах. Читатели, отслеживающие, как далеко простирается эта область — от дискет до гигаваттных кампусов, могут найти оба конца в наших [последних новостях в области искусственного интеллекта] (https://aibuzzwire.news).

На данный момент создатель Tiny 2.1 может претендовать на действительно редкое достижение: нейронную сеть, которую вы можете установить с того же носителя, который вы использовали бы для сохранения документа текстового процессора, на машине, которая существовала до Интернета. Он постоянно галлюцинирует, с полной уверенностью искажает личность французского королевского короля и не может надежно умножать двузначные числа. Он также полностью работает на дискете.

Будьте впереди ИИ

От моделей дискет до передовых лабораторий — мы отслеживаем все. Читать больше новостей об искусственном интеллекте →