Исследовательская лаборатория, состоящая из двух человек, обучила модель преобразования текста в изображение примерно за 21 000 долларов и выпустила ее под полностью разрешительной лицензией. Компания Linum, основанная со-генеральными директорами Сахилом Чопра и Ману Чопра, опубликовала результаты 4 ноября в статье с техническими заметками, в которой подробно описывается модель Pixel-JiT (P-JiT) с 2 миллиардами параметров, обученная на 660 миллионах образцов, в качестве доказательства концепции на пути к более крупным видеомоделям. Код модели и веса доступны по лицензии Apache 2.0, которая разрешает коммерческое использование без ограничений. Это поразительный факт в дискуссии о том, сколько на самом деле стоят исследования ИИ высочайшего качества, теме, которой мы следим в нашем [освещении исследований ИИ] (https://aibuzzwire.news).

Зачем пропускать VAE?

Большинство современных конвейеров генерации изображений сжимают изображения с помощью отдельного вариационного автокодировщика (VAE): VAE сжимает изображение в компактное скрытое пространство, а внутри этого сжатого пространства генерируется диффузионная модель. Команда Линума утверждает, что такое разделение труда достигло потолка. В своей статье они отмечают, что VAE «похоже, имеют эмпирический потолок степени сжатия, которого они могут достичь», что дальнейшее продвижение сжатия требует существенной коррекции традиционной архитектуры и что улучшение реконструкции VAE может фактически ухудшить последующие поколения диффузионной модели.

Их ответ — полностью удалить VAE. P-JiT — это модель пиксельного пространства — диффузионная модель работает непосредственно с пикселями и изучает скрытые данные, специально созданные для собственного варианта использования, одновременно сжимая и генерируя. Ставка заключается в том, что одна обученная сквозная модель может выжать больше из одних и тех же вычислений, чем передача управления между двумя специализированными сетями.

Техническая выгода

Название архитектуры связано с ее токенизацией в форме пирамиды. В то время как большинство современных моделей — Linum приводит FLUX-2 в качестве типичного примера — используют сокращение токенов 16×16, P-JiT достигает сокращения токенов 32×32, представляя изображение 512×512 в бюджете токенов, ранее необходимом для изображения 256×256. Это означает 4-кратное сокращение окна контекста внимания, а внимание — это именно то узкое место O(n²), из-за которого и обучение, и логический вывод становятся дорогостоящими для генеративного видео.

Результаты, по собственным измерениям команды: P-JiT сходится в 11 раз меньше образцов, чем Linum v2, предыдущая модель лаборатории, построенная на более стандартном рецепте диффузии Wan VAE плюс DiT. Запуск стоимостью 21 тысячу долларов (660 миллионов обучающих выборок) позволил создать модель, которую команда называет удивительно компетентной, учитывая ее размер.

Что можно купить за 21 тысячу долларов

Релиз включает 249 образцов изображений с подсказками, включая людей (57), животных (42), зданий (20), продуктов (43), пейзажей (19) и стилизованных рендеров (68). Команда откровенна в своем позиционировании: это «экспериментальный релиз» и «ступенька» к их настоящей цели — видеомодели. Образцы демонстрируют, что архитектура стабильно обучается и создает последовательные изображения при затратах обычных бюджетов на обучение, но не соответствует передовым моделям изображений по качеству.

Рецензия также примечательна тем, что команда документирует режимы сбоев наряду с результатами. Они перечисляют ограничения своей модели непосредственно в заметках, а не скрывают их, что становится все более распространенной практикой среди небольших лабораторий, чья репутация зависит от доверия, а не от маркетинговых бюджетов. Этот пост является четвертой записью в серии «Дорога к Linum v3», основанной на более ранней итерации, в которой впервые была описана архитектура P-JiT — действующий технический журнал, который позволяет сторонним исследователям следить за каждым проектным решением, включая те, которые не сработали.

Для контекста стоимости: 21 тысяча долларов компании Linum покрыла вычисления для обучающего прогона модели с 2B параметрами на 660 миллионов выборок. Это нельзя напрямую сравнивать с бюджетами передовых лабораторий, которые охватывают сбор данных, укомплектование персоналом и эксперименты в течение многих прерванных запусков. Что он действительно устанавливает, так это предельные затраты на один успешный, открыто задокументированный тренинг — количество отдельных исследователей и университетских лабораторий теперь могут реально планировать.

Заявленная цель Линума — творческие инструменты, демократизирующие доступ к анимации. Команда сегодняшнее генеративное видео критикует за то, что оно слишком медленное и дорогое, а также ему не хватает детального контроля — сочетание, по их мнению, делает его «фактически бесполезным для рассказывания историй», поскольку творческая работа по своей сути итеративна: вы делаете, вы настраиваете, вы становитесь лучше. Более дешевое обучение и более быстрый вывод, по их мнению, являются предварительным условием для создания видео, которое действительно соответствует рабочему процессу редактирования.

Маленькие лаборатории, большие сигналы

Представленная здесь экономика имеет значение, выходящее за рамки одного стартапа. Тренировочные пробежки, которые когда-то определяли границы области, измеряемые миллионами долларов, теперь проводятся в узких областях, где команды из двух человек тратят меньше, чем годовая зарплата типичного старшего инженера. Релизы с открытым весом в этом масштабе дают независимым исследователям возможность проверять, настраивать и создавать архитектуры промышленного уровня без институциональной поддержки.

Справедливо отметить, что модель преобразования текста в изображение 2B далека от передового уровня качества изображения, а заявления Linum о конвергенции основаны на самооценке, а не на независимом сравнительном анализе. Но выпуск полностью воспроизводим — код и вес под Apache 2.0 — а это означает, что любой скептически настроенный может напрямую оценить утверждения. Именно это, больше, чем какой-либо отдельный тест, делает такие выпуски для небольших лабораторий достойными внимания: доказательство можно скачать.

Будьте впереди ИИ

Исследования, для которых когда-то требовалась корпоративная лаборатория, теперь умещаются на кредитной карте. Следите за каждым прорывом в наших [новостях исследований искусственного интеллекта] (https://aibuzzwire.news).

Читать больше новостей об искусственном интеллекте →