Un laboratoire de recherche composé de deux personnes a formé un modèle de conversion texte-image pour environ 21 000 $ et l'a publié sous une licence totalement permissive. Linum, fondée par les co-PDG Sahil Chopra et Manu Chopra, a publié les résultats le 4 novembre dans un article de notes techniques sur le terrain, détaillant un modèle Pixel-JiT (P-JiT) à 2 milliards de paramètres formé sur 660 millions d'échantillons comme preuve de concept sur la route vers des modèles vidéo plus grands. Le code du modèle et les poids sont disponibles sous Apache 2.0, une licence qui autorise une utilisation commerciale sans restriction. Il s’agit d’un point de données frappant dans le débat sur le coût réel de la recherche sur l’IA de qualité supérieure, un sujet que nous suivons dans notre Couverture de la recherche sur l’IA.

##Pourquoi sauter la VAE ?

La plupart des pipelines de génération d'images modernes compressent les images à l'aide d'un encodeur automatique variationnel (VAE) distinct : le VAE compresse une image dans un espace latent compact et un modèle de diffusion est généré à l'intérieur de cet espace compressé. L'équipe de Linum affirme que cette division du travail a atteint un plafond. Dans leur article, ils notent que les VAE « semblent avoir un plafond empirique sur le niveau de compression qu'ils peuvent atteindre », que pousser la compression plus loin nécessite une intervention chirurgicale substantielle sur l'architecture traditionnelle et que l'amélioration de la reconstruction d'un VAE peut en réalité aggraver les générations du modèle de diffusion en aval.

Leur réponse est de supprimer purement et simplement la VAE. P-JiT est un modèle d'espace pixel : le modèle de diffusion fonctionne directement sur les pixels et apprend un modèle latent spécialement conçu pour son propre cas d'utilisation, en compressant et en générant en même temps. Le pari est qu’un seul modèle formé de bout en bout peut tirer davantage du même calcul qu’un transfert entre deux réseaux spécialisés.

Le gain technique

Le nom de l'architecture fait référence à sa tokenisation en forme de pyramide. Là où la plupart des modèles actuels — Linum cite FLUX-2 comme exemple typique — utilisent une réduction de jetons de 16 × 16, P-JiT atteint une réduction de jetons de 32 × 32 , ce qui représente une image de 512 × 512 dans le budget de jetons précédemment nécessaire pour une image de 256 × 256. Cela se traduit par une réduction de 4× de la fenêtre de contexte d'attention, et l'attention est précisément le goulot d'étranglement O(n²) qui rend la formation et l'inférence coûteuses pour la vidéo générative.

Les résultats, d'après les propres mesures de l'équipe : P-JiT converge en 11 fois moins d'échantillons que Linum v2, le modèle précédent du laboratoire construit sur la recette de diffusion plus standard Wan VAE plus DiT. L'opération de 21 000 $ – 660 millions d'échantillons d'entraînement – ​​a produit un modèle que l'équipe décrit comme étonnamment compétent compte tenu de sa taille.

Ce que 21 000 $ achètent

La version comprend 249 exemples d'images avec leurs invites, couvrant des personnes (57), des animaux (42), des bâtiments (20), des produits (43), des paysages (19) et des rendus stylisés (68). L'équipe est franche sur le positionnement : il s'agit d'une « version expérimentale » et d'un « tremplin » vers leur véritable cible, un modèle vidéo. Les échantillons démontrent que l'architecture s'entraîne de manière stable et produit des images cohérentes pour une fraction des budgets de formation conventionnels, et non qu'elle correspond aux modèles d'image frontières en termes de qualité.

L'article se distingue également par la façon dont l'équipe documente les modes de défaillance ainsi que les résultats. Ils énumèrent les limites de leur modèle directement dans les notes de terrain plutôt que de les enterrer, une pratique de plus en plus courante parmi les petits laboratoires dont la réputation dépend de leur crédibilité plutôt que de leurs budgets marketing. Cet article est le quatrième article de la série "Road to Linum v3" de l'équipe, s'appuyant sur une itération précédente dans laquelle l'architecture P-JiT a été décrite pour la première fois - un journal technique en cours qui permet aux chercheurs externes de suivre chaque décision de conception, y compris celles qui n'ont pas fonctionné.

Pour le contexte sur le chiffre des coûts : les 21 000 $ de Linum ont couvert le calcul d'une exécution de formation de 660 millions d'échantillons du modèle à paramètres 2B. Ce n’est pas directement comparable aux budgets des laboratoires frontières, qui couvrent l’acquisition de données, le personnel et l’expérimentation sur de nombreuses expériences avortées. Ce qu'il établit, c'est le coût marginal d'une formation réussie et ouvertement documentée – un certain nombre de chercheurs individuels et de laboratoires universitaires peuvent désormais planifier de manière réaliste.

L'ambition affichée de Linum est des outils créatifs qui démocratisent l'accès à l'animation. La critique de l'équipe à l'égard de la vidéo générative actuelle est qu'elle est trop lente et coûteuse, et qu'elle manque de contrôles précis - une combinaison qui, selon eux, la rend « effectivement inutile pour la narration », puisque le travail créatif est intrinsèquement itératif : vous créez, vous ajustez, vous vous améliorez. Une formation moins chère et une inférence plus rapide sont, dans leur cadre, la condition préalable à une génération vidéo qui correspond réellement à un flux de travail de montage.

Petits laboratoires, gros signaux

Les aspects économiques présentés ici comptent au-delà d’une seule startup. Les cycles de formation qui définissaient autrefois les frontières du domaine – mesurés en millions de dollars – sont désormais complétés, dans des domaines restreints, par des équipes de deux dépensant moins que le salaire annuel d'un ingénieur senior typique. Les versions ouvertes à cette échelle donnent aux chercheurs indépendants la possibilité d'auditer, d'affiner et de développer des architectures de niveau production sans soutien institutionnel.

Les mises en garde sont justes à énoncer : un modèle texte-image 2B est loin de la frontière de la qualité d'image, et les affirmations de Linum en matière de convergence sont auto-déclarées plutôt que évaluées de manière indépendante. Mais la version est entièrement reproductible – code et pondérations sous Apache 2.0 – ce qui signifie que toute personne sceptique peut mesurer directement les affirmations. C’est, plus que n’importe quel benchmark, ce qui fait que les versions de petits laboratoires comme celle-ci valent la peine d’être surveillées : la preuve est téléchargeable.

Gardez une longueur d'avance sur l'IA

Les recherches qui nécessitaient autrefois un laboratoire d'entreprise tiennent désormais sur une carte de crédit. Suivez chaque avancée dans nos Actualités sur la recherche en IA.

Lire plus d'actualités sur l'IA →