À l'heure où les laboratoires pionniers s'empressent de construire des modèles comportant des milliers de milliards de paramètres qui remplissent les centres de données, un développeur a complètement pris le chemin inverse : un modèle de langage fonctionnel de réponse aux questions qui tient sur une seule disquette des années 1980 et fonctionne sur un processeur suffisamment ancien pour avoir été embarqué dans un 486DX.
Le projet, baptisé Tiny 2.1, a été repéré par Hackaday et repris cette semaine par Futurism et Tom's Hardware. Selon la page du projet GitHub, le modèle entier pèse environ 380 Ko de poids 8 bits – suffisamment petit pour tenir confortablement sur une disquette au format MS-DOS – et n'a besoin que de 540 Ko de mémoire pour fonctionner. Tom's Hardware rapporte qu'il donne même ses réponses via l'humble haut-parleur du PC. Si vous aimez les histoires sur les attentes dépassées par l'IA, nos derniers développements en matière d'IA couvrent tout, de l'inférence de périphérie aux systèmes frontières à mille milliards de paramètres.
Un transformateur question-réponse avec 367 000 paramètres
Tiny 2.1 est une petite architecture de transformateur avec environ 367 000 paramètres, soit une fraction de la taille des modèles « légers » qui mesurent généralement quelques milliards. Il a été écrit en Turbo C 2.0 et fonctionne sous MS-DOS, le système d'exploitation qui dominait l'informatique personnelle dans les années 1980 et au début des années 1990, ciblant des machines aussi anciennes que l'Intel 486DX et les premières générations de Pentium.
Ses données de formation sont donc minuscules : seulement 3 500 faits. Cette contrainte définit l’expérience de son utilisation. Dans une capture d'écran partagée sur la page du projet, le modèle répond correctement que les baleines sont des mammifères plutôt que des poissons et attribue correctement à Alexander Graham Bell l'invention du téléphone. Lorsqu'on lui demande de calculer 17 fois 23, il répond "96". Et lorsqu'on lui demande qui est le roi de France, il répond avec assurance "C'était Antarce Newton" — avec un niveau de confiance de 100 pour cent.
Ne vous attendez pas à une performance semblable à celle de Claude
Comme le souligne sans ambages le Futurisme, le modèle « invente des réponses presque tout le temps », parce qu’il ne sait tout simplement pas grand-chose du monde. Il n’y a pas de couche de récupération, pas d’utilisation d’outils, pas de recherche sur le Web – juste un réseau neuronal compact et les modèles qu’il a absorbés à partir de son ensemble de formation de 3 500 faits.
Ce qui rend le projet remarquable, c'est moins ce que le modèle peut faire que ce que son existence démontre. L'inférence LLM moderne est associée à des gigaoctets de mémoire, à l'accélération GPU et à des kilowatts de puissance. Tiny 2.1 prouve plutôt le concept selon lequel un transformateur peut produire une interaction structurée de questions et réponses sur du matériel sans unité à virgule flottante à proprement parler, sans exigences de disque dur au-delà d'une disquette et un chemin de sortie audio aussi primitif qu'un haut-parleur de carte mère.
## IA construite avec l'IA
Il y a aussi une méta-version. Selon la page du projet, le développeur n'a pas écrit chaque ligne à la main : il a utilisé Fable 5.2 d'Anthropic pour aider à écrire le code du modèle et Opus 5.5 pour prendre en charge le processus de formation. En d’autres termes, un modèle suffisamment petit pour tenir sur une disquette a lui-même été créé et formé avec l’aide de systèmes d’IA à l’échelle de la frontière – un minuscule descendant de très grands parents.
Ce flux de travail reflète une tendance plus large dans l'ingénierie de l'IA, où les grands modèles génèrent, déboguent et optimisent de plus en plus les systèmes qui fonctionnent sur du matériel beaucoup plus petit. Le même schéma apparaît dans les chaînes d’outils modernes d’IA de pointe, où les modèles à l’échelle du cloud aident à compresser et quantifier les réseaux pour les téléphones, les microcontrôleurs et les appareils embarqués.
Pourquoi les petits modèles sont importants
Tiny 2.1 ne menacera aucun chatbot commercial. Mais des projets comme celui-ci servent de rappel utile du chemin parcouru par la compression des modèles – et à quel point la surcharge est un choix plutôt qu'une nécessité. Les passionnés d'informatique rétro ont passé des années à démontrer que le matériel vieux de plusieurs décennies reste capable de travaux surprenants, depuis les Amiga compatibles avec les navigateurs jusqu'aux machines 8 bits en réseau. Un modèle linguistique rejoignant cette lignée est une première et ludique.
Les contraintes techniques qui ont façonné Tiny 2.1 constituent également un cours intensif d’efficacité. Un format de poids de 8 bits, un vocabulaire et une architecture adaptés à la tâche, ainsi qu'un chemin de sortie conçu autour des limitations matérielles constituent un système dans lequel chaque kilo-octet est pris en compte. Comparez cela avec les déploiements traditionnels, où la quantification, l'élagage et la distillation sont des correctifs rétroactifs appliqués à des modèles construits à une échelle beaucoup plus grande – et où une seule session de discussion peut consommer plus de mémoire que l'ensemble du runtime Tiny 2.1 n'en a besoin, poids inclus.
Cela arrive également à une époque de véritable surveillance environnementale autour de l'appétit énergétique de l'IA, avec des chercheurs et des régulateurs de plus en plus concentrés sur le coût énergétique de la formation et de l'inférence à grande échelle, et des batailles pour l'emplacement des centres de données qui se déroulent à travers les États-Unis. Un modèle fonctionnant avec 540 Ko de mémoire et une alimentation des années 1980 n’est pas une solution à ce problème, mais c’est une illustration frappante de l’autre extrémité du spectre : l’inférence avec une empreinte mesurée en watts et non en mégawatts. Les lecteurs qui suivent l'étendue du domaine, des disquettes aux campus de plusieurs gigawatts, peuvent trouver les deux extrémités dans nos dernières nouvelles sur l'IA.
Pour l'instant, le créateur de Tiny 2.1 peut revendiquer une réalisation vraiment rare : un réseau neuronal que vous pouvez installer à partir du même support que vous utiliseriez pour enregistrer un document de traitement de texte, sur une machine antérieure au Web. Il hallucine constamment, cite mal l’identité de la royauté française en toute confiance et ne peut pas multiplier de manière fiable des nombres à deux chiffres. Il fonctionne également entièrement sur une disquette.
Gardez une longueur d'avance sur l'IA
Des modèles de disquettes aux laboratoires frontaliers, nous suivons tout. Lire plus d'actualités sur l'IA →
