Într-un moment în care laboratoarele de frontieră se întrec pentru a construi modele cu trilioane de parametri care umple centrele de date, un dezvoltator a mers în totalitate în cealaltă direcție: un model de limbaj funcțional cu răspunsuri la întrebări, care se potrivește pe o singură dischetă din anii 1980 și rulează pe un procesor suficient de vechi pentru a fi livrat într-un 486DX.
Proiectul, numit Tiny 2.1, a fost depistat de Hackaday și preluat săptămâna aceasta de Futurism și Tom's Hardware. Conform paginii sale de proiect GitHub, întregul model cântărește aproximativ 380 KB de greutăți pe 8 biți - suficient de mic pentru a se potrivi confortabil pe o dischetă formatată MS-DOS - și are nevoie de doar 540 KB de memorie pentru a rula. Tom's Hardware raportează că își spune răspunsurile chiar și prin difuzorul umil al computerului. Dacă vă plac poveștile despre AI care depășește așteptările, cele mai recente evoluții AI acoperă totul, de la inferența de margine la sistemele de frontieră cu trilioane de parametri.
Un transformator cu întrebări și răspunsuri cu 367.000 de parametri
Tiny 2.1 este o arhitectură de transformatoare mică, cu aproximativ 367.000 de parametri - o fracțiune din dimensiunea modelelor „ușoare” care măsoară de obicei în miliarde mici. A fost scris în Turbo C 2.0 și rulează pe MS-DOS, sistemul de operare care a dominat computerul personal în anii 1980 și începutul anilor 1990, vizând mașini la fel de vechi ca Intel 486DX și generațiile timpurii Pentium.
Datele sale de antrenament sunt în mod corespunzător mici: doar 3.500 de fapte. Această constrângere definește experiența utilizării acesteia. Într-o captură de ecran distribuită pe pagina proiectului, modelul răspunde corect că balenele sunt mai degrabă mamifere decât pești și îl creditează corect pe Alexander Graham Bell pentru inventarea telefonului. Cu toate acestea, li se cere să calculeze de 17 ori 23, acesta răspunde „96”. Și întrebat cine este regele Franței, acesta răspunde cu încredere „A fost Antarce Newton” – cu un nivel de încredere de 100%.
Nu vă așteptați la performanțe precum Claude
După cum notează în mod direct Futurismul, modelul „inventează răspunsuri aproape tot timpul”, deoarece pur și simplu nu știe prea multe despre lume. Nu există un nivel de recuperare, nicio utilizare a instrumentelor, nicio căutare pe web - doar o rețea neuronală compactă și orice tipare a absorbit din setul său de antrenament de 3.500 de fapte.
Ceea ce face proiectul remarcabil este mai puțin ceea ce poate face modelul decât ceea ce demonstrează existența lui. Inferența LLM modernă este asociată cu gigaocteți de memorie, accelerație GPU și kilowați de putere. Tiny 2.1 demonstrează, în schimb, conceptul că un transformator poate produce interacțiune structurată, de întrebări și răspunsuri pe hardware, fără nicio unitate în virgulă mobilă, fără cerințe de hard disk dincolo de o dischetă și o cale de ieșire audio la fel de primitivă ca un difuzor de pe placa de bază.
AI construit cu AI
Există și o întorsătură meta. Conform paginii proiectului, dezvoltatorul nu a scris fiecare rând de mână: a folosit Anthropic's Fable 5.2 pentru a ajuta la scrierea codului modelului și Opus 5.5 pentru a sprijini procesul de instruire. Cu alte cuvinte, un model suficient de mic pentru a încăpea pe o dischetă a fost el însuși creat și antrenat cu ajutorul sistemelor AI la scară de frontieră - un descendent mic al unor părinți foarte mari.
Acest flux de lucru reflectă o tendință mai largă în inginerie AI, în care modelele mari generează, depanează și optimizează din ce în ce mai mult sistemele care rulează pe hardware mult mai mic. Același model apare în lanțurile de instrumente moderne edge-AI, unde modelele la scară cloud ajută la comprimarea și cuantizarea rețelelor pentru telefoane, microcontrolere și dispozitive încorporate.
De ce contează modelele mici
Tiny 2.1 nu va amenința niciun chatbot comercial. Dar proiecte ca acesta servesc ca un memento util despre cât de departe a ajuns compresia modelului - și cât de multă balonare este alegerea mai degrabă decât necesitatea. Pasionații de computere retro au petrecut ani de zile demonstrând că hardware-ul vechi de zeci de ani rămâne capabil să lucreze surprinzător, de la Amigas compatibile cu browser la mașini conectate pe 8 biți. Un model de limbă care se alătură acestei filiații este primul și unul jucăuș.
Constrângerile de inginerie care au modelat Tiny 2.1 sunt, de asemenea, un curs rapid în eficiență. Un format de greutate de 8 biți, un vocabular și o arhitectură dimensionate pentru sarcină și o cale de ieșire concepută în jurul limitărilor hardware se adaugă la un sistem în care este luat în considerare fiecare kilobyte. Comparați cu implementările de masă, în care cuantificarea, tăierea și distilarea sunt remedieri retroactive aplicate modelelor construite la o scară mult mai mare - și în care o singură sesiune de chat poate consuma mai multă memorie decât are nevoie de întreaga durată de rulare a Tiny 2.1, ponderi incluse.
De asemenea, ajunge într-un moment de control real al mediului în jurul apetitului de putere al AI, cercetătorii și autoritățile de reglementare concentrându-se din ce în ce mai mult pe costul energetic al instruirii și inferențelor la scară largă, iar luptele privind amplasarea centrelor de date desfășurându-se în Statele Unite. Un model care rulează cu 540 KB de memorie și o sursă de alimentare din anii 1980 nu este o soluție la această problemă - dar este o ilustrare vie a celuilalt capăt al spectrului: inferența cu o amprentă măsurată în wați, nu megawați. Cititorii care urmăresc cât de departe se întinde câmpul, de la dischete la campusuri de gigawați, pot găsi ambele capete în știrile noastre de ultimă oră AI.
Deocamdată, producătorul lui Tiny 2.1 poate revendica o realizare cu adevărat rară: o rețea neuronală pe care o poți instala de pe același mediu pe care l-ai folosi pentru a salva un document de procesor de text, pe o mașină care precede web-ul. Halucinează în mod constant, cotează greșit identitatea regalității franceze cu încredere totală și nu poate înmulți în mod fiabil numerele din două cifre. De asemenea, rulează, în întregime, pe o dischetă.
Rămâi înaintea AI
De la modele de dischete până la laboratoare de frontieră, urmărim totul. Citiți mai multe știri AI →
