In un momento in cui i laboratori di frontiera stanno correndo per costruire modelli da trilioni di parametri che riempiono i data center, uno sviluppatore è andato completamente nella direzione opposta: un modello linguistico funzionante con domande e risposte che si adatta a un singolo floppy disk degli anni '80 e funziona su una CPU abbastanza vecchia da essere stata spedita all'interno di un 486DX.

Il progetto, chiamato Tiny 2.1, è stato notato da Hackaday e ripreso questa settimana da Futurism e Tom's Hardware. Secondo la pagina del progetto GitHub, l'intero modello pesa circa 380 KB a 8 bit - abbastanza piccolo da stare comodamente su un floppy disk formattato MS-DOS - e richiede solo 540 KB di memoria per funzionare. Tom's Hardware riferisce di fornire le risposte anche attraverso l'umile altoparlante del PC. Se ti piacciono le storie sull'intelligenza artificiale che supera le aspettative, i nostri ultimi sviluppi dell'intelligenza artificiale coprono tutto, dall'inferenza dei bordi ai sistemi di frontiera da trilioni di parametri.

Un trasformatore di risposte alle domande con 367.000 parametri

Tiny 2.1 è una piccola architettura di trasformatore con circa 367.000 parametri, una frazione delle dimensioni dei modelli "leggeri" che in genere misurano pochi miliardi. È stato scritto in Turbo C 2.0 e funziona su MS-DOS, il sistema operativo che ha dominato il personal computer negli anni '80 e all'inizio degli anni '90, prendendo di mira macchine vecchie come Intel 486DX e le prime generazioni di Pentium.

I suoi dati di addestramento sono corrispondentemente piccoli: solo 3.500 fatti. Questo vincolo definisce l'esperienza di utilizzo. In uno screenshot condiviso sulla pagina del progetto, il modello risponde correttamente che le balene sono mammiferi piuttosto che pesci e attribuisce correttamente ad Alexander Graham Bell il merito di aver inventato il telefono. Alla richiesta di calcolare 17 volte 23, tuttavia, risponde "96". E alla domanda su chi sia il re di Francia, risponde con sicurezza "È stato Antarce Newton" - con un livello di sicurezza del 100%.

Non aspettarti una performance stile Claude

Come nota senza mezzi termini il futurismo, il modello “inventa risposte praticamente in continuazione”, perché semplicemente non sa molto del mondo. Non esiste alcun livello di recupero, nessun utilizzo di strumenti, nessuna ricerca sul web: solo una rete neurale compatta e qualunque modello abbia assorbito dal suo set di addestramento di 3.500 fatti.

Ciò che rende notevole il progetto non è tanto ciò che il modello può fare quanto ciò che dimostra la sua esistenza. La moderna inferenza LLM è associata a gigabyte di memoria, accelerazione GPU e kilowatt di potenza. Tiny 2.1 dimostra invece il concetto che un trasformatore può produrre un'interazione strutturata di domande e risposte sull'hardware senza alcuna unità a virgola mobile di cui parlare, senza requisiti di disco rigido oltre a un floppy e un percorso di uscita audio primitivo come un altoparlante della scheda madre.

AI costruita con l'intelligenza artificiale

C'è anche una meta svolta. Secondo la pagina del progetto, lo sviluppatore non ha scritto ogni riga a mano: ha utilizzato Fable 5.2 di Anthropic per aiutare a scrivere il codice del modello e Opus 5.5 per supportare il processo di formazione. In altre parole, un modello abbastanza piccolo da stare su un floppy disk è stato creato e addestrato con l’assistenza di sistemi di intelligenza artificiale su scala di frontiera, un piccolo discendente di genitori molto grandi.

Questo flusso di lavoro rispecchia una tendenza più ampia nell’ingegneria dell’intelligenza artificiale, in cui modelli di grandi dimensioni generano, eseguono il debug e ottimizzano sempre più i sistemi che funzionano su hardware molto più piccolo. Lo stesso modello si manifesta nelle moderne toolchain di intelligenza artificiale edge, dove i modelli su scala cloud aiutano a comprimere e quantizzare le reti per telefoni, microcontrollori e dispositivi integrati.

Perché i modelli minuscoli sono importanti

Tiny 2.1 non minaccerà nessun chatbot commerciale. Ma progetti come questo servono a ricordare fino a che punto è arrivata la compressione dei modelli e quanto sia una scelta piuttosto che una necessità. Gli appassionati di retro-computing hanno passato anni a dimostrare che l'hardware vecchio di decenni è ancora capace di lavori sorprendenti, dagli Amiga con funzionalità browser alle macchine a 8 bit collegate in rete. Un modello linguistico che si unisce a quel lignaggio è il primo e giocoso.

I vincoli ingegneristici che hanno dato forma a Tiny 2.1 sono anche un corso accelerato di efficienza. Un formato con peso a 8 bit, un vocabolario e un'architettura adeguati al compito e un percorso di output progettato attorno alle limitazioni hardware si sommano a un sistema in cui viene preso in considerazione ogni kilobyte. Confrontatelo con le implementazioni tradizionali, dove quantizzazione, potatura e distillazione sono soluzioni retroattive applicate a modelli costruiti su scala molto più ampia e dove una singola sessione di chat può consumare più memoria di quella necessaria all'intero runtime Tiny 2.1, pesi inclusi.

Arriva anche in un momento di reale controllo ambientale sulla fame di potere dell’intelligenza artificiale, con ricercatori e regolatori sempre più concentrati sul costo energetico dell’addestramento e dell’inferenza su larga scala e lotte per l’ubicazione dei data center che si svolgono in tutti gli Stati Uniti. Un modello che funziona con 540 KB di memoria e un alimentatore degli anni '80 non è una soluzione a questo problema, ma è un vivido esempio dell'altra estremità dello spettro: inferenza con un ingombro misurato in watt, non megawatt. I lettori che monitorano l’estensione del campo, dai floppy disk ai campus gigawatt, possono trovare entrambe le estremità nelle nostre [ultime notizie sull’intelligenza artificiale] (https://aibuzzwire.news).

Per ora, il produttore di Tiny 2.1 può vantare un risultato davvero raro: una rete neurale che puoi installare dallo stesso supporto che utilizzeresti per salvare un documento di un elaboratore di testi, su una macchina che è antecedente al web. Ha costantemente allucinazioni, cita erroneamente l'identità dei reali francesi con totale sicurezza e non è in grado di moltiplicare i numeri a due cifre in modo affidabile. Funziona anche interamente su un floppy disk.

Stai al passo con l'intelligenza artificiale

Dai modelli di floppy disk ai laboratori di frontiera, tracciamo tutto. Leggi altre notizie sull'AI →