Un progetto open source ha inserito un modello linguistico da 28,9 milioni di parametri in un microcontrollore che costa circa 8 dollari, generando testo interamente sul chip a circa nove token al secondo senza alcuna connessione di rete. La dimostrazione, pubblicata su GitHub e scalata rapidamente la prima pagina di Hacker News, mostra quanto si sia spostata la frontiera della piccola IA locale in così poco tempo.

Il lavoro si concentra sull'ESP32-S3, un chip incorporato economico popolare tra gli hobbisti e i produttori di hardware. L'esecuzione di un modello da 28,9 milioni di parametri su un pezzo di silicio così piccolo sarebbe sembrata poco plausibile non molto tempo fa, e il progetto offre un vivido esempio della spinta più ampia verso l'intelligenza artificiale su dispositivo che monitoriamo quotidianamente nella nostra [copertura del settore dell'intelligenza artificiale] (https://aibuzzwire.news). Laddove una volta il cloud sembrava obbligatorio per qualsiasi modello linguistico reale, sistemi sempre più capaci stanno trovando spazio nell’edge.

I numeri dietro la build

Il progetto espone chiaramente le sue specifiche. Il modello memorizza 28,9 milioni di parametri, di cui circa 25 milioni risiedono in una tabella di ricerca flash. Funziona su un chip ESP32-S3 con 512 KB di SRAM veloce, 8 MB di PSRAM e 16 MB di memoria flash. In pratica raggiunge circa 9,5 token al secondo end-to-end, o 9,7 token al secondo di puro calcolo, e l'intero modello occupa solo 14,9 megabyte se archiviato con una precisione a 4 bit.

Ciò che colpisce di più è il confronto che l'autore fa con i lavori precedenti. L'ultimo modello linguistico noto per essere eseguito su un chip di questa classe conteneva solo 260.000 parametri. La nuova build ne contiene circa cento volte di più, un salto che non deriva da un chip più grande ma dal ripensamento su dove risiedono effettivamente i dati del modello.

Un trucco di memoria preso in prestito da Gemma

Il problema principale è che un microcontrollore non ha quasi memoria veloce. L'ESP32-S3 offre solo 512KB di SRAM, e convenzionalmente l'intero modello dovrebbe essere raggiungibile da lì, motivo per cui i tentativi precedenti si sono fermati a poche centinaia di migliaia di parametri.

La soluzione alternativa si basa su una semplice osservazione. La maggior parte dei parametri di un modello linguistico si trovano in una tabella di incorporamento, da cui il modello legge anziché calcolare. Quindi, invece di forzare quell'enorme tabella da 25 milioni di righe in una memoria scarsa e veloce, il progetto la lascia in una memoria flash lenta e inserisce solo la manciata di righe effettivamente necessarie a ciascun token, circa 450 byte alla volta. La piccola porzione del modello che esegue il calcolo reale rimane nella memoria veloce, mentre la maggior parte dei pesi attende semplicemente nella flash, campionata un po' alla volta.

Questa tecnica è nota come Per-Layer Embeddings e ha avuto origine con i modelli Gemma di Google, in particolare Gemma 3n e Gemma 4, dove è stata progettata per telefoni e GPU. Secondo l'autore del progetto, nessuno aveva mai provato prima questo approccio su un chip così piccolo.

Cosa può fare e cosa non può fare

Il modello è stato addestrato su TinyStories, un set di dati di semplici storie per bambini, quindi le sue capacità sono deliberatamente limitate. Scrive storie brevi, per lo più coerenti, ma non risponderà a domande basate sui fatti, non seguirà istruzioni complesse, non scriverà codici o ragionierà sul mondo. L'autore è sincero nel ritenere che questa limitazione derivi dalla piccola porzione di ragionamento del modello e che il trucco della memoria non la cambi.

Ciò che rende interessante il progetto non è quindi la qualità del risultato ma la sua architettura. Il risultato è quello di adattare un modello così grande su un chip così piccolo, dimostrando che le stesse tecniche che alimentano modelli efficienti su telefoni e server possono essere spinte fino all'hardware che costa meno di un sandwich.

Perché l'intelligenza artificiale sul dispositivo è importante

Le implicazioni vanno ben oltre una semplice dimostrazione tecnica. Poiché il modello funziona interamente sul chip, nulla viene mai inviato a un server. Ciò significa privacy totale per costruzione, nessun dato lascia il dispositivo e non vi è alcuna bolletta del cloud da pagare. Per applicazioni in aree remote, dispositivi a basso consumo o ambienti in cui la connettività non è affidabile, questa combinazione è davvero utile.

Indica inoltre un futuro in cui modelli piccoli e specializzati saranno distribuiti su miliardi di dispositivi incorporati a basso costo anziché concentrati in una manciata di giganteschi data center. Le stesse pressioni che guidano l’interesse per l’intelligenza artificiale locale su laptop e telefoni, vale a dire minore latenza, costi inferiori e maggiore privacy, si applicano con ancora più forza alla scala dei microcontrollori.

Un invito aperto ad armeggiare

Il progetto è rilasciato sotto la licenza permissiva del MIT e l'autore ha condiviso il codice completo su GitHub insieme a documentazione dettagliata e risultati di benchmark. Questa apertura significa che altri sviluppatori hardware possono studiare l’approccio, adattarlo ad altri chip o spingere il conteggio dei parametri ancora più in alto.

Rilasciato sotto lo pseudonimo slvDev, il lavoro ha avuto una forte risonanza con la comunità degli sviluppatori, raccogliendo centinaia di voti positivi su Hacker News e stimolando la discussione su dove la tecnica potrebbe arrivare in seguito. Se la tendenza continua, il confine tra un "modello linguistico" e un normale software incorporato diventerà molto più sfumato.

Stai al passo con l'intelligenza artificiale

Dai chip da 8 dollari ai data center da miliardi di dollari, la questione di dove viene eseguita l’intelligenza artificiale sta diventando tanto importante quanto cosa può fare l’intelligenza artificiale. Il livello hardware si sta evolvendo più velocemente di quanto la maggior parte delle persone creda e i progetti che oggi sembrano curiosità spesso definiscono il mainstream di domani. Leggi altre notizie sull'intelligenza artificiale su AI Buzz Wire per seguire ogni innovazione nell'edge computing, nell'efficienza dei modelli e nell'intelligenza sul dispositivo.

Stai al passo con la rivoluzione dell'hardware AI: visita AI Buzz Wire