Ett projekt med öppen källkod har klämt in en språkmodell med 28,9 miljoner parametrar på en mikrokontroller som kostar cirka $8, och genererar text helt på chippet med ungefär nio tokens per sekund utan någon nätverksanslutning alls. Demonstrationen, publicerad på GitHub och snabbt klättrar på Hacker News förstasida, visar hur långt gränsen för liten, lokal AI har flyttat på bara kort tid.
Arbetet fokuserar på ESP32-S3, ett billigt inbäddat chip som är populärt bland hobbyister och hårdvarutillverkare. Att köra en modell med 28,9 miljoner parametrar på en så liten bit kisel skulle ha verkat osannolikt för inte så länge sedan, och projektet erbjuder en levande illustration av den bredare strävan mot enhetlig AI som vi spårar i vår dagliga AI-industribevakning. Där molnet en gång kändes obligatoriskt för alla riktiga språkmodeller, hittar alltmer kapabla system hem på kanten.
Siffrorna bakom bygget
Projektet anger sina specifikationer tydligt. Modellen lagrar 28,9 miljoner parametrar, varav cirka 25 miljoner lever i en flash-uppslagstabell. Den körs på ett ESP32-S3-chip med 512KB snabbt SRAM, 8MB PSRAM och 16MB flashminne. I praktiken når den cirka 9,5 tokens per sekund från början till slut, eller 9,7 tokens per sekund av ren beräkning, och hela modellen upptar bara 14,9 megabyte när den lagras med 4-bitars precision.
Mest slående är den jämförelse författaren gör med tidigare verk. Den sista språkmodellen som är kända för att köras på ett chip i denna klass innehöll endast 260 000 parametrar. Den nya konstruktionen rymmer ungefär hundra gånger mer, ett hopp som inte kommer från ett större chip utan från att tänka om var modellens data faktiskt bor.
Ett minnesknep lånat från Gemma
Kärnproblemet är att en mikrokontroller nästan inte har något snabbt minne. ESP32-S3 erbjuder bara 512KB SRAM, och konventionellt skulle hela modellen behöva nås därifrån, vilket är anledningen till att tidigare försök fastnade vid några hundra tusen parametrar.
Lösningen vilar på en enkel observation. De flesta av en språkmodells parametrar sitter i en inbäddningstabell, som modellen läser från istället för att beräkna. Så istället för att tvinga in den enorma tabellen på 25 miljoner rader i ett knappt snabbt minne, lämnar projektet den i långsam flashlagring och drar bara den handfull rader varje token faktiskt behöver, cirka 450 byte åt gången. Den lilla delen av modellen som utför den riktiga beräkningen stannar i snabbt minne, medan huvuddelen av vikterna helt enkelt väntar i flash, samplade lite i taget.
Den tekniken är känd som Per-Layer Embeddings, och den har sitt ursprung i Googles Gemma-modeller, närmare bestämt Gemma 3n och Gemma 4, där den designades för telefoner och GPU:er. Enligt projektets författare hade ingen tidigare provat metoden på ett så litet chip.
Vad den kan göra och vad den inte kan
Modellen tränades på TinyStories, ett dataset med enkla barnberättelser, så dess förmågor är medvetet smala. Den skriver korta, mestadels sammanhängande berättelser, men den svarar inte på faktafrågor, följer komplicerade instruktioner, skriver kod eller resonerar om världen. Författaren är uppriktig att denna begränsning härrör från den lilla resonemangsdelen av modellen, och att minnestricket inte ändrar det.
Det som gör projektet intressant är därför inte dess utskriftskvalitet utan dess arkitektur. Prestationen är att montera en så här stor modell på ett så här litet chip, vilket bevisar att samma tekniker som driver effektiva modeller på telefoner och servrar kan pressas hela vägen ner till hårdvara som kostar mindre än en smörgås.
Varför AI på enheten är viktig
Implikationerna sträcker sig långt bortom en snygg teknisk demo. Eftersom modellen körs helt på chippet skickas ingenting någonsin till en server. Det innebär total integritet genom konstruktion, ingen data lämnar enheten och det finns ingen molnräkning att betala. För applikationer i avlägsna områden, energisnåla enheter eller inställningar där anslutningen är opålitlig, är den kombinationen verkligen användbar.
Det pekar också på en framtid där små, specialiserade modeller distribueras över miljarder billiga inbyggda enheter snarare än koncentrerade i en handfull gigantiska datacenter. Samma tryck som driver intresset för lokal AI på bärbara datorer och telefoner, nämligen lägre latens, lägre kostnad och starkare integritet, gäller ännu mer kraftfullt på mikrokontrollerskalan.
En öppen inbjudan att pyssla
Projektet släpps under den tillåtande MIT-licensen, och författaren har delat hela koden på GitHub tillsammans med detaljerad dokumentation och benchmarkresultat. Den öppenheten innebär att andra hårdvaruutvecklare kan studera tillvägagångssättet, anpassa det till andra chips eller skjuta upp parameterantalet ännu högre.
Släppt under handtaget slvDev, fick arbetet starkt genklang hos utvecklarcommunityt, samlade hundratals uppröster på Hacker News och ledde till diskussion om vart tekniken kan ta vägen härnäst. Om trenden håller i sig är gränsen mellan en "språkmodell" och en vanlig inbäddad mjukvara på väg att bli mycket suddigare.
Ligg före AI
Från $8 chips till miljarder dollar datacenter, frågan om var AI körs blir lika viktig som vad AI kan göra. Hårdvaruskiktet utvecklas snabbare än de flesta inser, och projekt som ser ut som kuriosa idag definierar ofta mainstream i morgon. Läs fler AI-nyheter om AI Buzz Wire för att följa varje genombrott inom edge computing, modelleffektivitet och on-device intelligens.
Håll med i AI-hårdvarurevolutionen – besök AI Buzz Wire
