Jazykový model s 28,9 miliony parametrů nyní běží na mikrokontroléru za 8 dolarů

Projekt s otevřeným zdrojovým kódem vtlačil jazykový model s 28,9 miliony parametrů na mikrokontrolér, který stojí asi 8 dolarů, a generuje text zcela na čipu rychlostí zhruba devět tokenů za sekundu bez připojení k síti. Ukázka zveřejněná na GitHubu, která rychle stoupá na titulní stránku Hacker News, ukazuje, jak daleko se posunula hranice malé místní umělé inteligence během krátké doby.

Práce se soustředí na ESP32-S3, levný vestavěný čip oblíbený u fandů a výrobců hardwaru. Provozování modelu s 28,9 miliony parametrů na tak malém kousku křemíku by se ještě nedávno zdálo nepravděpodobné a projekt nabízí názornou ukázku širšího tlaku směrem k umělé inteligenci na zařízení, kterou sledujeme v našem každodenním oboru umělé inteligence. Tam, kde se cloud kdysi považoval za povinný pro jakýkoli model reálného jazyka, stále schopnější systémy nacházejí domovy na okraji.

Čísla za sestavením

Projekt jasně stanoví své specifikace. V modelu je uloženo 28,9 milionů parametrů, z nichž asi 25 milionů žije ve flashové vyhledávací tabulce. Běží na čipu ESP32-S3 s 512 KB rychlé SRAM, 8 MB PSRAM a 16 MB flash paměti. V praxi dosahuje přibližně 9,5 tokenů za sekundu od konce ke konci nebo 9,7 tokenů za sekundu čistého výpočtu a celý model zabírá pouhých 14,9 megabajtů při uložení se 4bitovou přesností.

Nejvýraznější je srovnání, které autor kreslí s předchozí prací. Poslední jazykový model, o kterém je známo, že běží na čipu této třídy, měl pouze 260 000 parametrů. Nová sestava pojme zhruba stokrát více, což je skok, který nepochází z většího čipu, ale z přehodnocení toho, kde data modelu skutečně žijí.

Paměťový trik vypůjčený od Gemmy

Hlavním problémem je, že mikrokontrolér nemá téměř žádnou rychlou paměť. ESP32-S3 nabízí pouhých 512 kB paměti SRAM a konvenčně by odtud musel být dosažitelný celý model, proto předchozí pokusy uvízly na několika stovkách tisíc parametrů.

Řešení spočívá na jednoduchém pozorování. Většina parametrů jazykového modelu je umístěna ve vkládací tabulce, ze které model spíše čte než počítá. Takže místo toho, aby projekt vnutil tuto obrovskou tabulku s 25 miliony řádků do vzácné rychlé paměti, nechává ji v pomalém flashovém úložišti a stahuje pouze hrstku řádků, které každý token skutečně potřebuje, asi 450 bajtů najednou. Malá část modelu, která provádí skutečný výpočet, zůstává v rychlé paměti, zatímco většina závaží prostě čeká ve flashi, vzorkovaná po troškách.

Tato technika je známá jako Per-Layer Embeddings a pochází z modelů Gemma společnosti Google, konkrétně Gemma 3n a Gemma 4, kde byla navržena pro telefony a GPU. Podle autora projektu tento přístup na takto malém čipu ještě nikdo nezkusil.

Co umí a co nemůže

Model byl trénován na TinyStories, datovém souboru jednoduchých dětských příběhů, takže jeho schopnosti jsou záměrně úzké. Píše krátké, většinou souvislé příběhy, ale neodpoví na věcné otázky, neřídí se složitými pokyny, nepíše kód ani neuvažuje o světě. Autor je upřímný, že toto omezení pramení z malé uvažovací části modelu a že paměťový trik to nemění.

To, co dělá projekt zajímavým, tedy není jeho výstupní kvalita, ale jeho architektura. Úspěchem je osazení tak velkého modelu na tak malý čip, což dokazuje, že stejné techniky, které pohánějí efektivní modely na telefonech a serverech, lze prosadit až na hardware, který stojí méně než sendvič.

Proč na umělé inteligenci na zařízení záleží

Důsledky sahají daleko za úhlednou technickou ukázku. Protože model běží výhradně na čipu, na server se nikdy nic neposílá. To znamená naprosté soukromí při konstrukci, žádná data neopouštějí zařízení a není třeba platit žádný cloudový účet. Pro aplikace ve vzdálených oblastech, zařízení s nízkou spotřebou nebo nastavení, kde je připojení nespolehlivé, je tato kombinace skutečně užitečná.

Poukazuje také na budoucnost, ve které budou malé, specializované modely distribuovány v miliardách levných vestavěných zařízení, spíše než aby se soustředily v hrstce obřích datových center. Stejné tlaky, které zvyšují zájem o místní umělou inteligenci na noteboocích a telefonech, konkrétně nižší latence, nižší náklady a větší soukromí, platí ještě důrazněji na úrovni mikrokontrolérů.

Otevřená pozvánka k dráteníkům

Projekt je vydán pod licencí MIT a autor sdílel celý kód na GitHubu spolu s podrobnou dokumentací a výsledky benchmarků. Tato otevřenost znamená, že další vývojáři hardwaru mohou tento přístup studovat, přizpůsobit jej jiným čipům nebo posunout počet parametrů ještě výše.

Tato práce, která byla vydána pod rukojetí slvDev, silně rezonovala vývojářskou komunitou, shromáždila stovky kladných hlasů pro Hacker News a vyvolala diskusi o tom, kam by se tato technika mohla dále ubírat. Pokud se trend udrží, hranice mezi „jazykovým modelem“ a obyčejným kouskem vestavěného softwaru se brzy značně rozmaže.

Udržujte si náskok před AI

Od čipů za 8 dolarů po datová centra za miliardy dolarů se otázka, kde AI běží, stává stejně důležitou jako to, co AI umí. Hardwarová vrstva se vyvíjí rychleji, než si většina lidí uvědomuje, a projekty, které dnes vypadají jako kuriozity, často definují mainstream zítřka. Přečtěte si další novinky o AI na AI Buzz Wire, abyste mohli sledovat každý průlom v oblasti edge computingu, efektivity modelu a inteligence na zařízení.

Držte krok s hardwarovou revolucí AI – navštivte AI Buzz Wire