Ve chvíli, kdy se hraniční laboratoře předhánějí ve vytváření modelů s biliony parametrů, které zaplní datová centra, se jeden vývojář vydal zcela opačným směrem: fungující jazykový model s odpověďmi na otázky, který se vejde na jednu disketu z 80. let a běží na CPU dostatečně starém na to, aby byl dodán uvnitř 486DX.
Projekt nazvaný Tiny 2.1 si všiml Hackaday a tento týden ho převzaly Futurism a Tom's Hardware. Podle jeho stránky projektu GitHub celý model váží zhruba 380 KB 8bitových hmotností – dostatečně malý, aby se pohodlně vešel na jednu disketu naformátovanou v systému MS-DOS – a ke spuštění potřebuje pouze 540 KB paměti. Tom's Hardware hlásí, že své odpovědi dokonce vyslovuje prostřednictvím skromného PC reproduktoru. Pokud máte rádi příběhy o tom, jak umělá inteligence překonává očekávání, náš nejnovější vývoj umělé inteligence pokrývá vše od hraničních závěrů až po hraniční systémy s biliony parametrů.
Transformátor odpovědí na otázky s 367 000 parametry
Tiny 2.1 je architektura malého transformátoru s přibližně 367 000 parametry, což je zlomek velikosti „lehkých“ modelů, které obvykle měří v řádech nízkých miliard. Byl napsán v Turbo C 2.0 a běží na MS-DOS, operačním systému, který dominoval osobním počítačům v 80. a počátkem 90. let, a zaměřoval se na stroje staré jako Intel 486DX a rané generace Pentium.
Jeho tréninková data jsou odpovídajícím způsobem malá: pouhých 3 500 faktů. Toto omezení definuje zkušenost s jeho používáním. Na snímku sdíleném na stránce projektu model správně odpovídá, že velryby jsou spíše savci než ryby, a správně připisuje Alexandru Grahamovi Bellovi zásluhy za vynález telefonu. Při dotazu na výpočet 17 krát 23 však odpoví „96“. A na otázku, kdo je francouzský král, sebevědomě odpoví: „Byla to Antarce Newtonová“ — s úrovní spolehlivosti 100 procent.
Neočekávejte výkon jako Claude
Jak bez obalu poznamenává futurismus, model si „vymýšlí odpovědi prakticky pořád“, protože toho o světě prostě moc neví. Neexistuje žádná vyhledávací vrstva, žádné nástroje, žádné vyhledávání na webu – pouze kompaktní neuronová síť a jakékoli vzorce, které absorbovala ze své 3500 faktické trénovací sady.
To, co dělá projekt pozoruhodným, je méně toho, co model dokáže, než to, co demonstruje jeho existence. Moderní LLM odvození je spojeno s gigabajty paměti, akcelerací GPU a kilowatty výkonu. Tiny 2.1 místo toho dokazuje koncept, že transformátor může vytvářet strukturovanou interakci otázek a odpovědí na hardwaru bez jednotky s pohyblivou řádovou čárkou, o které by se dalo mluvit, bez požadavků na pevný disk kromě diskety a se zvukovou výstupní cestou tak primitivní jako reproduktor na základní desce.
AI vytvořená pomocí AI
Nechybí ani meta twist. Podle projektové stránky nepsal vývojář každý řádek ručně: použili Anthropic's Fable 5.2 pro pomoc při psaní kódu modelu a Opus 5.5 pro podporu tréninkového procesu. Jinými slovy, model dostatečně malý, aby se vešel na disketu, byl sám vytvořen a trénován s pomocí hraničních systémů umělé inteligence – malého potomka velmi velkých rodičů.
Tento pracovní postup odráží širší trend v inženýrství AI, kde velké modely stále více generují, ladí a optimalizují systémy, které běží na mnohem menším hardwaru. Stejný vzorec se objevuje v moderních nástrojových řetězcích edge-AI, kde modely v cloudovém měřítku pomáhají komprimovat a kvantizovat sítě pro telefony, mikrokontroléry a vestavěná zařízení.
Proč na malých modelkách záleží
Tiny 2.1 neohrozí žádného komerčního chatbota. Projekty jako ona však slouží jako užitečná připomínka toho, kam až komprese modelu dospěla – a jak velká nadutost je spíše volbou než nutností. Nadšenci retropočítačů strávili roky demonstrací, že desítky let starý hardware je stále schopen překvapivé práce, od Amig s podporou prohlížeče až po síťové 8bitové stroje. Jazykový model spojující tuto linii je první a hravý.
Technická omezení, která utvářela Tiny 2.1, jsou také rychlým kurzem účinnosti. 8bitový formát váhy, slovní zásoba a architektura přizpůsobená danému úkolu a výstupní cesta navržená s ohledem na hardwarová omezení přispívají k systému, kde se počítá každý kilobajt. Porovnejte to s běžnými nasazeními, kde jsou kvantizace, ořezávání a destilace retroaktivními opravami aplikovanými na modely postavené v mnohem větším měřítku – a kde jedna chatovací relace může spotřebovat více paměti, než potřebuje celý běhový modul Tiny 2.1, včetně vah.
Dostává se také do doby skutečného zkoumání životního prostředí ohledně apetitu umělé inteligence, kdy se výzkumníci a regulátoři stále více zaměřují na energetické náklady na rozsáhlé školení a vyvozování a boje o umístění datových center se odehrávají po celých Spojených státech. Model, který běží na 540 kB paměti a napájecím zdroji z 80. let, není řešením tohoto problému – ale je názorným příkladem druhého konce spektra: závěr se stopou měřenou ve wattech, nikoli v megawattech. Čtenáři, kteří sledují, jak daleko sahá pole, od disket po gigawattové kampusy, najdou oba konce v našich přelomových zprávách o AI.
V současnosti může tvůrce Tiny 2.1 prohlásit skutečně vzácný úspěch: neuronovou síť, kterou můžete nainstalovat ze stejného média, jaké byste použili k uložení dokumentu textového procesoru, na stroji, který je starší než web. Neustále halucinuje, s naprostou jistotou chybně uvádí identitu francouzské královské rodiny a nedokáže spolehlivě násobit dvouciferná čísla. Také běží zcela na disketě.
Udržujte si náskok před AI
Od modelů disket až po hraniční laboratoře to všechno sledujeme. Přečtěte si další zprávy o AI →
