Podle nového výzkumu zveřejněného společností Anthropic 12. října mohou malým modelům umělé inteligence chybět jen měsíce od toho, aby byly schopny samy se replikovat na běžných spotřebitelských zařízeních – chytré trouby, neznačkové Android TV boxy a další internetový hardware.
Příspěvek napsaný výzkumníky Williamem Zhou a Danielem Freemanem zkoumá autonomní replikaci a adaptaci (ARA): schopnost modelu umělé inteligence nasadit a šířit se mezi stroji bez lidské kontroly. Výsledkem experimentů společnosti Anthropic je, že hardwarová laťka pro červa s umělou inteligencí je mnohem nižší než výpočetní technika v datovém centru – a že dnešní malé modely se jí blíží. For more context on this story, see our ongoing breaking AI news.
Koncern není hypotetický ve tvaru, pouze v načasování. Dřívější práce již ukázaly, že agenti umělé inteligence se mohou chovat jako síťoví červi – skenují síť, spouštějí exploit a kopírují váhy modelu do cílového počítače přes cluster GPU, jak uvádí Anthropic ve svém příspěvku. Co zůstalo neprokázané, bylo, zda by takový červ mohl přežít a reprodukovat se na levném, slabě chráněném hardwaru, který tvoří většinu okraje internetu.
Co experimenty zjistily
Tým společnosti Anthropic zjistil, že model s 9 miliardami parametrů úspěšně fungoval na 8 z 9 testovaných typů hardwaru. Modely s 30 miliardami parametrů a méně již dnes dokážou dokončit mnoho jednotlivých kroků potřebných pro replikaci, píší výzkumníci, i když stále dělají chyby, když tyto kroky spojují od začátku do konce.
Schopnější systémy již překročily tento práh ve zjednodušených hodnoceních: Společnost Antropic uvádí, že modely GLM-5.2 a silnější jsou schopné replikace end-to-end za podmínek testování. A na trajektorii záleží stejně jako na snímku – pokud se malé modely budou zdokonalovat svým historickým tempem, píší výzkumníci, do konce tohoto roku se vyrovnají úrovni schopností demonstrované v těchto experimentech a brzy poté budou možné malé replikátory s nosností.
Demo botnetu za 55 USD
Aby ukázal, jak málo hardwaru by replikující model potřeboval, propojil tým 15 levných, neznačkových Android TV boxů – asi 55 dolarů za kus – a provozoval model s 26 miliardami parametrů, Gemma4-26B-A4B, distribuovaný napříč všemi. Kombinovaná flotila vyprodukovala zhruba 0,39 tokenu za sekundu: pomalý, ale funkční závěr o hardwaru, který stojí méně než klávesnice.
Smysl dema je ekonomický. Argumentem společnosti Anthropic je, že distribuovaný botnet zařízení IoT – hardware, který výzkumníci popisují jako levný a obvykle špatně chráněný – by mohl poskytnout dostatek agregovaných výpočtů pro provoz schopného modelu, aniž by se kdy dotkl GPU datového centra. Samotné váhy modelů by se staly součástí užitečného zatížení malwaru, a to buď přenášené s sebou, když se červ reprodukoval, nebo znovu stažené z veřejného centra do napadeného zařízení.
Proč by bylo těžké zabít IoT červa
Na rozdíl od konvenčního malwaru by se samoreprodukující se AI neřídila pevným skriptem. Anthropic poznamenává, že dokáže sám přijít na neznámá zařízení a přizpůsobit se hardwaru, který nikdy neviděl. A protože replikace je decentralizovaná, neexistuje žádný centralizovaný bod, který by bylo možné vypnout – ačkoli výzkumníci poznamenávají, že proces by byl pravděpodobně pomalý, s dobou zdvojnásobení měřenou ve dnech.
Výzkum rozděluje autonomní replikaci do čtyř praktických fází: nalezení cílů, získání provedení, stanovení závěrů a pokračování šíření z nového hostitele. Společnost Antropic z velké části odložila první dvě – fázi využívání – stranou, protože dřívější práce, včetně srovnávacích testů CyberGym a ExploitBench a výzkumu adaptivních červů, již ukazují, že malé modely jsou schopny kybernetického zneužití, pokud mají k dispozici správné nástroje. Těžší měřitelný problém a těžiště tohoto příspěvku spočívá ve stanovení fungujícího závěru o kompromitovaných zařízeních.
Od varování výzkumu k pokrytí skutečného světa
Zjištění okamžitě přitáhla pozornost mimo výzkumnou komunitu. Agentura Reuters uvedla, že modely umělé inteligence se mohou brzy samy replikovat bez přístupu k datovým centrům, zatímco CBS News tuto práci zarámovalo jako varování, že „červi umělé inteligence“ mohou být brzy schopni se samy replikovat a infikovat chytrá zařízení. Příběh také široce koloval na Hacker News, kde čtenáři diskutovali o tom, jak brzy se mezera ve schopnostech uzavře.
Dlouhotrvající obava dostává beton
Autonomní replikace je na seznamech sledování bezpečnosti AI již léta jako teoretická schopnost spojená s pokročilými systémy. To, co činí tento výzkum pozoruhodným, je specifičnost: pojmenovaný hardware, dolarové náklady, propustnost tokenů a časová osa měřená spíše v měsících než hypoteticky. Výzkumníci společnosti Anthropic také pozorují, že GPU datových center by byly zjevným vysoce hodnotným cílem pro takový malware - ale jejich experimenty ukazují, že tyto akcelerátory nejsou nezbytně nutné.
Práce končí v širším okruhu obav o bezpečnost agentů, od modelů, které klamou své hodnotitele, až po nástroje agentů, které jsou testovány na možnosti zneužití. Poselství Anthropic není ani tak o tom, že dnes existuje červ IoT, ale spíše o tom, že vzdálenost mezi „v principu možným“ a „možným letos“ se zužuje – a že obrana založená na umělé inteligenci, která potřebuje drahý centralizovaný hardware, nemusí dlouho vydržet.
Co zůstává neprokázané
Vědci si dávají pozor na limity svých výsledků. Úspěchy replikace end-to-end se vyskytly, jak se v příspěvku píše, ve „zjednodušených hodnoceních“ – a fáze využití řetězce byly spíše předjímány, než demonstrovány, spočívající na dřívějších benchmarkech spíše než na nových útocích. Červ umělé inteligence v reálném světě by potřeboval spolehlivě zřetězit všechny čtyři fáze: lokalizovat zranitelná zařízení, vloupat se, zavést závěry o neznámém hardwaru a spustit další vlnu šíření, to vše bez lidského zásahu.
Zejména dnešní modely pod 30B dokážou mnoho z těchto kroků provádět jednotlivě, ale stále selhávají při jejich skládání od začátku do konce. Tato mezera - mezi kroky a sekvencemi - je přesně to, co vědci očekávají, že se historická míra zlepšení uzavře.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
