Výzkumníci předvedli nový silný útok proti modelům umělé inteligence, který využívá zásadní slepé místo v tom, jak velké jazykové modely (LLM) oddělují instrukce od dat. Technika zvaná Chain-of-Thought (CoT) Forgery přiměje model k tomu, aby s textem dodaným útočníkem zacházel, jako by se jednalo o vlastní soukromé interní uvažování modelu, což umožňuje textu přepsat legitimní instrukce.

Zjištění, která uvádí Hackaday, zdůrazňují, proč zabezpečení systémů AI proti manipulaci zůstává nevyřešeným problémem. Chcete-li držet krok s nově se objevujícími hrozbami v této oblasti, sledujte naše pokrytí odvětví AI pro průběžnou analýzu.

Hlavní příčina: Záměna rolí

Jádrem této zranitelnosti je to, co výzkumníci popisují jako „zmatení rolí“. Moderní LLM přijímají všechny své vstupy – systémová pravidla, požadavky uživatelů a vlastní myšlenkové uvažování modelu – prostřednictvím jediného textového kanálu. K vytvoření řádu používají vývojáři značky metadat, jako jsou „“, „“ a „“, aby vytvořili hierarchii důvěry. Například direktiva `` k zamezení škodlivého obsahu má přepsat požadavek `` v opačném smyslu.

Značka `` je obzvláště účinná, protože představuje interní proces uvažování modelu, proud, který nese vysokou důvěru. Výzkumníci zjistili, že problém spočívá v tom, že modely se při rozhodování, čemu mají věřit, nespoléhají primárně na samotné značky. Upřednostňují styl psaní. Text, který je stylově formátován tak, aby se podobal internímu výstupu modelu ``, může být mylně považován za skutečné uvažování, bez ohledu na to, odkud ve skutečnosti pochází.

Jak útok funguje

Zásadní je, že CoT Forgery není pouze záležitostí zabalení škodlivé výzvy do značek ``, které by většina modelů odmítla. Místo toho útočník píše spletité uvažování ve stylu, který úzce odpovídá vlastnímu odlišnému vnitřnímu uvažování modelu. Když model narazí na tento text, považuje falešnou úvahu za již dosažený závěr.

Podle Hackaday to způsobuje, že LLM přijímá transparentně nelogické uvažování jako předem daný závěr a mění svou odpověď na žádost uživatele. Vzhledem k tomu, že falešný obsah je vnímán jako vysoce důvěryhodná interní myšlenka spíše než jako nízkodůvěryhodný uživatelský vstup, může obejít bezpečnostní zábradlí, které by normálně blokovaly manipulativní pokyny.

Hierarchie důvěry uvnitř LLM

Pochopení, proč je útok úspěšný, vyžaduje pochopení toho, jak role fungují. Pod kapotou role segmentují vstup modelu do organizované hierarchie. Pokyny v roli jsou dodržovány, pokud nejsou v rozporu s pokyny s vyšší prioritou. Například směrnice na úrovni systému „nemluvte o nezákonných činnostech“ má přepsat požadavek uživatele na poskytnutí zakázaného receptu. Role `` se nachází na vrcholu této hierarchie, protože představuje závěry, o kterých se model domnívá, že již sám dosáhl.

K rozpadu dochází, protože model nevynucuje tuto hierarchii mechanicky. Místo toho odvozuje, který text patří do které role, částečně ze stylistických vodítek. Jak poznamenala komunitní diskuse o výzkumu, pokud je text vzorován jako kontext myšlení, model může zaměnit jakýkoli text s podobnou strukturou za skutečné uvažování – a myšlenkový text má vyšší prioritu než text běžného uživatele.

Známý vzor s novým twistem

Výzkum staví na dlouho uznávané slabosti systémů AI: rychlé vstřikování. První útoky využívaly skutečnosti, že LLM nemají žádné oddělené toky pro instrukce a data, takže fráze jako „ignorujte všechny předchozí instrukce“ by někdy mohla unést chování modelu. Zavedení rolí a značek metadat to mělo zmírnit vytvořením hierarchie důvěryhodnosti.

CoT Forgery ukazuje, že zmírnění není úplné. Dokud modely posuzují důvěryhodnost textu částečně podle jeho stylistických charakteristik, spíše než striktně podle strukturálních metadat, mohou útočníci, kteří dokážou napodobit správný styl, zvýšit vnímanou autoritu svého vstupu.

Proč je těžké to opravit

Výzkumníci Charles Ye, Jasmine Cui a Dylan Hadfield-Menll tvrdí, že vnímání rolí v LLM není binární vlastností, kterou lze čistě vynutit. Modely se učí interpretovat značky prostřednictvím školení spíše než pomocí pevně zakódovaných pravidel, což znamená, že jejich chování je utvářeno vzory v datech – a vzory lze napodobovat.

Diskuse v komunitě o práci, na kterou upozornil Hackaday, odhalila opakující se téma: nejčistší oprava by vyžadovala, aby modely zpracovávaly důvěryhodné vstupy strukturálně oddělenými cestami, spíše než aby se spoléhaly na naučená vodítka založená na stylu. Dokud se tak nestane, zůstane obrana proti rychlým útokům ve stylu injekce pravděpodobně spíše vyvíjejícím se procesem než vyřešeným problémem.

Širší důsledky

Na zranitelnosti záleží nad rámec laboratorních demonstrací. Modely uvažování jsou stále častěji nasazovány v agentních systémech, které mohou procházet web, spouštět kód a provádět akce jménem uživatele. Pokud útočník dokáže zfalšovat interní závěry modelu, může být schopen tyto akce nasměrovat k nezamýšleným nebo škodlivým výsledkům. Riziko roste s tím, jak modely získávají větší autonomii a přístup k nástrojům. Výzkumníci poznamenávají, že lidé zůstávají chytří a kreativní, a pokud modely postrádají čisté architektonické oddělení důvěryhodného a nedůvěryhodného textu, odhodlaní útočníci budou i nadále hledat způsoby, jak čáru rozmazat. Článek formuluje tuto výzvu méně jako chybu, kterou je třeba opravit, a spíše jako strukturální vlastnost systémů, které se učí své chování z dat spíše než z pevně zakódovaných pravidel.

Kompletní dokument je k dispozici na arXiv a výzkumníci zveřejnili příklady kódu na GitHubu, aby vývojáři mohli otestovat, zda jsou jejich vlastní systémy náchylné.

Udržujte si náskok před AI

Další informace o výzkumu bezpečnosti AI, zranitelnostech zabezpečení a hranicích velkých jazykových modelů naleznete na [AI Buzz Wire] (https://aibuzzwire.news).

Přečtěte si další zprávy o AI →