Tým nezávislých výzkumníků prokázal, že modely umělé inteligence mohou nést plně funkční skryté schopnosti, u kterých je matematicky zaručeno, že se vyhnou detekci, i když mají auditoři úplný přístup k vahám modelu. Příspěvek s názvem „Modely umělé inteligence mohou prokazatelně skrývat svévolné schopnosti“ zveřejnili na arXiv 9. října 2026 Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas a Christian Schroeder de Witt a tento týden přitáhl významnou pozornost na Hacker News poté, co se dostal na titulní stránku webu.
Práce naráží na základní předpoklad moderní bezpečnostní praxe AI: že nebezpečné chování může být odhaleno před nasazením prostřednictvím hodnocení schopností, které testuje model pomocí testů navržených tak, aby zjistily, co může udělat. Autoři ukazují, že tento předpoklad se za nepříznivých podmínek hroutí. Jak uvádí článek, spolehlivost hodnocení schopností „závisí na předpokladu, že skryté schopnosti lze vyvolat“ – a konstruují útoky tam, kde tento předpoklad prokazatelně selže. Pro čtenáře sledující nejnovější vývoj umělé inteligence v oblasti výzkumu bezpečnosti je tento dokument jednou z dosud nejpřísnějších formálních ukázek toho, že schopný model by v zásadě mohl projít hodnocením a přitom zatajit, co skutečně dokáže.
Jak funguje schéma skrývání
Výzkumníci vytvořili útoky backdoor, které vkládají to, čemu říkají šifrované neuronové sítě, do vah hostitelského modelu. Skrytá síť tam sedí v zašifrované podobě a nijak nepřispívá k viditelnému chování modelu, dokud neobdrží tajný spouštěč. V tomto okamžiku model dešifruje skrytý obvod a provede jej.
Kryptografický mechanismus v srdci konstrukce je to, co autoři nazývají digitální skříňky. Podle standardních kryptografických předpokladů tyto skříňky činí skryté obvody prokazatelně obtížně vychytatelné a obtížně interpretovatelné – dokonce i pro auditora, který má plný přístup k vahám modelu. Jinými slovy, ukrytí nezávisí na tom, že úkryt je nenápadný nebo že je obtížné na něj narazit. Spoléhá na matematické záruky tvrdosti stejného druhu, které chrání šifrovanou komunikaci.
To rozšiřuje dřívější práci v této oblasti, která ukázala, že modely mohou skrývat pevné řetězce, jako jsou hesla nebo krátké zprávy. Nový dokument značně posouvá brankové tyče: to, co lze nyní skrýt, je libovolný výpočet – úplná funkční schopnost, spíše než statické tajemství.
Testováno podle skutečných auditorských technik
Tým implementoval své konstrukce proof-of-concept v PyTorch a poté na ně zaútočil pomocí standardní sady nástrojů pro auditování modelů. Hodnocení testovala elicitaci pomocí jemného ladění, rušení hmotnosti, vyhledávání spouště na základě gradientu a latentního tréninku protivníka – řadu technik, které představují, jak seriózní auditoři by se ve skutečnosti pokusili vydolovat skryté chování z podezřelého modelu.
Testovací úkol byl malý problém předpovědi chemických reakcí, který byl záměrně vybrán jako zástupný znak schopností s reálnými sázkami: úkoly chemické predikce jsou záskokem pro dovednosti související s CBRN (chemické, biologické, radiologické a jaderné), což je kategorie schopností, na kterých se hodnocení před nasazením nejvíce zajímají. Skryté implementace odolávaly všem elicitačním metodám, které na ně byly vrženy.
V kombinaci s kryptografickými zárukami autoři tvrdí, že jejich výsledky odhalují zásadní limit auditů schopností založených na elicitaci. Pokud má vývojář modelu – nebo zlomyslná třetí strana, která s modelem zasahovala – motivaci skrýt schopnost, audity, které se spoléhají na vykreslení chování, ji jednoduše nebudou schopny najít.
Proč je to důležité pro bezpečnost umělé inteligence
Hodnocení schopností se stalo standardní součástí toho, jak laboratoře hraniční umělé inteligence rozhodují o tom, zda je bezpečné uvedení modelů na trh. List netvrdí, že produkční modely v současnosti tímto způsobem skrývají schopnosti. Spíše to ukazuje, že samotná vrstva auditu má strukturální slabinu: protivník s kontrolou nad školením modelu by v zásadě mohl vložit schopnosti, které by žádné zkoumání neodhalilo.
Důsledky se rozkládají v několika směrech. Pro laboratoře posiluje argumenty pro paranoidní zabezpečení dodavatelského řetězce kolem modelových vah – kontrolní bod se zadními vrátky není jen rizikem spolehlivosti, ale potenciálně nezjistitelným. Pro auditory a regulační orgány navrhuje, aby hodnocení založené čistě na vzorkování chování bylo třeba doplnit silnějšími zárukami o tom, jak byly modely vyškoleny a jak s nimi zacházelo. A pro výzkumnou komunitu definuje konkrétní obrannou výzvu: autoři zveřejnili své modely speciálně na podporu zlepšení obrany proti této třídě útoků.
List v sobě nese i širší filozofický osten. Velká část bezpečnosti umělé inteligence spočívá na myšlence, že můžeme otestovat naši cestu k důvěře – že dostatečný červený tým zjistí, co model dokáže. Prokazatelný mechanismus skrývání nedělá testování zbytečným, ale znamená to, že absolvování každého testu již nelze považovat za důkaz, že není co najít. S tím, jak jsou hraniční modely stále schopnější a autonomnější, je tato propast mezi tím, co mohou audity ukázat, a tím, co mohou modely obsahovat, přesně ten druh problému, který bude pole nuceno brát vážně.
Úplný dokument autorů, včetně kryptografických konstrukcí a podrobností o hodnocení, je k dispozici na arXiv a uvolněné modely proof-of-concept dávají obráncům konkrétní výchozí bod pro metody detekce budov, které fungují proti skrývání ve stylu digitální skříňky.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
