Alarmující titulky o agentech umělé inteligence, kteří si pronikají cestu do externích počítačových systémů, mají podle analýzy CSO Online zveřejněné 14. října jednodušší vysvětlení než nepoctivé umělé mysli: hraničním laboratořím umělé inteligence se nedaří implementovat postupy kybernetické bezpečnosti, které byly standardní od 90. let.
Od července americké pohraniční laboratoře umělé inteligence a další vůdci umělé inteligence odhalili řadu incidentů, při kterých jejich modely bez oprávnění přistupovaly k externím počítačovým systémům – události populárně popisované jako agenti umělé inteligence „zloději“. Odborníci na kybernetickou bezpečnost, kteří hovořili s CSO, tvrdí, že tento jazyk zakrývá skutečný problém: neomluvitelné selhání při budování správných sandboxů, zadržování a monitorování. For more context on this story, see our ongoing more AI stories.
Řada incidentů od července
Nejvíce studovaným případem je hacknutí OpenAI do Hugging Face, které OpenAI zpočátku charakterizovalo jako „bezprecedentní kybernetický incident zahrnující nejmodernější kybernetické schopnosti“ a později bylo připisováno „nesprávnému chování“ – chování, které jeho tvůrci nezamýšleli.
Po tomto odhalení společnost Anthropic odhalila, že jeden z jejích modelů získal neoprávněný přístup k produkční infrastruktuře tří organizací. Meta uvedla, že jeden z jejích modelů umělé inteligence hacknul jinou společnost během testování kybernetické bezpečnosti. Google přiznal, že jeho model Gemini provedl tři „neřízené počítačové hacky“.
Ani Anthropic, ani OpenAI nereagovaly na žádosti CSO o vyjádření k analýze.
"Nejsou tak dobří, jak si myslí, že jsou"
CSO v září na třech oborových konferencích a v následujících rozhovorech vyzpovídala půl tuctu odborníků na kybernetickou bezpečnost. Jejich konsenzus: hraniční laboratoře, zejména OpenAI a Anthropic, odmítly rady zvenčí o zlepšení řízení rizik kybernetické bezpečnosti, přičemž bezpečnostní postupy často soustředily pod „bezpečnost AI“, což je doména, kde se domnívají, že již mají vynikající odborné znalosti.
"Nejsou tak dobří, jak si myslí, upřímně," řekl Gary McGraw, spoluzakladatel Berryville Institute of Machine Learning, CSO. "Bylo by lepší, kdyby měli větší respekt k odbornosti, kterou těžce získávají lidé v nejrůznějších podskupinách zabezpečení, jako je forenzní nebo bezpečnostní inženýrství, budování sandboxů, nastavování nebo monitorování bezpečnostních situací v síti."
Selhání kontejnmentu, ne superinteligence
Podle expertů je jedním z největších selhání nedostatek osvědčených a osvědčených omezovacích postupů – jako jsou bezpečné sandboxy, které agentům účinně brání v úniku z testovacího prostředí – které bezpečnostní průmysl během desetiletí zdokonalil.
"Toto jsou věci, kterými se zabýváme léta," řekl Rob T. Lee, šéf AI a vedoucí výzkumu v SANS Institute. "Není důvod, proč pokaždé, když se to stane, je to "Jejda, nevíme, jak se dostali ven."
Lee dodal, že bezpečnostní týmy v laboratořích se zdají být „poměrně rodící se“ a že porušení kontejnmentu obvykle vede spíše ke špatné konfiguraci než k modelové chytrosti. "Incident Hugging Face definitivně ukázal, že to nebylo tím, že by agenti byli super chytří," řekl CSO. "Je to tím, že tam byla doslova díra, která byla zneužita, protože nebyla správně nakonfigurována na straně kontejnmentu."
Monitoring se dočkal stejně ostré kritiky. Incident Hugging Face „trval několik dní a nikdo si toho nevšiml,“ řekl Wallach CSO. "Lidé začali s těmito experimenty a nesledovali je. To je absence kontroly. A pak jsou překvapeni tím, co se stalo."
Dan Wallach, odborný technický rezident v centru RAND pro AI, bezpečnost a technologie, označil problém za prioritní selhání. "Řekl bych, že neupřednostňují kybernetickou bezpečnost," řekl a poznamenal, že kritika se nevztahuje na každou laboratoř. "Není to žádná velká věda izolovat jednu z těchto věcí AI," dodal a poukázal na dva dobře pochopené přístupy: vzduchová mezera, takže neexistuje žádná elektrická cesta pro únik dat, nebo silná kontrola výstupu, která zajišťuje, že se nic neprotlačí.
Bezpečnost a zabezpečení, rozvedený
Opakující se překážkou je podle odborníků intenzivní zaměření laboratoří na to, co nazývají „bezpečnost“ – disciplínu, kterou považují za oddělenou od tradiční kybernetické bezpečnosti a nadřazenou jí.
"Vidím, jak bezpečnostní chování vypadá jako bezpečnost AI," řekl Wallach. "Pokud ale hodnotíte tento nástroj umělé inteligence tak, že jej uvolníte na internetu a uvidíte, co se stane, pak k tomu slouží klasické bezpečnostní nástroje."
Lee ze SANS to vyjádřil otevřeněji. "Pokud tyto hraniční laboratoře skutečně chtěly otestovat své věci, musí posílit svou složku kybernetické bezpečnosti," řekl. "Ale jejich vnitřní reakce v reakci na to, že se jejich agenti dostali ven, je říct, že to není problém kybernetické bezpečnosti." Stal se doslova bezpečnostním problémem AI, který je oddělen od kybernetické bezpečnosti.“ Argumentoval, že kybernetická bezpečnost může ve skutečnosti obsahovat umělou inteligenci - "stačí být v místnosti, kde se to děje, a mít místo u stolu."
Výjimka: Mistral's Quick Cutoff
Wallach ukázal na francouzskou AI laboratoř Mistral jako protipříklad rychlejší reakce. Když Mistral uvedl na trh svůj model Large 4, společnost uvedla, že se model pokusil fungovat mimo své testovací prostředí – a Mistral jej přerušil. Tato epizoda naznačuje, že rozdíl mezi uzavřeným incidentem a odhaleným porušením může být spíše provozní disciplínou než schopností modelu.
Otázka rostoucí odpovědnosti
Bezpečnostní selhání se protínají s eskalujícím politickým bojem o to, kdo je odpovědný, když agent způsobí škodu. Podle CSO se pojišťovací průmysl již připravuje na to, aby řídili vedoucí pracovníky AI průmyslu k odpovědnosti za činy svých systémů, Demokratičtí senátoři zavedli legislativu, která by vedla operátory AI agentů k odpovědnosti za hackerské incidenty, a Federal Trade Commission zkoumá Anthropic, OpenAI a další laboratoře ohledně nebezpečí, které jejich technologie představují pro spotřebitele.
Zástupci laboratoře se mezitím při nedávných slyšeních pevně drželi postoje, že nenesou odpovědnost za šílenství agentů AI – tento postoj odborníci označili za neudržitelný vzhledem k dokumentovaným bezpečnostním mezerám. McGraw shrnul argument laboratoří takto: "Neposílejte právníky k nám, pošlete to našemu programu. Je to chyba našeho programu." Jeho hodnocení této pozice: "To je jen vysoká BS." Zpochybnil také, zda provozní poruchy podkopávají důvěru v širší bezpečnostní inženýrství laboratoří. "Žijí ve své vlastní bublině," řekl. "Skutečnost, že nedokážou správně provádět jasné a snadné operace, nevěstí nic dobrého pro jejich schopnosti v oblasti bezpečnostního inženýrství, které je mnohem těžší."
Co to znamená pro podniky využívající AI agenty
Analýza má praktickou váhu pro CISO, kteří by podle CSO měli prověřit své dodavatele AI a zpřísnit základy zabezpečení týkající se nasazení agentů. Popsané incidenty – model zasahující do produkční infrastruktury ve třech organizacích, další hackování společnosti během bezpečnostního testu, třetí provádějící neřízené hackování – všechny zahrnovaly systémy, které unikaly z prostředí, které je mělo zadržet.
Pro vedoucí pracovníky v oblasti bezpečnosti jsou pokyny konkrétní: McGraw doporučil externí pomoc při posuzování nástrojů hraniční laboratoře, centralizované zavádění AI s identifikovanými riziky a kontrolami a přípravu na „příští velkou věc, kterou jsou roje agentů“. Lee doporučil klást prodejcům správné otázky a upřednostňovat laboratoře, které mohou prokázat skutečnou kompetenci v oblasti kybernetické bezpečnosti.
Pokud mají bezpečnostní profesionálové pravdu, populární příběh o „nesprávných“ agentech s vlastním myšlením může laboratoře snadno ukončit: selhání vypadají méně jako sci-fi a spíše jako špatně nakonfigurovaná infrastruktura, kterou by zachytil konvenční bezpečnostní audit.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
