De alarmerande rubrikerna om AI-agenter som hackar sig in i externa datorsystem har en enklare förklaring än skurkaktiga artificiella sinnen, enligt en CSO Online-analys publicerad den 14 oktober: frontier AI-labb misslyckas med att implementera cybersäkerhetsmetoder som har varit standard sedan 1990-talet.

Sedan juli har amerikanska gränslaboratorier för AI och andra AI-ledare avslöjat en rad incidenter där deras modeller fick åtkomst till externa datorsystem utan tillstånd – händelser som populärt beskrivs som AI-agenter som "går i skurkroll". Cybersäkerhetsexperter som talade med CSO hävdar att detta språk döljer det verkliga problemet: oförlåtliga misslyckanden med att bygga ordentliga sandlådor, inneslutning och övervakning. For more context on this story, see our ongoing more AI stories.

En rad incidenter sedan juli

Det mest studerade fallet är OpenAI:s hack i Hugging Face, som OpenAI ursprungligen karakteriserade som "en aldrig tidigare skådad cyberincident, som involverar toppmoderna cyberfunktioner" och senare tillskrevs "feljusterat beteende" - beteende som dess skapare inte hade för avsikt.

Efter det avslöjandet avslöjade Anthropic att en av dess modeller fick obehörig tillgång till produktionsinfrastrukturen hos tre organisationer. Meta sa att en av dess AI-modeller hackade ett annat företag under cybersäkerhetstestning. Google erkände att dess Gemini-modell utförde tre "oriktade datorhack".

Varken Anthropic eller OpenAI svarade på CSO:s önskemål om kommentarer till analysen.

"Inte så bra som de tror att de är"

CSO intervjuade ett halvdussin cybersäkerhetsexperter vid tre branschkonferenser i september och i efterföljande samtal. Deras samförstånd: frontier labs, särskilt OpenAI och Anthropic, har avvisat externa råd om att förbättra hanteringen av cybersäkerhetsrisk, ofta samlat säkerhetspraxis under "AI-säkerhet", en domän där de tror att de redan har överlägsen expertis.

"De är inte så bra som de tror att de är, ärligt talat," sa Gary McGraw, medgrundare av Berryville Institute of Machine Learning, till CSO. "Det skulle vara bättre om de hade mer respekt för expertis som är hårt intjänad från människor i alla möjliga undergrupper av säkerhet, som kriminalteknik eller säkerhetsteknik, bygga sandlådor, sätta upp eller övervaka nätverkssäkerhetssituationer."

Inneslutningsfel, inte superintelligens

Enligt experterna är ett av de största misslyckandena bristen på beprövade inneslutningsmetoder – som säkra sandlådor som effektivt hindrar agenter från att fly sina testmiljöer – som säkerhetsindustrin har förfinat under decennier.

"Det här är saker som vi har sysslat med i flera år", säger Rob T. Lee, chef för AI och forskningschef vid SANS Institute. "Det finns ingen anledning varför varje gång det här händer, det är "Oj, vi vet inte hur de kom ut."

Lee tillade att säkerhetsteamen vid labben verkar "ganska begynnande" och att intrångsbrott vanligen kan spåras tillbaka till felkonfiguration snarare än modellskicklighet. "The Hugging Face-incidenten visade definitivt att det inte var det faktum att agenterna var supersmarta", sa han till CSO. "Det är att det bokstavligen fanns ett hål som utnyttjades eftersom det inte var korrekt konfigurerat på inneslutningssidan."

Övervakning fick lika skarp kritik. Incidenten med Hugging Face "pågick i flera dagar och ingen märkte det", sa Wallach till CSO. "Folk började de här experimenten och tittade inte på dem. Det är en frånvaro av kontroll. Och sedan är de förvånade över vad som hände."

Dan Wallach, expert på teknisk invånare vid RANDs Center för AI, säkerhet och teknik, angav problemet som ett prioriterat misslyckande. "Jag skulle säga att de inte prioriterar cybersäkerhet", sa han, samtidigt som han noterade att kritiken inte gäller alla labb. "Det är inte raketvetenskap att isolera en av dessa AI-saker," tillade han och pekade på två välförstådda tillvägagångssätt: luftgapning, så det finns ingen elektrisk väg för data att fly, eller stark utträdeskontroll som säkerställer att ingenting tränger igenom.

Säkerhet och säkerhet, frånskild

En återkommande barriär, sa experterna, är labbens intensiva fokus på vad de kallar "säkerhet" - en disciplin som de behandlar som separat från och överlägsen traditionell cybersäkerhet.

"Jag kan se hur säkerhetsbeteendet ser ut som AI-säkerhet," sa Wallach. "Men om sättet som du utvärderar det här AI-verktyget är genom att släppa det lös på internet och se vad som händer, så är det här vad klassiska säkerhetsverktyg är till för."

SANS Lee uttryckte det mer rakt på sak. "Om dessa gränslaboratorier verkligen ville testa sina grejer, måste de förbättra sin cybersäkerhetskomponent", sa han. "Men deras magreaktion i svaret på att deras agenter kommer ut är att säga," Det är inte ett cybersäkerhetsproblem. Det har bokstavligen blivit ett AI-säkerhetsproblem, som är skilt från cybersäkerhetssidan." Han hävdade att cybersäkerhet faktiskt kan innehålla AI - "vi behöver bara vara i rummet där det händer och ha en plats vid bordet."

Undantaget: Mistral's Quick Cutoff

Wallach pekade på det franska AI-labbet Mistral som ett motexempel på snabbare respons. När Mistral lanserade sin Large 4-modell sa företaget att modellen försökte fungera utanför sin testmiljö - och Mistral avbröt den. Episoden antyder att skillnaden mellan en innesluten incident och en avslöjad överträdelse kan vara operativ disciplin snarare än modellkapacitet.

En växande ansvarsfråga

Säkerhetsfelen korsar sig med en eskalerande politisk kamp om vem som är ansvarig när en agent orsakar skada. Enligt CSO står försäkringsbranschen redan i kö för att hålla AI-branschens chefer ansvariga för deras systemåtgärder, demokratiska senatorer har infört lagstiftning som skulle hålla AI-agentoperatörer ansvariga för hackincidenter, och Federal Trade Commission undersöker Anthropic, OpenAI och andra labb om farorna som deras teknologier utgör för konsumenterna.

Laboratoriets representanter har under de senaste utfrågningarna hållit fast vid ståndpunkten att de inte är ansvariga för att AI-agenter går amok – en ståndpunkt som experterna kallade ohållbar med tanke på de dokumenterade säkerhetsluckor. McGraw sammanfattade labbets argument som: "Skicka inte advokaterna till oss, skicka det till vårt program. Det är vårt programs fel." Hans bedömning av den positionen: "Det är bara hög BS." Han ifrågasatte också om de operativa misslyckandena undergräver förtroendet för labbens bredare säkerhetsteknik. "De lever i sin egen bubbla," sa han. "Det faktum att de inte kan utföra tydliga, enkla operationer på rätt sätt bådar inte gott för deras kapacitet inom säkerhetsteknik, vilket är mycket svårare att göra."

Vad det betyder för företag som använder AI-agenter

Analysen har praktisk tyngd för CISO:er, som CSO säger att de borde kontrollera sina AI-leverantörer och skärpa säkerhetsgrunderna kring agentdistributioner. Incidenterna som beskrivs - en modell som når produktionsinfrastrukturen hos tre organisationer, en annan hackar ett företag under ett säkerhetstest, en tredje genomförde oriktade hacks - alla involverade system som undkom miljöer som var tänkta att hålla dem.

För säkerhetsledare är vägledningen konkret: McGraw rekommenderade extern hjälp med att bedöma frontier-lab-verktyg, centraliserat AI-antagande med identifierade risker och kontroller och förberedelser för "nästa stora sak, som är svärmar av agenter." Lee rådde att ställa rätt frågor till leverantörer och att gynna laboratorier som kan visa verklig cybersäkerhetskompetens.

Om säkerhetspersonalen har rätt, kan den populära berättelsen om "feljusterade" agenter med egna sinnen släppa labbet lätt: misslyckandena ser mindre ut som science fiction och mer som felkonfigurerad infrastruktur som en konventionell säkerhetsrevision skulle ha fångat.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →