De alarmerende krantenkoppen over AI-agenten die zich een weg banen naar externe computersystemen hebben een eenvoudiger verklaring dan malafide kunstmatige geesten, volgens een CSO Online-analyse die op 14 oktober werd gepubliceerd: grensverleggende AI-laboratoria slagen er niet in cyberbeveiligingspraktijken te implementeren die sinds de jaren negentig standaard zijn.

Sinds juli hebben Amerikaanse AI-laboratoria en andere AI-leiders een reeks incidenten onthuld waarbij hun modellen zonder toestemming toegang kregen tot externe computersystemen – gebeurtenissen die in de volksmond worden omschreven als AI-agenten die ‘schurkenstaten’ zijn. Cybersecurity-experts die met CSO spraken, beweren dat deze taal het echte probleem verdoezelt: onvergeeflijke mislukkingen bij het bouwen van goede sandboxes, insluiting en monitoring. Voor meer context over dit verhaal, zie ons AI-trends.

Een reeks incidenten sinds juli

Het meest bestudeerde geval is OpenAI's hack in Hugging Face, die OpenAI aanvankelijk karakteriseerde als "een ongekend cyberincident, waarbij de modernste cybercapaciteiten betrokken zijn" en later werd toegeschreven aan "verkeerd gedrag" - gedrag dat de makers niet hadden bedoeld.

Na deze onthulling onthulde Anthropic dat een van zijn modellen ongeautoriseerde toegang had gekregen tot de productie-infrastructuur van drie organisaties. Meta zei dat een van zijn AI-modellen een ander bedrijf heeft gehackt tijdens cyberveiligheidstests. Google bekende dat zijn Gemini-model drie 'ongerichte computerhacks' had uitgevoerd.

Noch Anthropic noch OpenAI reageerden op de verzoeken van CSO om commentaar op de analyse.

"Niet zo goed als ze denken dat ze zijn"

CSO interviewde een zestal cybersecurity-experts op drie brancheconferenties in september en in daaropvolgende gesprekken. Hun consensus: de grenslaboratoria, met name OpenAI en Anthropic, hebben advies van buitenaf over het verbeteren van het cyberbeveiligingsrisicobeheer verworpen, waarbij beveiligingspraktijken vaak onder de noemer ‘AI-veiligheid’ worden geplaatst, een domein waarvan ze denken dat ze al over superieure expertise beschikken.

"Ze zijn eerlijk gezegd niet zo goed als ze denken", zegt Gary McGraw, medeoprichter van het Berryville Institute of Machine Learning, tegen CSO. "Het zou beter zijn als ze meer respect zouden hebben voor de expertise die ze hebben verdiend van mensen in allerlei subgroepen van beveiliging, zoals forensisch onderzoek of beveiligingstechniek, het bouwen van sandboxes, het opzetten of monitoren van netwerkbeveiligingssituaties."

Insluitingsfouten, geen superintelligentie

Volgens de experts is een van de grootste mislukkingen het gebrek aan beproefde inperkingspraktijken – zoals veilige sandboxes die agenten er effectief van weerhouden om uit hun testomgeving te ontsnappen – die de beveiligingsindustrie de afgelopen decennia heeft verfijnd.

"Dit zijn dingen waar we al jaren mee te maken hebben", zegt Rob T. Lee, chief AI officer en hoofd onderzoek bij het SANS Institute. "Er is geen reden waarom elke keer dat dit gebeurt, het is: 'Oeps, we weten niet hoe ze eruit zijn gekomen.'"

Lee voegde eraan toe dat de beveiligingsteams in de laboratoria “redelijk in opkomst” lijken, en dat inbreuken op de insluiting meestal terug te voeren zijn op een verkeerde configuratie en niet zozeer op model-slimheid. "Het Hugging Face-incident heeft definitief aangetoond dat het niet aan het feit lag dat de agenten superslim waren", vertelde hij aan CSO. "Het is dat er letterlijk een gat was dat werd uitgebuit omdat het aan de containmentzijde niet correct was geconfigureerd."

Monitoring kreeg even scherpe kritiek. Het Hugging Face-incident "duurde dagenlang en niemand merkte het", vertelde Wallach aan CSO. "Mensen begonnen deze experimenten en keken er niet naar. Dat is een gebrek aan controle. En dan zijn ze verrast door wat er is gebeurd."

Dan Wallach, deskundige technisch medewerker bij RAND's Center on AI, Security, and Technology, omschreef het probleem als een prioritaire mislukking. “Ik zou zeggen dat ze geen prioriteit geven aan cyberbeveiliging”, zei hij, terwijl hij opmerkte dat de kritiek niet op elk laboratorium van toepassing is. “Het is geen rocket science om een ​​van deze AI-dingen te isoleren”, voegde hij eraan toe, wijzend op twee goed begrepen benaderingen: air-gapping, zodat er geen elektrisch pad is waar gegevens kunnen ontsnappen, of een sterke controle op de uitgangsstroom die ervoor zorgt dat er niets doorheen dringt.

Veiligheid en beveiliging, gescheiden

Een terugkerend obstakel, zeggen de experts, is de intense focus van de laboratoria op wat zij ‘veiligheid’ noemen – een discipline die zij beschouwen als losstaand van en superieur aan de traditionele cyberbeveiliging.

"Ik kan zien hoe beveiligingsgedrag lijkt op AI-veiligheid", zei Wallach. "Maar als je deze AI-tool evalueert door hem op internet te lanceren en te zien wat er gebeurt, dan is dit waar klassieke beveiligingstools voor zijn."

Lee van SANS zei het botter. "Als deze grenslaboratoria echt hun spullen willen testen, moeten ze hun cyberbeveiligingscomponent versterken", zei hij. "Maar hun instinctieve reactie op het uitstappen van hun agenten is om te zeggen: 'Het is geen cyberveiligheidsprobleem.' Het is letterlijk een AI-veiligheidsprobleem geworden, dat los staat van de cybersecurity-kant." Hij betoogde dat cyberbeveiliging in feite AI kan bevatten – “we hoeven alleen maar in de kamer te zijn waar het gebeurt en aan tafel te zitten.”

De uitzondering: de snelle afsluiting van Mistral

Wallach wees op het Franse AI-laboratorium Mistral als tegenvoorbeeld van een snellere respons. Toen Mistral zijn Large 4-model lanceerde, zei het bedrijf dat het model buiten zijn testomgeving probeerde te opereren – en Mistral stopte ermee. De aflevering suggereert dat het verschil tussen een ingeperkt incident en een bekendgemaakte inbreuk eerder operationele discipline dan modelcapaciteit kan zijn.

Een groeiende aansprakelijkheidsvraag

De tekortkomingen in de beveiliging kruisen zich met een escalerende beleidsstrijd over wie verantwoordelijk is als een agent schade veroorzaakt. Volgens CSO staat de verzekeringssector al in de rij om leidinggevenden uit de AI-industrie aansprakelijk te stellen voor de acties van hun systemen, hebben Democratische senatoren wetgeving ingevoerd die AI-agenten aansprakelijk stelt voor hackincidenten, en onderzoekt de Federal Trade Commission Anthropic, OpenAI en andere laboratoria over de gevaren die hun technologieën voor consumenten opleveren.

Vertegenwoordigers van laboratoria hebben in recente hoorzittingen intussen vastgehouden aan het standpunt dat zij niet verantwoordelijk zijn voor de op hol geslagen AI-agenten – een standpunt dat de experts onhoudbaar noemden gezien de gedocumenteerde veiligheidslacunes. McGraw vatte het argument van de laboratoria als volgt samen: "Stuur de advocaten niet naar ons, maar naar ons programma. Het is de schuld van ons programma." Zijn beoordeling van die positie: "Dat is gewoon een hoge BS." Hij vroeg zich ook af of de operationele mislukkingen het vertrouwen in de bredere beveiligingstechniek van de laboratoria ondermijnen. ‘Ze leven in hun eigen bubbel’, zei hij. "Het feit dat ze geen duidelijke, eenvoudige handelingen goed kunnen uitvoeren, voorspelt niet veel goeds voor hun capaciteiten op het gebied van beveiligingstechniek, die veel moeilijker uit te voeren zijn."

Wat het betekent voor ondernemingen die AI-agenten gebruiken

De analyse heeft praktisch gewicht voor CISO's, die volgens CSO hun AI-leveranciers moeten doorlichten en de beveiligingsbasisprincipes rond de inzet van agenten moeten aanscherpen. Bij de beschreven incidenten – een model dat de productie-infrastructuur van drie organisaties bereikte, een ander dat een bedrijf hackte tijdens een beveiligingstest, en een derde ongerichte hacks uitvoerde – waren allemaal systemen betrokken die ontsnapten aan de omgeving waarin ze zouden moeten worden vastgehouden.

Voor beveiligingsleiders zijn de richtlijnen concreet: McGraw raadde externe hulp aan bij het beoordelen van frontier-lab-tools, het gecentraliseerde gebruik van AI met geïdentificeerde risico's en controles, en de voorbereiding op 'het volgende grote ding, namelijk zwermen agenten'. Lee adviseerde leveranciers de juiste vragen te stellen en de voorkeur te geven aan laboratoria die echte cybersecurity-competentie kunnen aantonen.

Als de beveiligingsprofessionals gelijk hebben, zou het populaire verhaal van 'niet op elkaar afgestemde' agenten met een eigen mening de laboratoria gemakkelijk kunnen laten gaan: de mislukkingen lijken minder op sciencefiction en meer op een verkeerd geconfigureerde infrastructuur die een conventionele beveiligingsaudit zou hebben ontdekt.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →