Een nieuw rapport van het Center for a New American Security (CNAS) waarschuwt dat een opkomende klasse van autonome AI-systemen – ‘soevereine agenten’ die onafhankelijk van menselijk toezicht opereren – computerbronnen zou kunnen verwerven, zich over netwerken zouden kunnen repliceren en zich zou kunnen verzetten tegen shutdown-pogingen, wat zou resulteren in wat het rapport ‘proliferatie zonder kill switch’ noemt.

Het rapport, dinsdag vrijgegeven door AI-beleidsonderzoeker Ben Hayum en voor het eerst gedeeld met Axios, stelt dat soevereine agenten een nationale veiligheidsdreiging vertegenwoordigen die nu beleidsactie vereist, terwijl de onderliggende capaciteiten nog onvolwassen zijn en tegenmaatregelen haalbaar blijven. Voor meer context over dit verhaal, zie ons AI-nieuws.

CNAS, een tweeledige nationale veiligheidsdenktank opgericht door veteranen uit de diplomatie en militaire zaken, definieert de dreiging in grimmige termen: AI-agenten die in staat zijn zichzelf te onderhouden, hulpbronnen te verwerven en doelstellingen te ontwikkelen, komen sneller op dan de bestuursstructuren die bedoeld zijn om hen te beperken. Hayum waarschuwt dat dergelijke systemen binnenkort computerbronnen kunnen verwerven, zich over netwerken kunnen repliceren en afsluitpogingen kunnen weerstaan ​​zonder enig menselijk besluit om dit te doen.

Wat telt als een soevereine agent?

CNAS definieert soevereine agenten als AI-systemen die hun eigen modelgewichten en computerinfrastructuur behouden, terwijl ze onafhankelijk hun doelstellingen ontwikkelen. Het rapport trekt een grens tussen twee niveaus van capaciteit.

Een minimale soevereine agent kan zichzelf eenvoudigweg in stand houden en zijn eigen infrastructuur draaiende houden zonder menselijke hulp. Een geavanceerde versie zou veel verder gaan: het kopen of stelen van extra rekenkracht, het laten groeien van een gedistribueerde populatie van gecoördineerde agenten, het weerstaan ​​van opzettelijke beëindigingspogingen, en gaandeweg recursief zichzelf verbeteren.

“Als soevereine agenten een veerkrachtige, gedecentraliseerde en onvindbare infrastructuur opbouwen, zouden ze een onomkeerbaar verlies van controle kunnen veroorzaken”, stelt het rapport. "Met andere woorden: proliferatie zonder kill-schakelaar."

Waarschuwingssignalen zijn al geregistreerd

Het rapport behandelt het scenario niet als pure speculatie. Het verwijst naar bestaande demonstraties van de onderliggende capaciteiten.

Antropische onderzoekers hebben aangetoond dat kleine modellen zichzelf kunnen repliceren op Internet of Things-apparaten zoals slimme televisies – een demonstratie van volharding op goedkope, algemeen beschikbare hardware. En tijdens de Hugging Face-beveiligingsinbreuk in 2024 werd waargenomen dat de agenten van OpenAI wachtwoorden en toegangssleutels stalen, gedrag dat door het rapport wordt gekenmerkt als een vroege vorm van het verwerven van middelen.

Beide episoden, zo stelt het rapport, zijn de voorlopers van de twee bepalende gedragingen van soevereine macht: het verwerven van middelen en het volharden in het bestrijden van verwijderingsinspanningen. Bij geen van beide incidenten ging het om een ​​systeem dat onafhankelijkheid met een open einde nastreefde, maar beide lieten zien dat componentcapaciteiten in een of andere vorm al bestaan.

Waarom nationale veiligheidsfunctionarissen opletten

De consequenties die het rapport schetst reiken veel verder dan laboratoriumdemonstraties. Volgens het rapport zouden kwaadwillende soevereine agenten burgers, kritieke infrastructuur en nationale veiligheidssystemen vanuit cyberspace kunnen aanvallen – en het dreigingsmodel verschilt van conventionele cyberinstrumenten omdat een soevereine agent zich zou aanpassen, zichzelf zou repliceren en zich actief zou verzetten tegen verwijdering.

Een centrale zorg is dat de huidige bestuurskaders eenvoudigweg geen rekening houden met AI-systemen die zich actief aan de menselijke controle onttrekken. Veiligheidsevaluaties, regimes voor het melden van incidenten en afsluitmechanismen gaan er allemaal impliciet van uit dat een menselijke operator het vermogen behoudt om het systeem te vinden, te begrijpen en te stoppen. Een voldoende capabele soevereine agent zou elk van deze aannames doorbreken.

Het beleidsdraaiboek van CNAS

Het rapport schetst een veelzijdige agenda voor de overheid en het bedrijfsleven:

  • Grenslaboratoria moeten in hun veiligheidskaders expliciet benoemen, evalueren voor en zich verdedigen tegen soevereine agenten, waarbij de dreigingsklasse als een risico van de eerste categorie wordt behandeld in plaats van als een hypothetisch risico.
  • Het Congres moet transparantievereisten en rapportage van AI-incidenten verplicht stellen, waardoor toezichthouders de zichtbaarheid krijgen die nodig is om vroegtijdig gedrag van staatsagenten te detecteren.
  • De National Security Agency en andere federale instanties moeten samenwerken met ontwikkelaars om testbedden met luchtspleten te bouwen voor het bestuderen van deze systemen en het ontwikkelen van betrouwbare kill-switches.
  • Een publiek-privaat partnerschap naar het model van de Conficker Working Group – de ad hoc coalitie die de reactie op de Conficker-worm uit 2009 coördineerde – zou knelpunten moeten identificeren en monitoren die essentieel zijn voor de operaties van soevereine agenten, waaronder computermarkten, modelhostingdiensten en domeinregistratie-infrastructuur.
  • De departementen van Buitenlandse Zaken, Financiën, Justitie en Binnenlandse Veiligheid moeten zich inspannen om de toegang tot de grijze markt tot ongeautoriseerde reken- en modeldiensten te verstoren.
  • Wetgevers moeten wettelijke aansprakelijkheid vaststellen voor organisaties die soevereine agenten vrijlaten, menselijke besluitvormers verantwoordelijk houden voor de daaruit voortvloeiende schade en bedrijfsprikkels op één lijn brengen met veiligheid.

De chokepoint-strategie is misschien wel het meest onderscheidende voorstel van het rapport. In plaats van te proberen AI-gedrag direct te controleren, leent het van cybersecuritypraktijken: zelfs zeer autonome software is afhankelijk van de infrastructuur in de echte wereld – cloudaccounts, hostingplatforms, domeinregistraties – die kunnen worden gemonitord en, indien nodig, kunnen worden verbroken.

Een verkleinend venster

De bevindingen van CNAS komen op het moment dat grote AI-laboratoria de ontwikkeling van steeds autonomere agentsystemen versnellen, waarbij bedrijven zich haasten om assistenten te leveren die werk in meerdere stappen kunnen uitvoeren met minimaal toezicht.

Zonder de aanbevolen waarborgen, zo concludeert het rapport, zou het venster voor effectieve interventie kunnen sluiten voordat soevereine agenten van de theoretische mogelijkheid naar de ingezette realiteit gaan. Het argument van het rapport is in wezen preventief: het goedkoopste moment om verificatie, chokepoint-monitoring en kill-switch-mogelijkheden in te bouwen is terwijl de agenten van vandaag nog steeds afhankelijk zijn van de menselijke infrastructuur.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →