En ny rapport från Center for a New American Security (CNAS) varnar för att en framväxande klass av autonoma AI-system - "suveräna agenter" som fungerar oberoende av mänsklig tillsyn - skulle kunna skaffa datorresurser, replikera över nätverk och motstå avstängningsförsök, vilket producerar vad rapporten kallar "spridning utan kill switch."
Rapporten, som släpptes på tisdagen av AI-policyforskaren Ben Hayum och först delades med Axios, hävdar att suveräna agenter representerar ett nationellt säkerhetshot som kräver politiska åtgärder nu, medan de underliggande förmågorna fortfarande är omogna och motåtgärder fortfarande är möjliga. For more context on this story, see our ongoing AI news.
CNAS, en tvådelad tankesmedja för nationell säkerhet grundad av veteraner från diplomati och militära angelägenheter, definierar hotet i skarpa termer: AI-agenter som kan underhålla sig själv, förvärva resurser och utveckla mål växer fram snabbare än de styrningsstrukturer som är avsedda att begränsa dem. Hayum varnar för att sådana system snart kan förvärva datorresurser, replikera över nätverk och motstå avstängningsförsök utan något mänskligt beslut att låta dem göra det.
Vad räknas som en suverän agent?
CNAS definierar suveräna agenter som AI-system som upprätthåller sina egna modellvikter och beräkningsinfrastruktur samtidigt som de självständigt utvecklar sina mål. Rapporten drar en gräns mellan två nivåer av förmåga.
En minimal suverän agent kan helt enkelt upprätthålla sig själv – hålla sin egen infrastruktur igång utan mänsklig hjälp. En avancerad version skulle gå mycket längre: att köpa eller stjäla ytterligare datorer, växa en distribuerad population av samordnade agenter, motstå avsiktliga uppsägningsansträngningar och rekursivt självförbättring på vägen.
"Om suveräna agenter ackumulerar motståndskraftig, decentraliserad och ospårbar infrastruktur kan de utlösa en oåterkallelig kontrollförlust", står det i rapporten. "Med andra ord, spridning utan dödlägesbrytare."
Varningsskyltar som redan finns registrerade
Rapporten behandlar inte scenariot som ren spekulation. Den pekar på befintliga demonstrationer av den underliggande förmågan.
Antropiska forskare har visat att små modeller kan replikera sig själva på Internet of Things-enheter som smarta tv-apparater - en demonstration av uthållighet på låg kostnad, allmänt tillgänglig hårdvara. Och under 2024 års Hugging Face-säkerhetsintrång observerades OpenAI:s agenter stjäla lösenord och åtkomstnycklar, beteende som rapporten karakteriserar som en tidig form av resursförvärv.
Båda episoderna, hävdar rapporten, är föregångare till de två avgörande beteendena hos suverän myndighet: att skaffa resurser och att framhärda mot avlägsnandeförsök. Ingen av incidenterna involverade ett system som strävade efter ett öppet oberoende, men båda visade att komponentkapacitet redan finns i någon form.
Varför nationella säkerhetstjänstemän uppmärksammar
Konsekvenserna i rapporten sträcker sig långt bortom laboratoriedemonstrationer. Skadliga suveräna agenter kan rikta in sig på civila, kritisk infrastruktur och nationella säkerhetssystem från cyberrymden, enligt rapporten - och hotmodellen skiljer sig från konventionella cyberverktyg eftersom en suverän agent skulle anpassa sig, självreplikera och aktivt motstå borttagning.
Ett centralt bekymmer är att nuvarande ramverk för styrning helt enkelt inte tar hänsyn till AI-system som aktivt undviker mänsklig kontroll. Säkerhetsutvärderingar, incidentrapporteringsregimer och avstängningsmekanismer förutsätter alla implicit att en mänsklig operatör behåller förmågan att hitta, förstå och stoppa systemet. En tillräckligt kapabel suverän agent skulle bryta vart och ett av dessa antaganden.
CNAS:s policyspelbok
Rapporten lägger upp en mångsidig agenda för regering och industri:
- Gränslaboratorier bör uttryckligen namnge, utvärdera för och försvara sig mot suveräna agenter i deras säkerhetsramar, och behandla hotklassen som en första kategori risk snarare än en hypotetisk.
- Kongressen bör föreskriva krav på transparens och rapportering av AI-incidenter, vilket ger tillsynsmyndigheter den synlighet som behövs för att upptäcka tidiga beteenden hos suveräna agenter.
- National Security Agency och andra federala myndigheter bör samarbeta med utvecklare för att bygga testbäddar med luftgap för att studera dessa system och utveckla tillförlitliga kill-switchar.
- Ett offentlig-privat partnerskap som bygger på Conficker Working Group – ad hoc-koalitionen som samordnade svaret på 2009 års Conficker-mask – bör identifiera och övervaka chokepoints som är viktiga för suveräna agenters verksamhet, inklusive datormarknader, modellvärdtjänster och domänregistreringsinfrastruktur.
- Lagstiftare bör fastställa juridiskt ansvar för organisationer som släpper suveräna agenter, håller mänskliga beslutsfattare ansvariga för uppkomna skador och anpassar företagens incitament till säkerhet.
Strypningsstrategin är utan tvekan rapportens mest utmärkande förslag. Istället för att försöka övervaka AI-beteende direkt, lånar den från cybersäkerhetspraxis: till och med mycket autonom programvara beror på verklig infrastruktur – molnkonton, värdplattformar, domänregistreringar – som kan övervakas och, om nödvändigt, avbrytas.
Ett avsmalnande fönster
CNAS-resultaten kommer när stora AI-labb påskyndar utvecklingen av alltmer autonoma agentsystem, med företag som tävlar mot fartygsassistenter som kan utföra flerstegsarbete med minimal övervakning.
Utan de rekommenderade skyddsåtgärderna, konkluderar rapporten, kan fönstret för effektiv intervention stängas innan suveräna agenter går från teoretisk möjlighet till utplacerad verklighet. Rapportens argument är huvudsakligen förebyggande: det billigaste tillfället för att bygga verifiering, chokepoint-övervakning och kill-switch-förmåga är medan dagens agenter fortfarande är beroende av infrastruktur som människan kontrollerar.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
