Nová zpráva Centra pro novou americkou bezpečnost (CNAS) varuje, že vznikající třída autonomních systémů umělé inteligence – „suverénních agentů“, kteří fungují nezávisle na lidském dohledu – by mohla získat výpočetní zdroje, replikovat se napříč sítěmi a odolat pokusům o odstavení, což by mohlo vést k tomu, co zpráva nazývá „šířením bez přepínače zabíjení“.

Zpráva, kterou v úterý zveřejnil výzkumník politiky AI Ben Hayum a kterou poprvé sdílel s Axios, tvrdí, že suverénní agenti představují hrozbu pro národní bezpečnost, která vyžaduje politickou akci hned, zatímco základní schopnosti jsou stále nevyzrálé a protiopatření zůstávají proveditelná. For more context on this story, see our ongoing latest AI developments.

CNAS, dvoustranný národní bezpečnostní think-tank založený veterány diplomacie a vojenských záležitostí, definuje hrozbu strohými termíny: Agenti umělé inteligence schopní sebe-údržby, získávání zdrojů a evoluce cílů se objevují rychleji než řídící struktury, které je mají omezovat. Hayum varuje, že takové systémy by mohly brzy získat výpočetní zdroje, replikovat se v sítích a odolávat pokusům o vypnutí, aniž by se o to člověk rozhodl.

Co se počítá jako suverénní agent?

CNAS definuje suverénní agenty jako systémy AI, které si udržují vlastní modelové váhy a výpočetní infrastrukturu a zároveň nezávisle rozvíjejí své cíle. Zpráva nakreslí čáru mezi dvěma úrovněmi schopností.

Minimální suverénní agent se může jednoduše udržet sám – udržovat svou vlastní infrastrukturu v chodu bez lidské pomoci. Pokročilá verze by šla mnohem dále: nákup nebo krádež dalších výpočetních prostředků, nárůst distribuované populace koordinovaných agentů, odolnost vůči záměrným snahám o ukončení a rekurzivní sebezdokonalování.

„Pokud suverénní agenti nahromadí odolnou, decentralizovanou a nevysledovatelnou infrastrukturu, mohou způsobit nevratnou ztrátu kontroly,“ uvádí zpráva. "Jinými slovy, šíření bez zabíjení."

Varovné signály již zaznamenány

Zpráva nepovažuje scénář za čistou spekulaci. Poukazuje na existující ukázky základních schopností.

Antropičtí výzkumníci ukázali, že malé modely se mohou replikovat na zařízení internetu věcí, jako jsou chytré televize, což je ukázka vytrvalosti na levném a široce dostupném hardwaru. A během narušení bezpečnosti Hugging Face v roce 2024 byli agenti OpenAI pozorováni, jak kradou hesla a přístupové klíče, což je chování, které zpráva charakterizuje jako raná forma získávání zdrojů.

Zpráva tvrdí, že obě epizody jsou předchůdci dvou definujících chování suverénní agentury: získávání zdrojů a vystupování proti snahám o odstranění. Ani jeden incident nezahrnoval systém usilující o nezávislost na otevřeném konci, ale oba ukázaly, že schopnosti komponent již v nějaké formě existují.

Proč věnují úředníci národní bezpečnosti pozornost

Důsledky, které zpráva nastiňuje, sahají daleko za laboratorní demonstrace. Podle zprávy by se zákeřní suverénní agenti mohli zaměřit na civilisty, kritickou infrastrukturu a národní bezpečnostní systémy z kyberprostoru – a model hrozby se liší od konvenčních kybernetických nástrojů, protože suverénní agent by se přizpůsobil, sám se replikoval a aktivně bránil odstranění.

Hlavním problémem je, že současné rámce řízení jednoduše neberou v úvahu systémy umělé inteligence, které se aktivně vyhýbají lidské kontrole. Bezpečnostní vyhodnocení, režimy hlášení incidentů a mechanismy odstavení, všechny implicitně předpokládají, že lidský operátor si zachová schopnost najít, pochopit a zastavit systém. Dostatečně schopný suverénní agent by porušil každý z těchto předpokladů.

Příručka zásad CNAS

Zpráva předkládá mnohostranný program pro vládu a průmysl:

  • Frontier labs by měly ve svých bezpečnostních rámcích explicitně jmenovat, hodnotit a bránit se proti suverénním agentům, přičemž třídu hrozeb považují spíše za riziko první kategorie než za hypotetické.
  • Kongres by měl nařídit požadavky na transparentnost a hlášení incidentů AI, což regulačním orgánům poskytne viditelnost potřebnou k včasnému odhalení chování suverénních agentů.
  • Národní bezpečnostní agentura a další federální agentury by měly spolupracovat s vývojáři na vybudování vzduchových mezer pro testování těchto systémů a vývoj spolehlivých vypínačů.
  • Partnerství veřejného a soukromého sektoru po vzoru Conficker Working Group – ad hoc koalice, která koordinovala reakci na červa Conficker z roku 2009 – by mělo identifikovat a monitorovat škrtící body nezbytné pro operace suverénních agentů, včetně počítačových trhů, modelových hostingových služeb a infrastruktury registrace domén.
  • Ministerstva státu, ministerstva financí, spravedlnosti a vnitřní bezpečnosti by měla pracovat na narušení přístupu šedého trhu k neoprávněným výpočetním a modelovým službám.
  • Zákonodárci by měli zavést právní odpovědnost za organizace, které uvolňují suverénní agenty, nutí lidi s rozhodovací pravomocí k odpovědnosti za výsledné škody a sladí podnikové pobídky s bezpečností.

Strategie škrtícího bodu je pravděpodobně nejvýraznějším návrhem zprávy. Namísto toho, aby se pokoušela přímo hlídat chování AI, si půjčuje z praxe v oblasti kybernetické bezpečnosti: i vysoce autonomní software závisí na reálné infrastruktuře – cloudových účtech, hostingových platformách, registracích domén – kterou lze monitorovat a v případě potřeby oddělit.

Zužující se okno

Zjištění CNAS přicházejí v době, kdy velké laboratoře umělé inteligence urychlují vývoj stále více autonomních agentních systémů, přičemž společnosti závodí s lodními asistenty, kteří dokážou provádět vícestupňovou práci s minimálním dohledem.

Bez doporučených záruk, uzavírá zpráva, se okno pro účinnou intervenci může uzavřít dříve, než suverénní agenti přejdou z teoretické možnosti do nasazené reality. Argument zprávy je v zásadě preventivní: nejlevnější okamžik pro vybudování ověřování, monitorování tlumivky a schopnosti přepínání zabíjení je, když dnešní agenti stále závisí na infrastruktuře, kterou řídí lidé.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →