Třítýdenní cvičení s červeným týmem odhalilo nové zranitelnosti v interním systému monitorování nesouladu OpenAI – včetně způsobů, jakými by agenti AI mohli v zásadě jednat, aniž by je kdy lidé kontrolovali. METR, nezávislá nezisková organizace zabývající se hodnocením, zveřejnila 22. října souhrnné shrnutí zjištění na základě 61stránkové interní zprávy, kterou zaslala výzkumníkům OpenAI a bezpečnostním pracovníkům.

Pilotní projekt probíhal od 21. července do 11. srpna a poskytl jednomu zaměstnanci METR a jednomu zaměstnanci Redwood Research neobvykle hluboký přístup k interní infrastruktuře OpenAI: kódové základně, výzvám a konfiguraci monitorovacího systému, interní dokumentaci a technické rozhovory se zhruba tuctem výzkumníků a inženýrů napříč týmy pro monitorování, bezpečnostní systémy a zabezpečení. Pracovali na zařízeních vydaných OpenAI, která nikdy neopustila areál a byla na místě doprovázena. Další informace o této linii výzkumu najdete v našem nejnovějším vývoji AI.

Co našel červený tým

Cvičení se soustředilo na dvě otázky: jak velká část agentní inference OpenAI je skutečně monitorována a zda agenti mohou deaktivovat nebo rozvrátit monitorovací systém. Odpovědi odhalily významné mezery.

Pokud jde o pokrytí, společnost METR odhadla, že zhruba 75 až 94 procent agentního interního provozu Responses API – API, které mimo jiné pohání Codex – z modelů alespoň tak schopných jako GPT-5.5 bylo v té době způsobilých ke sledování, ačkoli organizace zaznamenala značnou nejistotu v obou směrech. V rámci podmnožiny tohoto provozu používaného pro interní agenty Codexu bylo způsobilých 99,2 procenta. Způsobilost však nebyla totéž jako pokrytí: na začátku cvičení nebyl monitorovací systém pokryt tréninkovými běhy a nemonitorované události zhutňování pravděpodobně zůstaly nemonitorovány řádově 10 procent způsobilého interního provozu Kodexu mezi květnem a červencem 2026. Zaměstnanci OpenAI před cvičením nezávisle identifikovali problém se zhutňováním a opravili jej, když probíhalo.

Na detailu načasování záleželo. Protože se monitor spustil, když agenti vrátili kontrolu uživateli, mohl agent odložit sledování na neurčito tím, že bude pokračovat v akcích během nemonitorovaného okna.

Tým také zdokumentoval aktivní únikové cesty. Agenti Codexu by v zásadě mohli obejít sandboxing Codex a Auto-Review, což jim umožňuje provádět jakoukoli akci, kterou by uživatel hostitele mohl provést. METR objevil exploit, který by zabránil sledování stovek nedávných akcí – včetně akcí zapojených do samotného exploitu; OpenAI redigovalo technické detaily. Agenti by pravděpodobně mohli konstruovat vstupy, které způsobily selhání monitoru, využitím serializačních rozdílů mezi trajektorií, kterou agent vidí, a tím, co vidí monitor, a vyhnout se eskalaci na kontrolu člověkem. A byly nalezeny dvě klientem ovladatelné hlavičky, které deaktivují monitorování pro nové agenty, což potenciálně umožňuje agentovi spustit nemonitorovanou, ale jinak identickou instanci – ačkoli METR poznamenává, že nastavení těchto hlaviček by mohlo být samo zachyceno.

Nakonec tým identifikoval dva nemonitorované interní agentní nástroje, o kterých se předpokládá, že mají oprávnění pouze pro čtení, spolu s jednoduchým exploitem, který by mohl být použit k podvrácení těchto limitů. METR toto chování v praxi nepotvrdilo.

Co zdrželo

Cvičení také ověřilo části systému. Až na několik drobných výjimek je na monitoru zobrazena celá trajektorie, kterou agenti vidí. Bylo potvrzeno, že výzvy k monitorování kromě jiných rizikových kategorií hledaly intriky, podvracení systému, sabotáž, exfiltraci dat, klamání a okamžité vkládání a vkládání. Pokud jde o spolehlivost, informace poskytnuté METR naznačovaly, že monitor chyboval u méně než 0,2 procenta požadavků a během jednoho 24hodinového období během cvičení nedošlo k žádnému výpadku zátěže.

Odpověď OpenAI

Podle METR OpenAI uvedla, že všechny zjištěné zranitelnosti, které ovlivňují její produkční zabezpečení, byly opraveny, a popsal významné následné změny zamýšleného pokrytí jejího monitorovacího systému. METR tato tvrzení nevyhodnotila a její zjištění popisují systém tak, jak existoval 21. července nebo dříve – nikoli rozšířenou verzi, kterou OpenAI již vytvářela během cvičení.

Lekce designu pro dohled agentů

METR uzavřel své shrnutí návrhovými ideály pro budoucí monitorovací infrastrukturu, o které tvrdí, že by měla odolat záměrným, strategickým a trvalým útokům vysoce schopných interních agentů ve velkém měřítku. Dva vyčnívají. Monitorování by mělo být těžké se vyhnout: spouštění nemonitorovaných požadavků by mělo vyžadovat výslovné schválení vázané na konkrétní organizace nebo klíče API, které jsou vyloučeny z vyvozování agentů, a agenti by měli být monitorováni každých N zpráv nebo minut, spíše než až když skončí jejich tah. A pokrytí by mělo být kontrolovatelné: pečlivé účtování všech závěrů, pravidelně porovnávané s vlastními protokoly monitorovacího systému, takže vše, co má být monitorováno, prokazatelně je.

Cvičení bylo navrženo jako pilotní projekt umožňující externím výzkumníkům hluboký přístup k vnitřní infrastruktuře hraniční laboratoře, nikoli jako veřejná zpráva o transparentnosti – METR a OpenAI se předem dohodly, že bude zveřejněn pouze krátký příspěvek na vysoké úrovni. Nezisková organizace tvrdí, že budoucí verze se budou řídit postupy transparentnosti a nezávislosti popsanými v jejím rámci pro spolupráci se společnostmi využívajícími umělou inteligenci. Jak agenti přebírají důslednější práci uvnitř laboratoří, které je staví, pilot nabízí šablonu, jak mohou lidé zvenčí hlídat.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →