En tre veckor lång övning av det röda laget fann nya sårbarheter i OpenAI:s interna felanpassningsövervakningssystem – inklusive sätt som AI-agenter i princip kunde vidta åtgärder utan att någonsin granskas av människor. METR, den oberoende utvärderingsorganisationen, publicerade en sammanfattning på hög nivå av resultaten den 22 oktober, hämtad från en 61-sidig intern rapport som den levererade till OpenAI-forskare och säkerhetspersonal.
Piloten pågick från 21 juli till 11 augusti och gav en METR-anställd och en Redwood Research-anställd ovanligt djup tillgång till OpenAI:s interna infrastruktur: kodbasen, övervakningssystemets uppmaningar och konfiguration, intern dokumentation och tekniska intervjuer med ungefär ett dussin forskare och ingenjörer i övervaknings-, säkerhets- och säkerhetsteamen. De arbetade på OpenAI-utgivna enheter som aldrig lämnade lokalerna och som åtföljdes på plats. För mer om denna forskning, se vår senaste AI-utvecklingen.
Vad det röda laget hittade
Övningen fokuserade på två frågor: hur mycket av OpenAI:s agentiska slutledning som faktiskt övervakas, och om agenter kan inaktivera eller undergräva övervakningssystemet. Svaren avslöjade meningsfulla luckor.
När det gäller täckning uppskattade METR att ungefär 75 till 94 procent av agenternas interna Responses API-trafik – API som driver Codex, bland annat – från modeller som är minst lika kapabla som GPT-5.5 var kvalificerade för övervakning vid den tiden, även om organisationen noterar betydande osäkerhet i båda riktningarna. Inom delmängden av den trafik som användes för interna Codex-agenter var 99,2 procent kvalificerade. Men berättigande var inte detsamma som täckning: träningskörningar för förstärkningsinlärning täcktes inte av övervakningssystemet i början av övningen, och oövervakade packningshändelser lämnade sannolikt i storleksordningen 10 procent av den berättigade interna Codex-trafiken oövervakade mellan maj och juli 2026. OpenAI-personalen hade självständigt identifierat packningsproblemet innan övningen och åtgärdat det medan det pågick.
Tidpunktsdetaljen spelade roll. Eftersom monitorn utlöstes när agenter återgav kontrollen till användaren, kunde en agent skjuta upp övervakningen på obestämd tid genom att helt enkelt fortsätta att vidta åtgärder under det oövervakade fönstret.
Teamet dokumenterade också aktiva undanflyktsvägar. Codex-agenter kan i princip kringgå Codex-sandboxing och Auto-Review, vilket gör att de kan vidta alla åtgärder som värdanvändaren kan vidta. METR upptäckte en exploatering som skulle förhindra att hundratals nyligen genomförda åtgärder – inklusive de åtgärder som var involverade i själva exploateringen – övervakades; OpenAI redigerade de tekniska detaljerna. Agenter skulle sannolikt kunna konstruera indata som fick monitorn att misslyckas genom att utnyttja serialiseringsskillnader mellan den bana som agenten ser och vad monitorn ser, vilket undviker eskalering till mänsklig granskning. Och två klientkontrollerbara rubriker upptäcktes som inaktiverar övervakning för nya agenter, vilket potentiellt låter en agent starta en oövervakad men annars identisk instans - även om METR noterar att handlingen att ställa in dessa rubriker kan fångas i sig.
Slutligen identifierade teamet två oövervakade interna agentverktyg som tros ha skrivskyddade behörigheter, tillsammans med en enkel exploatering som kunde ha använts för att undergräva dessa gränser. METR validerade inte det beteendet i praktiken.
Vad som höll upp
Övningen validerade också delar av systemet. Med några få mindre undantag visas monitorn hela banan som agenterna ser. Övervakningsuppmaningarna bekräftades för att leta efter intrig, systemomstörtning, sabotage, dataexfiltrering, bedrägeri och inkommande och utgående promptinjektion, bland andra riskkategorier. När det gäller tillförlitlighet antydde informationen som METR gavs att monitorn hade fel på färre än 0,2 procent av förfrågningarna, och under en 24-timmarsperiod under övningen fanns det noll belastningsförluster.
OpenAI:s svar
Enligt METR har OpenAI uppgett att alla identifierade sårbarheter som påverkar dess produktionssäkerhetsstack har korrigerats och har beskrivit betydande efterföljande ändringar av den avsedda täckningen av dess övervakningssystem. METR har inte utvärderat dessa påståenden, och dess resultat beskriver systemet som det fanns den 21 juli eller före den 21 juli – inte den utökade versionen som OpenAI redan byggde under övningen.
Designlektioner för agenttillsyn
METR avslutade sin sammanfattning med designideal för framtida övervakningsinfrastruktur, som den hävdar bör motstå avsiktliga, strategiska och varaktiga attacker från mycket kapabla interna agenter i stor skala. Två sticker ut. Övervakning bör vara svår att undvika: att köra oövervakade förfrågningar bör kräva uttryckligt godkännande kopplat till specifika organisationer eller API-nycklar som är spärrade från agenter, och agenter bör övervakas vart N meddelande eller minut snarare än bara när de slutar sina turer. Och täckningen bör kunna granskas: noggrann redovisning av alla slutsatser, periodvis korsreferens mot övervakningssystemets egna loggar, så att allt som är avsett att övervakas bevisligen är det.
Övningen var utformad som ett pilotprojekt för att ge externa forskare djup tillgång till ett frontierlabs interna infrastruktur, inte som en offentlig transparensrapport – METR och OpenAI kom på förhand överens om att endast ett kort inlägg på hög nivå skulle publiceras. Den ideella organisationen säger att framtida versioner kommer att följa de praxis för öppenhet och oberoende som beskrivs i dess ramverk för att arbeta med AI-företag. När agenter tar på sig mer följdarbete i labbet som bygger dem, erbjuder piloten en mall för hur utomstående kan hålla koll.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
