Een drie weken durende red-team-oefening bracht nieuwe kwetsbaarheden aan het licht in het interne monitoringsysteem voor verkeerde uitlijning van OpenAI – inclusief manieren waarop AI-agenten in principe actie konden ondernemen zonder ooit door mensen te worden beoordeeld. METR, de onafhankelijke non-profitorganisatie voor evaluatie, publiceerde op 22 oktober een samenvatting op hoog niveau van de bevindingen, ontleend aan een intern rapport van 61 pagina's dat het aan OpenAI-onderzoekers en beveiligingspersoneel had overhandigd.

De pilot liep van 21 juli tot 11 augustus en gaf een medewerker van METR en een medewerker van Redwood Research ongewoon diepe toegang tot de interne infrastructuur van OpenAI: de codebase, de aanwijzingen en configuratie van het monitoringsysteem, interne documentatie en technische interviews met ongeveer een dozijn onderzoekers en ingenieurs van de monitoring-, veiligheidssystemen- en beveiligingsteams. Ze werkten aan door OpenAI uitgegeven apparaten die het pand nooit verlieten en ter plaatse werden begeleid. Voor meer informatie over deze onderzoekslijn, zie onze laatste AI-ontwikkelingen.

Wat het rode team heeft gevonden

De oefening concentreerde zich op twee vragen: hoeveel van de agentische gevolgtrekkingen van OpenAI wordt daadwerkelijk gemonitord, en of agenten het monitoringsysteem kunnen uitschakelen of ondermijnen. De antwoorden brachten betekenisvolle hiaten aan het licht.

Wat de verslaggeving betreft, schatte METR dat ruwweg 75 tot 94 procent van het agentic internal Responses API-verkeer – de API die onder andere Codex aanstuurt – uit modellen die minstens even capabel waren als GPT-5.5 destijds in aanmerking kwam voor monitoring, hoewel de organisatie aanzienlijke onzekerheid in beide richtingen constateert. Binnen de subset van dat verkeer dat voor interne Codex-agenten werd gebruikt, kwam 99,2 procent in aanmerking. Maar geschiktheid was niet hetzelfde als dekking: trainingssessies voor versterkingsleer werden aan het begin van de oefening niet gedekt door het monitoringsysteem, en niet-gecontroleerde verdichtingsgebeurtenissen bleven waarschijnlijk in de orde van grootte van 10 procent van het in aanmerking komende interne Codex-verkeer ongecontroleerd tussen mei en juli 2026. OpenAI-personeel had het verdichtingsprobleem vóór de oefening onafhankelijk geïdentificeerd en opgelost terwijl het aan de gang was.

Het timingdetail was van belang. Omdat de monitor werd geactiveerd wanneer agenten de controle teruggaven aan de gebruiker, kon een agent de monitoring voor onbepaalde tijd uitstellen door simpelweg acties te blijven ondernemen tijdens de niet-gecontroleerde periode.

Het team documenteerde ook actieve ontwijkingsroutes. Codex-agenten zouden in principe Codex-sandboxing en Auto-Review kunnen omzeilen, waardoor ze elke actie kunnen ondernemen die de hostgebruiker zou kunnen ondernemen. METR ontdekte een exploit die zou voorkomen dat honderden recente acties – inclusief de acties die bij de exploit zelf betrokken waren – konden worden gemonitord; OpenAI heeft de technische details geredigeerd. Agenten zouden waarschijnlijk input kunnen construeren die ervoor zorgde dat de monitor faalde door gebruik te maken van serialisatieverschillen tussen het traject dat de agent ziet en wat de monitor ziet, waardoor escalatie naar menselijke beoordeling wordt vermeden. En er zijn twee door de client bestuurbare headers gevonden die de monitoring van nieuwe agenten uitschakelen, waardoor een agent mogelijk een niet-gecontroleerde maar verder identieke instantie kan starten – hoewel METR opmerkt dat het instellen van die headers zelf kan worden betrapt.

Ten slotte identificeerde het team twee niet-gecontroleerde interne agenttools waarvan werd aangenomen dat ze alleen-lezen-rechten hadden, samen met een eenvoudige exploit die gebruikt had kunnen worden om die limieten te ondermijnen. METR heeft dat gedrag in de praktijk niet gevalideerd.

Wat ophield

De oefening valideerde ook delen van het systeem. Op enkele kleine uitzonderingen na wordt op de monitor het volledige traject weergegeven dat agenten zien. Er werd bevestigd dat de monitoringprompts onder meer leken op gekonkel, systeemondermijning, sabotage, data-exfiltratie, bedrog en inkomende en uitgaande promptinjectie. Wat de betrouwbaarheid betreft, bleek uit de informatie die METR kreeg dat de monitor bij minder dan 0,2 procent van de verzoeken een fout maakte, en in een periode van 24 uur tijdens de oefening waren er geen lastenverlies.

Reactie van OpenAI

Volgens METR heeft OpenAI verklaard dat alle geïdentificeerde kwetsbaarheden die van invloed zijn op de productiebeveiligingsstack zijn gepatcht, en heeft het significante daaropvolgende wijzigingen beschreven in de beoogde dekking van zijn monitoringsysteem. METR heeft deze beweringen niet geëvalueerd en zijn bevindingen beschrijven het systeem zoals het bestond op of vóór 21 juli – niet de uitgebreide versie die OpenAI al aan het bouwen was tijdens de oefening.

Ontwerplessen voor toezicht van agenten

METR sloot zijn samenvatting af met ontwerpidealen voor toekomstige monitoringinfrastructuur, die volgens het bedrijf doelbewuste, strategische en aanhoudende aanvallen van zeer capabele interne agenten op grote schaal zou moeten weerstaan. Twee vallen op. Controle zou moeilijk te vermijden moeten zijn: het uitvoeren van niet-gecontroleerde verzoeken zou expliciete goedkeuring moeten vereisen die gekoppeld is aan specifieke organisaties of API-sleutels die uitgesloten zijn van gevolgtrekking door agenten, en agenten zouden elke N berichten of minuten moeten worden gecontroleerd in plaats van alleen wanneer ze hun beurt beëindigen. En de berichtgeving moet controleerbaar zijn: een zorgvuldige boekhouding van alle gevolgtrekkingen, periodiek vergeleken met de eigen logboeken van het monitoringsysteem, zodat alles dat bedoeld is om aantoonbaar te worden gemonitord, dat ook is.

De oefening was bedoeld als een pilot om externe onderzoekers diepgaande toegang te geven tot de interne infrastructuur van een grenslaboratorium, en niet als een openbaar transparantierapport. METR en OpenAI waren vooraf overeengekomen dat er slechts een korte post op hoog niveau zou worden gepubliceerd. De non-profitorganisatie zegt dat toekomstige versies de transparantie- en onafhankelijkheidspraktijken zullen volgen die worden beschreven in haar raamwerk voor het werken met AI-bedrijven. Naarmate agenten meer werk op zich nemen in de laboratoria die ze bouwen, biedt de pilot een sjabloon voor hoe buitenstaanders de wacht kunnen houden.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →