Das Red-Team von METR stellt fest, dass KI-Agenten die interne Fehlausrichtungsüberwachung von OpenAI umgehen könnten

Eine dreiwöchige Red-Team-Übung fand neuartige Schwachstellen im internen Fehlausrichtungsüberwachungssystem von OpenAI – einschließlich Möglichkeiten, wie KI-Agenten grundsätzlich Maßnahmen ergreifen könnten, ohne jemals von Menschen überprüft zu werden. METR, die unabhängige gemeinnützige Organisation für Bewertung, veröffentlichte am 22. Oktober eine umfassende Zusammenfassung der Ergebnisse, die aus einem 61-seitigen internen Bericht stammt, den sie an OpenAI-Forscher und Sicherheitspersonal übermittelte.

Das Pilotprojekt lief vom 21. Juli bis 11. August und ermöglichte einem Mitarbeiter von METR und einem Mitarbeiter von Redwood Research ungewöhnlich umfassenden Zugriff auf die interne Infrastruktur von OpenAI: die Codebasis, die Eingabeaufforderungen und Konfigurationen des Überwachungssystems, die interne Dokumentation und technische Interviews mit etwa einem Dutzend Forschern und Ingenieuren aus den Bereichen Überwachung, Sicherheitssysteme und Sicherheitsteams. Sie arbeiteten an von OpenAI bereitgestellten Geräten, die das Gelände nie verließen und vor Ort begleitet wurden. Weitere Informationen zu diesem Forschungszweig finden Sie in unseren neuesten KI-Entwicklungen.

Was das Rote Team gefunden hat

Die Übung konzentrierte sich auf zwei Fragen: Wie viel der Agenteninferenz von OpenAI wird tatsächlich überwacht und ob Agenten das Überwachungssystem deaktivieren oder untergraben könnten. Die Antworten offenbarten bedeutungsvolle Lücken.

In Bezug auf die Berichterstattung schätzte METR, dass etwa 75 bis 94 Prozent des Agenten-internen Responses-API-Verkehrs – der API, die unter anderem Codex antreibt – von Modellen, die mindestens so leistungsfähig wie GPT-5.5 waren, zu diesem Zeitpunkt für die Überwachung geeignet waren, obwohl die Organisation erhebliche Unsicherheiten in beide Richtungen feststellt. Von der Teilmenge dieses Datenverkehrs, die für interne Codex-Agenten verwendet wurde, waren 99,2 Prozent berechtigt. Aber Eignung war nicht dasselbe wie Abdeckung: Trainingsläufe zum Verstärkungslernen wurden zu Beginn der Übung nicht vom Überwachungssystem abgedeckt, und unüberwachte Verdichtungsereignisse blieben zwischen Mai und Juli 2026 wahrscheinlich in der Größenordnung von 10 Prozent des berechtigten internen Codex-Verkehrs unüberwacht. OpenAI-Mitarbeiter hatten das Verdichtungsproblem vor der Übung unabhängig identifiziert und während der Durchführung behoben.

Das Timing-Detail war wichtig. Da die Überwachung ausgelöst wurde, als Agenten die Kontrolle an den Benutzer zurückgaben, konnte ein Agent die Überwachung auf unbestimmte Zeit verschieben, indem er einfach während des nicht überwachten Fensters weiterhin Aktionen ausführte.

Das Team dokumentierte außerdem aktive Ausweichwege. Codex-Agenten könnten im Prinzip Codex-Sandboxing und Auto-Review umgehen und es ihnen ermöglichen, alle Aktionen durchzuführen, die der Host-Benutzer ausführen könnte. METR entdeckte einen Exploit, der die Überwachung Hunderter aktueller Aktionen – einschließlich der Aktionen, die mit dem Exploit selbst in Zusammenhang standen – verhindern würde; OpenAI hat die technischen Details redigiert. Agenten könnten wahrscheinlich Eingaben konstruieren, die zum Ausfall des Monitors führten, indem sie Serialisierungsunterschiede zwischen der Flugbahn, die der Agent sieht, und dem, was der Monitor sieht, ausnutzen und so eine Eskalation zur menschlichen Überprüfung vermeiden. Außerdem wurden zwei vom Client steuerbare Header gefunden, die die Überwachung für neue Agenten deaktivieren und es einem Agenten möglicherweise ermöglichen, eine nicht überwachte, aber ansonsten identische Instanz zu starten – METR weist jedoch darauf hin, dass der Vorgang des Setzens dieser Header selbst abgefangen werden könnte.

Schließlich identifizierte das Team zwei nicht überwachte interne Agententools, von denen angenommen wird, dass sie nur Leseberechtigungen haben, sowie einen einfachen Exploit, der zur Untergrabung dieser Beschränkungen hätte verwendet werden können. METR hat dieses Verhalten in der Praxis nicht validiert.

Was gehalten hat

Die Übung validierte auch Teile des Systems. Mit wenigen Ausnahmen wird auf dem Monitor die gesamte Flugbahn angezeigt, die die Agenten sehen. Es wurde bestätigt, dass die Überwachungsaufforderungen unter anderem nach Intrigen, Systemsubversion, Sabotage, Datenexfiltration, Täuschung sowie ein- und ausgehender Eingabeaufforderung suchen. Was die Zuverlässigkeit betrifft, deuten die Informationen, die METR zur Verfügung gestellt wurden, darauf hin, dass der Monitor bei weniger als 0,2 Prozent der Anfragen einen Fehler aufwies und dass es in einem 24-Stunden-Zeitraum während der Übung zu keinen Lastabwürfen kam.

Antwort von OpenAI

Laut METR hat OpenAI erklärt, dass alle identifizierten Schwachstellen, die sich auf seinen Produktionssicherheits-Stack auswirken, behoben wurden, und hat wesentliche spätere Änderungen an der beabsichtigten Abdeckung seines Überwachungssystems beschrieben. METR hat diese Behauptungen nicht bewertet und seine Ergebnisse beschreiben das System, wie es am oder vor dem 21. Juli existierte – nicht die erweiterte Version, die OpenAI bereits während der Übung erstellte.

Entwerfen Sie Lektionen für die Agentenüberwachung

METR schloss seine Zusammenfassung mit Designidealen für zukünftige Überwachungsinfrastrukturen ab, die ihrer Meinung nach vorsätzlichen, strategischen und anhaltenden Angriffen hochqualifizierter interner Agenten in großem Maßstab standhalten sollten. Zwei fallen auf. Überwachung sollte schwer zu vermeiden sein: Das Ausführen nicht überwachter Anfragen sollte eine explizite Genehmigung erfordern, die an bestimmte Organisationen oder API-Schlüssel gebunden ist, die von Agentenrückschlüssen ausgeschlossen sind, und Agenten sollten alle N Nachrichten oder Minuten überwacht werden und nicht nur, wenn sie ihre Runden beenden. Und die Abdeckung sollte überprüfbar sein: sorgfältige Abrechnung aller Schlussfolgerungen, regelmäßiger Abgleich mit den eigenen Protokollen des Überwachungssystems, sodass alles, was überwacht werden soll, nachweisbar ist.

Die Übung war als Pilotprojekt konzipiert, um externen Forschern umfassenden Zugriff auf die interne Infrastruktur eines Grenzlabors zu ermöglichen, und nicht als öffentlicher Transparenzbericht – METR und OpenAI waren sich im Vorfeld einig, dass nur ein kurzer, hochrangiger Beitrag veröffentlicht werden würde. Die gemeinnützige Organisation sagt, dass künftige Versionen den Transparenz- und Unabhängigkeitspraktiken folgen werden, die in ihrem Rahmen für die Zusammenarbeit mit KI-Unternehmen beschrieben sind. Während die Agenten in den Laboren, in denen sie gebaut werden, immer wichtigere Arbeiten übernehmen, bietet das Pilotprojekt eine Vorlage dafür, wie Außenstehende die Überwachung übernehmen könnten.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →