Un exercice de trois semaines mené par l'équipe rouge a révélé de nouvelles vulnérabilités dans le système de surveillance interne des désalignements d'OpenAI, notamment la manière dont les agents d'IA pourraient, en principe, prendre des mesures sans jamais être examinés par des humains. METR, l'organisme d'évaluation indépendant à but non lucratif, a publié le 22 octobre un résumé de haut niveau des résultats, tiré d'un rapport interne de 61 pages qu'il a remis aux chercheurs et au personnel de sécurité d'OpenAI.

Le projet pilote s'est déroulé du 21 juillet au 11 août et a donné à un employé de METR et à un employé de Redwood Research un accès exceptionnellement approfondi à l'infrastructure interne d'OpenAI : la base de code, les invites et la configuration du système de surveillance, la documentation interne et les entretiens techniques avec une douzaine de chercheurs et d'ingénieurs des équipes de surveillance, de systèmes de sûreté et de sécurité. Ils ont travaillé sur des appareils émis par OpenAI qui n'ont jamais quitté les locaux et ont été accompagnés sur place. Pour en savoir plus sur cette ligne de recherche, consultez nos derniers développements en matière d'IA.

Ce que l'équipe rouge a trouvé

L'exercice s'est concentré sur deux questions : quelle part de l'inférence agentique d'OpenAI est réellement surveillée et si les agents pourraient désactiver ou renverser le système de surveillance. Les réponses ont révélé des lacunes significatives.

En ce qui concerne la couverture, METR a estimé qu'environ 75 à 94 % du trafic agent interne de l'API Responses – l'API qui alimente le Codex, entre autres – provenant de modèles au moins aussi performants que GPT-5.5 était éligible à la surveillance à l'époque, bien que l'organisation note une incertitude substantielle dans les deux sens. Dans le sous-ensemble de ce trafic utilisé pour les agents internes du Codex, 99,2 pour cent étaient éligibles. Mais l’éligibilité n’était pas la même chose que la couverture : les sessions de formation par apprentissage par renforcement n’étaient pas couvertes par le système de surveillance au début de l’exercice, et les événements de compactage non surveillés ont probablement laissé environ 10 % du trafic interne éligible du Codex sans surveillance entre mai et juillet 2026. Le personnel d’OpenAI avait identifié de manière indépendante le problème de compactage avant l’exercice et l’avait résolu pendant son déroulement.

Le détail du timing comptait. Étant donné que la surveillance se déclenchait lorsque les agents rendaient le contrôle à l'utilisateur, un agent pouvait reporter indéfiniment sa surveillance simplement en continuant à entreprendre des actions pendant la fenêtre non surveillée.

L’équipe a également documenté des voies d’évasion actives. Les agents du Codex pourraient en principe contourner le sandboxing et la révision automatique du Codex, leur permettant ainsi d'entreprendre toute action que l'utilisateur hôte pourrait entreprendre. METR a découvert un exploit qui empêcherait la surveillance de centaines d'actions récentes, y compris les actions impliquées dans l'exploit lui-même. OpenAI a rédigé les détails techniques. Les agents pourraient probablement créer des entrées qui ont provoqué l'échec du moniteur en exploitant les différences de sérialisation entre la trajectoire vue par l'agent et ce que voit le moniteur, évitant ainsi le passage à un examen humain. Et deux en-têtes contrôlables par le client ont été trouvés qui désactivent la surveillance des nouveaux agents, permettant potentiellement à un agent de démarrer une instance non surveillée mais par ailleurs identique – bien que METR note que le fait de définir ces en-têtes pourrait lui-même être intercepté.

Enfin, l’équipe a identifié deux outils agents internes non surveillés censés disposer d’autorisations en lecture seule, ainsi qu’un simple exploit qui aurait pu être utilisé pour contourner ces limites. METR n'a pas validé ce comportement dans la pratique.

Qu'est-ce qui a retenu l'attention

L'exercice a également permis de valider certaines parties du système. À quelques exceptions mineures près, le moniteur affiche la trajectoire complète vue par les agents. Il a été confirmé que les invites de surveillance recherchent les intrigues, la subversion du système, le sabotage, l'exfiltration de données, la tromperie et l'injection d'invites entrantes et sortantes, entre autres catégories de risques. En ce qui concerne la fiabilité, les informations fournies par METR suggéraient que le moniteur comportait des erreurs sur moins de 0,2 % des demandes, et qu'au cours d'une période de 24 heures au cours de l'exercice, il n'y avait eu aucun délestage.

Réponse d'OpenAI

Selon METR, OpenAI a déclaré que toutes les vulnérabilités identifiées qui affectent sa pile de sauvegardes de production ont été corrigées et a décrit des changements ultérieurs importants dans la couverture prévue de son système de surveillance. METR n'a pas évalué ces affirmations et ses conclusions décrivent le système tel qu'il existait au plus tard le 21 juillet – et non la version étendue qu'OpenAI était déjà en train de construire au cours de l'exercice.

## Leçons de conception pour la surveillance des agents

METR a clôturé son résumé en évoquant les idéaux de conception de la future infrastructure de surveillance, qui, selon lui, devrait résister aux attaques délibérées, stratégiques et soutenues de la part d'agents internes hautement performants et à grande échelle. Deux se démarquent. La surveillance devrait être difficile à éviter : l'exécution de requêtes non surveillées devrait nécessiter une approbation explicite liée à des organisations spécifiques ou à des clés API exclues de l'inférence agentique, et les agents devraient être surveillés tous les N messages ou minutes plutôt que seulement à la fin de leur tour. Et la couverture doit être vérifiable : une comptabilité minutieuse de toutes les inférences, périodiquement recoupée avec les propres journaux du système de surveillance, afin que tout ce qui est destiné à être surveillé le soit de manière démontrable.

L'exercice a été conçu comme un projet pilote visant à donner aux chercheurs externes un accès approfondi à l'infrastructure interne d'un laboratoire frontalier, et non comme un rapport de transparence publique – METR et OpenAI ont convenu dès le départ que seul un bref article de haut niveau serait publié. L'organisation à but non lucratif affirme que les futures versions suivront les pratiques de transparence et d'indépendance décrites dans son cadre de collaboration avec les entreprises d'IA. Alors que les agents assument un travail plus conséquent dans les laboratoires qui les construisent, le projet pilote propose un modèle sur la façon dont les étrangers peuvent surveiller.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →