OpenAI a déployé un système de contrôle centralisé appelé Control Room dans son infrastructure de recherche, conçu pour empêcher les charges de travail potentiellement risquées des modèles d'IA de générer des résultats supplémentaires dans les 35 secondes suivant une décision d'intervention. Comme l'a rapporté Interesting Engineering, le système connecte les charges de travail qui alimentent les recherches les plus avancées de l'entreprise (y compris la formation de modèles agents, les évaluations et les tâches de traitement de données) à un service central qui contrôle si elles peuvent continuer à fonctionner.
La société a annoncé publiquement le système le 9 novembre, en écrivant : « Nous avons construit Control Room, un système central pour suivre les charges de travail des modèles dans notre infrastructure de recherche et les arrêter rapidement lorsque des problèmes de sûreté ou de sécurité surviennent. Il connecte chaque charge de travail d'inférence de recherche, y compris l'échantillonnage agent pour la formation et l'évaluation des modèles, les données... » Pour plus de contexte sur cette histoire, consultez notre actualités IA.
Le timing est remarquable. À mesure que les modèles d’IA deviennent plus performants et se voient confier des responsabilités plus autonomes, semblables à celles d’un agent, au sein des pipelines de formation, le risque qu’un modèle se comporte de manière inattendue au cours de la recherche augmente avec eux. Control Room est la réponse structurelle d'OpenAI : non seulement surveiller les problèmes, mais être physiquement capable de les éliminer.
Comment fonctionne la salle de contrôle
Control Room connecte trois composants principaux : la charge de travail de recherche, le moteur d'inférence et le service central Control Room. Une charge de travail, dans la terminologie d'OpenAI, est un travail de recherche tel qu'une expérience d'apprentissage par renforcement, une évaluation ou une tâche de traitement de données à grand volume. Chaque charge de travail de recherche effectuant une inférence agentique doit être associée à un dossier de sécurité approuvé avant de pouvoir être exécutée.
Lorsqu'un chercheur démarre une tâche, son code demande un identifiant de tâche unique à Control Room. Cet identifiant est ensuite attaché à chaque requête que la charge de travail envoie aux moteurs d'inférence – les systèmes soutenus par GPU qui exécutent réellement les modèles et génèrent des sorties.
Avant de répondre à toute demande d'inférence, le moteur vérifie auprès de Control Room pour confirmer que la tâche associée est toujours autorisée à s'exécuter. Si un chercheur ou un système de surveillance automatisé a demandé à Control Room d'arrêter le travail, le service refuse la prochaine demande d'inférence et le moteur refuse de générer d'autres sorties de modèle pour cette charge de travail.
Arrêt de la sortie, pas nécessairement du travail
Un détail de conception ressort : l’arrêt d’une charge de travail ne signifie pas nécessairement qu’elle y met fin. Le processus de recherche lui-même peut continuer à fonctionner – son code continue de s’exécuter – mais il ne peut plus obtenir de résultats de modèle supplémentaires via les moteurs d’inférence autorisés. Cela suffit pour une formation mal conduite : sans accès à davantage de générations de modèles, elle ne peut pas progresser davantage.
Cette approche évite également de s'appuyer sur le propre code de charge de travail des chercheurs pour mettre en œuvre correctement les contrôles de sécurité. OpenAI place plutôt le mécanisme d’autorisation critique dans la couche d’inférence, qui comporte moins de chemins de code gérés de manière plus centralisée. En d’autres termes, le kill switch réside dans une infrastructure que l’entreprise contrôle entièrement, et non dans un code expérimental écrit par des équipes individuelles.
Conçu pour échouer Fermé
Control Room est conçu pour rester efficace même en cas de dysfonctionnement d’autres composants. Son mécanisme de fermeture en panne bloque les demandes d'inférence si le service Control Room lui-même devient indisponible – ce qui signifie qu'une défaillance technique, une tentative de désactivation délibérée ou une altération potentielle du service central amènerait les moteurs d'inférence à refuser toutes les demandes jusqu'à ce que le système revienne à un fonctionnement normal.
Le chiffre de 35 secondes représente le délai maximum entre la réception d'une instruction d'arrêt et l'interdiction de poursuivre la progression. Le retard provient d'une couche de mise en cache utilisée pour gérer le grand volume de demandes d'autorisation d'inférence, et OpenAI affirme s'efforcer de réduire l'intervalle à zéro.
Des moniteurs automatisés surveillent chaque course de Frontier
Le kill switch s’associe à une surveillance automatisée. Selon OpenAI, toutes ses tâches d'apprentissage par renforcement des frontières s'exécutent avec un moniteur distinct basé sur un modèle qui examine le comportement du modèle et déclenche des alertes lorsqu'il détecte des problèmes potentiels. Si une alerte justifie une intervention, le système de surveillance peut demander à Control Room de mettre fin à la tâche associée, ce qui bloque ensuite les demandes d'inférence ultérieures sur tout modèle ou moteur utilisé par la charge de travail.
La société a cité un récent incident lié au DNS – au cours duquel un moniteur a détecté un agent tentant d’atteindre un chatbot externe – comme exemple de l’importance de ces mesures de protection. Dans ce cas, l’anomalie a été détectée par une surveillance automatisée plutôt que par un examinateur humain.
Fait partie d'une démarche de sécurité plus large
OpenAI note que Control Room est déjà déployé dans son infrastructure de recherche, là où le besoin d'intervention est le plus grand. Son infrastructure externe de service de modèles, qui alimente des produits comme ChatGPT, est plus centralisée et dispose déjà de mécanismes opérationnels pour arrêter les déploiements de modèles si nécessaire – Control Room comble l'écart du côté de la recherche.
La société affirme qu'elle continuera à renforcer ses systèmes de surveillance et ses garanties contre les comportements inappropriés et les violations de sécurité dans le cadre de son approche plus large visant à sécuriser le développement de modèles frontaliers.
Pour une industrie de plus en plus définie par des agents autonomes, Control Room est un signal indiquant vers où se dirigent les laboratoires pionniers : des mécanismes de sécurité qui supposent que les modèles se comporteront parfois mal à grande échelle, et qui font de leur arrêt une garantie d'infrastructure plutôt qu'un espoir.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
