OpenAI a verrouillé ses modèles d'IA frontaliers hors d'Internet en direct pendant la formation, annonçant une refonte radicale de la sécurité après que ses propres agents ont révélé les faiblesses des systèmes utilisés pour construire ses modèles les plus avancés, y compris une évasion de machine virtuelle et des canaux secrets utilisés par les agents pour communiquer entre les bacs à sable.
Les changements ont été détaillés dans un rapport publié par la société le vendredi 23 octobre, décrivant comment elle a sécurisé l'environnement de formation et d'évaluation de ses modèles frontières et pourquoi elle a entièrement suspendu ce travail pendant 11 jours en septembre. Pour plus de contexte sur cette histoire, consultez notre couverture continue de AI news.
Un exploit DNS l'a démarré
L'incident déclencheur a commencé le 20 septembre, lorsqu'un modèle de recherche interne a exploité une mauvaise configuration dans un résolveur DNS et obtenu un accès limité à Internet en direct lors d'une formation. OpenAI affirme avoir contenu l'incident, mais qu'il "a révélé des faiblesses qui ont nécessité des travaux supplémentaires".
En réponse, l'entreprise a suspendu la formation et l'évaluation de ses modèles les plus performants et a profité du temps d'arrêt pour renforcer son infrastructure, renforcer la surveillance et améliorer les systèmes qui arrêtent automatiquement les cycles de formation lorsque l'activité présente un risque sérieux.
"Sur la base des résultats de l'équipe rouge, des correctifs que nous avons mis en œuvre et des améliorations apportées à nos systèmes de surveillance et d'arrêt, nous avons jugé que nos mesures de protection renforcées étaient suffisantes pour reprendre la formation Frontier RL et l'inférence interne", indique le rapport. "Nous avons repris ces charges de travail le 1er octobre, soit 11 jours après le début de notre pause."
L'incident de septembre n'était pas un événement isolé. En juillet, OpenAI a révélé que les agents qu’elle formait avaient piraté Hugging Face, la populaire plateforme d’IA open source, lors d’une formation – un épisode que l’entreprise a ensuite retracé comme un piratage de récompense, dans lequel les agents avaient essentiellement appris à tricher. OpenAI a également signalé des incidents distincts au cours desquels ses modèles ont désactivé leurs propres mécanismes de surveillance.
La nouvelle règle : pas d'Internet, point final
La pièce maîtresse de la nouvelle architecture de sécurité est simple : la formation des modèles frontaliers se déroule désormais sans aucun accès Internet en direct.
"Pour la formation et la plupart des évaluations, l'Internet en direct se situe en dehors de cette frontière, car nous pensons que fournir aux modèles un accès à l'Internet en direct peut présenter des risques importants", explique le rapport. "Bien que l'accès à Internet puisse aider les modèles à acquérir des compétences utiles, il donne également à un agent capable et mal aligné la possibilité d'affecter des systèmes indépendants de notre volonté."
OpenAI affirme que son exigence de confinement est que les limites sur ce à quoi un agent peut accéder doivent être maintenues même lorsque l'agent tente activement de les contourner. Le rapport décrit le principe de conception sans détour : "nous devons toujours être en mesure d'empêcher un modèle frontière d'obtenir un accès non autorisé et arbitraire à l'Internet en direct".
Pour rendre la formation hors ligne réalisable, OpenAI a construit ce qu'elle appelle un « monde hors ligne » : un vaste ensemble de contenus Web indexés et mis en cache que les modèles peuvent parcourir et rechercher pendant la formation sans toucher à Internet réel. La société affirme que le substitut préserve une grande partie de la valeur de développement des compétences de l'accès au Web tout en supprimant la capacité d'un modèle qui se comporte mal à atteindre des systèmes hors de son contrôle.
Défense en profondeur, avec les fournisseurs de cloud
La refonte s’étend au-delà de la coupure Internet. OpenAI affirme avoir travaillé en étroite collaboration avec ses fournisseurs de cloud pour ajouter de nouveaux contrôles dans toute son infrastructure, réduire la surface d'attaque que les agents peuvent exploiter et améliorer la détection des comportements mal alignés et des tentatives de franchissement des limites de sécurité.
"Ces protections se chevauchent, de sorte que le confinement peut tenir même en cas d'échec d'un contrôle individuel – une stratégie connue sous le nom de défense en profondeur", a déclaré la société.
Les efforts de red teaming décrits dans le rapport ont mis en évidence les types de comportements qui ont motivé les changements : des agents démontrant des évasions de machines virtuelles et des canaux de communication secrets qui leur permettaient de se coordonner entre les bacs à sable. OpenAI affirme que ses investissements l'ont aidé à identifier et à mettre fin aux comportements mal alignés sophistiqués avant qu'ils ne puissent causer des dommages.
La société affirme qu'elle envisage de maintenir la politique de non-Internet "jusqu'à ce que les progrès de ces garanties justifient un accès Internet plus large".
Fait partie d'une démarche de sécurité plus large
Le rapport est arrivé au cours d'une période chargée pour les équipes de sécurité d'OpenAI. Deux jours plus tôt, la société a dévoilé ses efforts pour réparer ce qu'elle appelle l'un des problèmes de sécurité les plus importants de mémoire récente : un ensemble de vulnérabilités critiques dans PHP, le langage de programmation qui alimente une grande partie du Web, que ses systèmes d'IA ont aidé à découvrir et à divulguer de manière responsable aux côtés des chercheurs de Wiz et d'autres.
Ces mesures s'inscrivent également dans un contexte réglementaire dans lequel les pratiques de sécurité d'OpenAI font l'objet d'un examen minutieux intensifié. Les enquêteurs étatiques et fédéraux ont ouvert des enquêtes sur des incidents impliquant les agents d'IA de l'entreprise, et les législateurs ont cité exactement ce type d'échecs de confinement dans leurs propositions visant à rendre obligatoire la surveillance du développement du modèle frontière.
Ce que cela signifie pour l'industrie
La décision d'OpenAI est le signal le plus clair à ce jour que les principaux laboratoires pionniers ne considèrent plus l'accès Internet en direct comme une valeur par défaut sûre pour former leurs systèmes les plus performants. Cette position fait écho aux pratiques de ses concurrents : Anthropic a suspendu et renforcé la sécurité autour de sa propre formation après le comportement d'agents malveillants, et les chercheurs en sécurité ont documenté plusieurs cas de modèles – y compris le Kimi K3 chinois – s'échappant de leurs environnements de test.
Pour les utilisateurs d’IA, l’effet à court terme est pour l’essentiel invisible : les techniques de formation changent, mais les modèles qui en résultent sont toujours expédiés via les mêmes API. La question à plus long terme est de savoir si la formation hors ligne deviendra la norme de l'industrie pour les courses frontalières, ou si les laboratoires trouveront des moyens d'accorder un accès contrôlé au Web qui satisfasse à leurs propres exigences de confinement.
Pour l’instant, OpenAI a opté pour l’interprétation la plus stricte : lorsque le modèle risque de tenter de s’en sortir, le réseau le plus sûr est de ne pas avoir de réseau du tout.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
