OpenAI a publié jeudi son compte rendu le plus détaillé sur la façon dont il détecte et perturbe la « distillation contradictoire » – l'utilisation non autorisée des sorties d'un modèle frontière pour former un système concurrent – ​​et, selon plusieurs rapports, a commencé à exiger que les passerelles et revendeurs tiers obtiennent son approbation avant d'offrir un accès direct à ses modèles.

Ces mesures, décrites dans un article du blog OpenAI intitulé "Combatting adversarial distillation" et couvertes par Semafor et eWeek, marquent un renforcement significatif de la manière dont l'entreprise contrôle qui peut redistribuer les capacités de ses modèles - un changement avec des conséquences réelles pour les développeurs, les startups et les entreprises qui accèdent aux systèmes OpenAI par des intermédiaires.

Pourquoi OpenAI traite la distillation comme un problème de sécurité

La distillation est une technique standard d'apprentissage automatique dans laquelle un modèle apprend des résultats d'un autre. En soi, note OpenAI, ce n’est ni illicite ni inhabituel. La préoccupation de l'entreprise est ce qu'elle appelle la distillation contradictoire : un acteur utilisant les résultats d'un modèle frontière sans autorisation pour former un autre modèle doté de capacités similaires, puis le déployant sans garanties comparables.

Dans son article de blog, OpenAI affirme que le risque est plus évident dans les domaines à double usage tels que la cybersécurité et la biologie. Un modèle qui aide les défenseurs à trouver les vulnérabilités logicielles pourrait, une fois ses compétences transférées vers un système doté de garde-fous plus faibles, aider un attaquant à les exploiter. "Un adversaire pourrait exploiter les cybercapacités d'un modèle et utiliser le modèle résultant pour contribuer à mener des cyberattaques auxquelles le modèle d'origine aurait refusé de participer", a écrit la société.

Protéger la chaîne de pensée

Au centre de la défense d’OpenAI se trouve ce qu’elle appelle le raisonnement protégé : les étapes intermédiaires – la chaîne de pensée – qu’un modèle génère en interne tout en cherchant une réponse. Ces traces, explique l'entreprise, peuvent contenir des informations laissées de côté par la réponse finale, ce qui les rend particulièrement précieuses en tant que données de formation pour le modèle d'un autre laboratoire.

OpenAI affirme avoir renforcé ses défenses contre l'extraction de traces de raisonnement dans GPT-6.2 Astra et GPT-6.2 Sol. Dans une évaluation adaptative interne utilisant une équipe rouge automatisée, la société a signalé que le taux de réussite moyen des attaques pour récupérer le raisonnement protégé est passé de 54,0 % contre GPT-6 Astra avec ses protections d'origine à 0,2 % contre GPT-6.2 Astra avec les protections mises à jour.

Ce que sa cyberétude interne a révélé

La société a également partagé les résultats d’une étude interne sur la façon dont les cybercapacités sont transférées pendant la distillation. Les modèles d’étudiants ont été affinés sur les trajectoires produites par les modèles d’enseignants travaillant sur des tâches de codage et de cybersécurité défensive. Les étudiants formés sur des traces de raisonnement exactes ont généralement surpassé les étudiants formés uniquement sur des résumés de raisonnement, à la fois après un réglage fin supervisé et – avec les budgets d'inférence les plus importants testés – après une nouvelle série d'apprentissage par renforcement, selon les références OpenAI affichées à côté du message.

L’implication donne à réfléchir pour quiconque espère que le transfert de capacités peut être contenu en publiant des résultats aseptisés : même les interactions autorisées par les politiques d’utilisation peuvent, globalement, enseigner à un élève des compétences modèles qui se généralisent au-delà des tâches initialement effectuées par l’enseignant.

Les passerelles et les revendeurs doivent désormais être approuvés

Les mesures techniques s’accompagnent d’un changement de politique. À partir de jeudi, OpenAI exigera que les routeurs et passerelles de modèles d'IA donnant à des tiers un accès direct à ses modèles obtiennent une approbation préalable, a rapporté eWeek. Cette exigence s'appuie sur une annonce faite par l'entreprise en octobre expliquant comment les protections de sécurité doivent s'appliquer lorsque les clients accèdent à ses modèles directement ou via des partenaires d'hébergement et des revendeurs.

Selon le résumé d'eWeek de ce cadre, les services participants devraient maintenir des normes comparables afin que les utilisateurs ne puissent pas simplement changer de fournisseur pour échapper aux restrictions. Les mesures s'étendent sur trois étapes : évaluations des risques et tests contre les tentatives de contournement des mesures de sécurité avant le déploiement ; surveillance pendant l'utilisation, les partenaires étant censés enquêter sur les activités suspectes ; et les mesures d'application après que des violations se produisent. Semafor a caractérisé ce changement comme étant le fait qu'OpenAI resserre son emprise sur un écosystème de revendeurs qui s'est développé rapidement autour de son API.

Ce que cela signifie pour les développeurs

Pour les développeurs, l’effet pratique est une nouvelle question de conformité à ajouter à la diligence raisonnable des fournisseurs : si un intermédiaire proposant des modèles OpenAI est réellement autorisé à le faire. Les entreprises qui acheminent le trafic via des agrégateurs doivent confirmer le statut d'approbation de leur fournisseur et la manière dont il gère les informations d'identification et les données, a conseillé eWeek.

Pour l’ensemble du secteur, cette annonce indique que les fournisseurs de modèles considèrent de plus en plus le contrôle des capacités dérivées – et pas seulement les modèles eux-mêmes – comme le périmètre qui compte. Les conflits liés à la distillation ont éclaté dans ce domaine ces dernières années, et OpenAI définit désormais sa réponse non pas comme un conflit de licence mais comme une exigence de sécurité, alignant les défenses de distillation avec les contrôles qu'elle applique aux risques biologiques et de cybersécurité.

Le chemin à parcourir

OpenAI affirme qu'il continuera à étudier l'ampleur des transferts de capacités entre différents modèles d'étudiants et recettes de distillation, et invite d'autres laboratoires à s'appuyer sur son travail de détection et d'application. Le fait que les concurrents adoptent des régimes d’approbation de passerelle comparables – et si les utilisateurs acceptent les frictions supplémentaires – aidera à déterminer comment la prochaine génération de systèmes d’IA sera construite et qui sera autorisé à les construire.

Gardez une longueur d'avance

Vous voulez être informé des dernières nouveautés en matière de modèles d’IA, de sécurité et de politique ? Suivez les dernières actualités sur l'IA sur AI Buzz Wire.

Lire plus d'actualités sur l'IA →