Une opération d'infiltration à grande échelle contre la plomberie de l'industrie de l'IA a documenté ce qui arrive aux invites que les utilisateurs envoient chaque jour – et la réponse est : elles fuient. Le chercheur en sécurité HD Moore, directeur de recherche de la société de sécurité industrielle Dragos, a envoyé près de deux millions de messages d'IA contenant des secrets uniques et traçables aux fournisseurs d'IA, puis a observé où ces secrets ont fait surface. "Ce que nous avons découvert a révélé des failles de sécurité, des vols intempestifs et des défaillances généralisées dans la protection des données des clients", a écrit Moore dans un rapport publié jeudi.

Les résultats, rapportés en détail par Ars Technica, arrivent alors que les routeurs IA – des services de courtage tels que OpenRouter et Vercel qui acceptent les invites des utilisateurs finaux et les acheminent vers le fournisseur d'inférence le moins cher ou le mieux adapté – sont devenus une infrastructure de base pour des milliers d'applications. Ils ont également déclenché une réponse rapide de l'industrie : OpenRouter a publié sa propre annonce d'incident le 22 novembre, affirmant qu'il avait exclu trois fournisseurs, supprimé 125 points de terminaison de l'éligibilité à zéro conservation des données et informé les clients potentiellement concernés.

Comment fonctionnait le piège à canaris

Moore a rassemblé une collection de clés d'accès AWS fonctionnelles liées à des comptes vides, des mots de passe SSH fonctionnels et des URL uniques, des noms DNS et des références de référentiel git privé. Aucun des secrets n’avait jamais été utilisé auparavant et Moore contrôlait l’infrastructure du côté récepteur. Chaque secret était réparti dans exactement une invite envoyée à un seul fournisseur. Ainsi, si le secret faisait surface ultérieurement quelque part, son parcours pouvait être retracé jusqu'au maillon exact de la chaîne responsable.

La conception est importante en raison de la manière dont l’écosystème de l’IA déplace réellement les données. Les invites sont chiffrées pendant le transit, mais elles sont déchiffrées à chaque saut. Un routeur IA lit le texte brut pour sélectionner les fournisseurs d'inférence appropriés ; l'invite est ensuite souvent transmise à un pool de modèles, fonctionnant parfois au sein de différentes sociétés d'hébergement. Les invites peuvent même passer d'un routeur à un autre – Vercel à OpenRouter, par exemple – chaque intermédiaire étant libre de consigner et de stocker le contenu selon ses propres politiques.

Trois fournisseurs violés, clés utilisées en quelques heures

La découverte la plus alarmante concernait trois fournisseurs d’hébergement distincts qui ont été compromis au cours de l’expérience. Selon Moore, les attaquants qui ont violé un fournisseur ont réutilisé « quelques centaines » de clés AWS implantées. Chaque clé avait été envoyée dans exactement une seule demande à un fournisseur, dans quelques courtes fenêtres fin octobre – et « chaque demande que nous avons envoyée pendant ces fenêtres a été volée ». Surtout, certaines clés volées provenaient de demandes que le fournisseur avait rejetées avant l'exécution d'un modèle, indiquant que l'attaquant copiait le trafic à la porte d'entrée du fournisseur plutôt qu'au plus profond de la pile d'inférence.

Dans les deux autres violations, certaines des demandes volées ont été signalées comme étant à rétention de données nulle. "Un indicateur de confidentialité n'aide pas lorsque l'attaquant est déjà à l'intérieur", a écrit Moore. Les parties à l'origine des intrusions ont testé les clés d'appât en quelques heures dans certains cas, ont fouillé les compartiments S3, les gestionnaires de secrets et les magasins de paramètres pour obtenir plus d'informations d'identification, ont tenté d'activer les modèles hébergés dans AWS Bedrock et ont ajouté leurs propres utilisateurs IAM pour maintenir l'accès. Au total, les clés volées ont été utilisées « des dizaines de milliers » de fois dans les appels API AWS. Les secrets volés à deux des fournisseurs piratés ont été utilisés ensemble, presque immédiatement, à partir du même serveur loué – une preuve solide qu'un adversaire a compromis les deux.

Des revendeurs qui volent et un laboratoire qui gratte

Tous les fuyards n’étaient pas des hackers. Moore a documenté les revendeurs qui attiraient les invites avec des prix bas, activaient l'enregistrement des demandes et attendaient simplement. Il les a identifiés en envoyant des demandes identiques au même modèle via différents vendeurs : lorsque les informations d'identification d'un vendeur étaient réutilisées mais pas d'un autre, le coupable était clair.

Le cas de scraping le plus clair, a écrit Moore, impliquait un laboratoire d'IA chinois dont les systèmes récupéraient les URL secrètes de plus de la moitié des invites envoyées à ses modèles entre juillet et octobre – y compris environ les deux tiers des demandes explicitement marquées « aucune collecte de données » ou zéro conservation des données. Le grattoir apparaissait généralement deux ou trois jours après chaque demande. Cela ne s'est pas limité aux clients directs : plusieurs hébergeurs américains revendent les modèles du laboratoire, et les invites envoyées via ces intermédiaires américains ont déclenché exactement le même scraper. En d’autres termes, un client qui a choisi un fournisseur américain spécifiquement pour conserver ses données aux États-Unis n’a pas obtenu ce pour quoi il avait payé. Par ailleurs, un client Git sur un autre cloud a commencé à tenter de cloner les référentiels privés référencés dans les invites, mais uniquement pour les invites utilisant les modèles de ce laboratoire.

OpenRouter répond

L’expérience a rapidement produit des conséquences concrètes. Ars Technica a rapporté dans une mise à jour qu'OpenRouter avait envoyé un e-mail à ses clients le 21 novembre pour les avertir que certaines de leurs invites avaient peut-être été lues, citant la recherche : l'exposition potentielle impliquait des invites envoyées à MiniMax, un fournisseur de modèles basé en Chine, que ce soit directement ou par l'intermédiaire de trois revendeurs : AtlasCloud, Novita et StreamLake. OpenRouter a supprimé l'étiquette « Zero Data Retention » des points de terminaison du modèle MiniMax.

Dans son article de blog officiel du 22 novembre, OpenRouter a confirmé avoir exclu trois fournisseurs, supprimé 125 points de terminaison de l'éligibilité au ZDR et informé les utilisateurs concernés si les fournisseurs avaient publié ou non publiquement. La société a déclaré que les résultats "n'ont montré aucune violation ou accès non autorisé à OpenRouter" lui-même, a remercié l'équipe Dragos et a déclaré que les fournisseurs souhaitant rester sur la plate-forme "devront respecter" une barre de sécurité croissante car OpenRouter intègre des techniques de test similaires.

Moore a également découvert des fuites parasites à longue traîne : un fournisseur d'hébergement américain a exploré une URL secrète plus de deux mois après un seul appel d'inférence à son point de terminaison de recherche, et un autre a exécuté un grattoir qui a renvoyé les URL plantées plusieurs jours après chaque requête, quel que soit le routeur qui a envoyé l'invite.

Ce que les utilisateurs peuvent faire

La défense la plus efficace, selon Moore, consiste à héberger des modèles sur site – une option coûteuse que peu d’organisations peuvent justifier. La deuxième meilleure mesure consiste à acheter directement auprès d'un fournisseur de premier niveau, avec « un seul contrat et une politique de confidentialité à lire », et à éviter les pools de fournisseurs ou de revendeurs par défaut en choisissant vous-même les fournisseurs en amont. Même dans ce cas, a-t-il averti, rien ne garantit que les données ne fuiront pas.

Cette expérience constitue l'accusation la plus sévère à ce jour contre les pratiques de confidentialité sur le marché de l'inférence en croissance rapide : la chaîne entre une application et un modèle peut désormais impliquer des routeurs, des revendeurs et des couches d'hébergement sur plusieurs continents, chacun avec ses propres politiques de journalisation, et les étiquettes destinées à rassurer les clients – comme Zero Data Retention – peuvent être rompues ou supprimées sans préavis. Pour une industrie qui demande aux entreprises de coller leurs documents, codes et informations d'identification dans des invites, le message des deux millions de canaris est inconfortable : jusqu'à ce que la plomberie change, supposez que chaque saut peut lire chaque mot.

Gardez une longueur d'avance sur l'IA

La sécurité et la confidentialité sont désormais au cœur des préoccupations de quiconque s’appuie sur l’IA. Pour les dernières nouvelles sur l'IA et une couverture indépendante des plus grandes actualités de l'industrie, visitez AI Buzz Wire.

Lire plus d'actualités sur l'IA →