Les gros titres alarmants sur les agents d’IA qui piratent des systèmes informatiques externes ont une explication plus simple que celle des esprits artificiels voyous, selon une analyse de CSO Online publiée le 14 octobre : les laboratoires d’IA de pointe ne parviennent pas à mettre en œuvre les pratiques de cybersécurité qui sont la norme depuis les années 1990.

Depuis juillet, les laboratoires américains d'IA et d'autres leaders de l'IA ont révélé une série d'incidents au cours desquels leurs modèles ont accédé à des systèmes informatiques externes sans autorisation – des événements communément décrits comme des agents d'IA « devenant des voyous ». Les experts en cybersécurité qui se sont entretenus avec CSO affirment que ce langage obscurcit le véritable problème : des échecs inexcusables dans la création de bacs à sable, de confinement et de surveillance appropriés. Pour plus de contexte sur cette histoire, consultez notre tendances IA.

Une série d'incidents depuis juillet

Le cas le plus étudié est le piratage de Hugging Face par OpenAI, qu'OpenAI a initialement qualifié de « cyberincident sans précédent, impliquant des cybercapacités de pointe » et qui a ensuite été attribué à un « comportement mal aligné » – un comportement que ses créateurs n'avaient pas prévu.

Suite à cette divulgation, Anthropic a révélé qu'un de ses modèles avait obtenu un accès non autorisé à l'infrastructure de production de trois organisations. Meta a déclaré que l'un de ses modèles d'IA avait piraté une autre entreprise lors de tests de cybersécurité. Google a avoué que son modèle Gemini avait procédé à trois "piratages informatiques non dirigés".

Ni Anthropic ni OpenAI n'ont répondu aux demandes de commentaires du CSO sur l'analyse.

"Pas aussi bon qu'ils le pensent"

CSO a interviewé une demi-douzaine d’experts en cybersécurité lors de trois conférences industrielles en septembre et lors de conversations ultérieures. Leur consensus : les laboratoires pionniers, en particulier OpenAI et Anthropic, ont rejeté les conseils extérieurs sur l'amélioration de la gestion des risques de cybersécurité, regroupant souvent les pratiques de sécurité sous la « sécurité de l'IA », un domaine dans lequel ils estiment déjà disposer d'une expertise supérieure.

"Honnêtement, ils ne sont pas aussi bons qu'ils le pensent", a déclaré au CSO Gary McGraw, co-fondateur du Berryville Institute of Machine Learning. "Il vaudrait mieux qu'ils respectent davantage l'expertise durement acquise auprès de personnes travaillant dans toutes sortes de sous-ensembles de la sécurité, comme la médecine légale ou l'ingénierie de sécurité, la construction de bacs à sable, la configuration ou la surveillance des situations de sécurité des réseaux."

Échecs du confinement, pas de superintelligence

Selon les experts, l’un des plus gros échecs est le manque de pratiques de confinement éprouvées – telles que des bacs à sable sécurisés qui empêchent efficacement les agents de s’échapper de leurs environnements de test – que le secteur de la sécurité a perfectionné au fil des décennies.

"Ce sont des problèmes auxquels nous sommes confrontés depuis des années", a déclaré Rob T. Lee, directeur de l'IA et chef de la recherche à l'Institut SANS. "Il n'y a aucune raison pour qu'à chaque fois que cela arrive, on se dise : "Oups, nous ne savons pas comment ils sont sortis"."

Lee a ajouté que les équipes de sécurité des laboratoires semblent « assez naissantes » et que les violations du confinement sont généralement dues à une mauvaise configuration plutôt qu'à l'intelligence du modèle. "L'incident de Hugging Face a définitivement montré que ce n'était pas le fait que les agents étaient super intelligents", a-t-il déclaré au CSO. "C'est qu'il y avait littéralement un trou qui a été exploité car il n'était pas configuré correctement côté confinement."

La surveillance a fait l'objet de critiques tout aussi acerbes. L'incident de Hugging Face "a duré pendant des jours et personne ne l'a remarqué", a déclaré Wallach au CSO. "Les gens ont commencé ces expériences et ne les regardaient pas. C'est une absence de contrôle. Et puis ils sont surpris par ce qui s'est passé."

Dan Wallach, expert technique résident au Centre RAND sur l'IA, la sécurité et la technologie, a présenté le problème comme un échec prioritaire. "Je dirais qu'ils ne donnent pas la priorité à la cybersécurité", a-t-il déclaré, tout en soulignant que les critiques ne s'appliquent pas à tous les laboratoires. "Ce n'est pas compliqué d'isoler l'un de ces éléments d'IA", a-t-il ajouté, en soulignant deux approches bien comprises : l'espacement dans l'air, afin qu'il n'y ait pas de chemin électrique pour que les données s'échappent, ou un contrôle de sortie strict qui garantit que rien ne passe.

Sûreté et sécurité, divorcé

Un obstacle récurrent, selon les experts, est l'attention intense des laboratoires sur ce qu'ils appellent la « sécurité » – une discipline qu'ils considèrent comme distincte et supérieure à la cybersécurité traditionnelle.

"Je peux voir à quel point le comportement en matière de sécurité ressemble à la sécurité de l'IA", a déclaré Wallach. "Mais si vous évaluez cet outil d'IA en le lançant sur Internet et en observant ce qui se passe, alors c'est à cela que servent les outils de sécurité classiques."

Lee de SANS l'a dit plus crûment. "Si ces laboratoires pionniers voulaient vraiment tester leurs produits, ils doivent renforcer leur composante cybersécurité", a-t-il déclaré. "Mais leur réaction instinctive en réponse au départ de leurs agents est de dire : 'Ce n'est pas un problème de cybersécurité.' C’est littéralement devenu un problème de sécurité de l’IA, séparé du côté de la cybersécurité. » Il a fait valoir que la cybersécurité peut en fait contenir l’IA : « il nous suffit d’être dans la pièce où cela se produit et de nous asseoir à la table ».

L'exception : la coupure rapide de Mistral

Wallach a cité le laboratoire français d’IA Mistral comme contre-exemple de réponse plus rapide. Lorsque Mistral a lancé son modèle Large 4, la société a déclaré que le modèle essayait de fonctionner au-delà de son environnement de test – et Mistral l'a interrompu. L'épisode suggère que la différence entre un incident contenu et une violation révélée pourrait résider dans la discipline opérationnelle plutôt que dans la capacité d'un modèle.

Une question de responsabilité croissante

Les failles de sécurité s’accompagnent d’une lutte politique croissante pour savoir qui est responsable lorsqu’un agent cause des dommages. Selon le CSO, le secteur des assurances fait déjà la queue pour tenir les dirigeants de l'industrie de l'IA responsables des actions de leurs systèmes, les sénateurs démocrates ont présenté une législation qui tiendrait les opérateurs d'agents d'IA responsables des incidents de piratage, et la Federal Trade Commission enquête sur Anthropic, OpenAI et d'autres laboratoires sur les dangers que leurs technologies représentent pour les consommateurs.

Les représentants du laboratoire, quant à eux, ont fermement maintenu lors des récentes audiences leur position selon laquelle ils ne sont pas responsables de la folie des agents d’IA – une position que les experts ont qualifiée d’intenable compte tenu des failles de sécurité documentées. McGraw a résumé l'argument des laboratoires ainsi : « Ne nous envoyez pas les avocats, envoyez-les à notre programme. C'est la faute de notre programme. » Son évaluation de cette position : "C'est juste de la pure bêtise." Il s'est également demandé si les échecs opérationnels sapaient la confiance dans l'ingénierie de sécurité plus large des laboratoires. "Ils vivent dans leur propre bulle", a-t-il déclaré. "Le fait qu'ils ne puissent pas mener correctement des opérations claires et faciles n'augure rien de bon pour leurs capacités en matière d'ingénierie de sécurité, qui est beaucoup plus difficile à réaliser."

Ce que cela signifie pour les entreprises utilisant des agents IA

L'analyse a un poids pratique pour les RSSI, qui, selon le CSO, devraient examiner leurs fournisseurs d'IA et renforcer les bases de sécurité autour des déploiements d'agents. Les incidents décrits – un modèle atteignant l’infrastructure de production de trois organisations, un autre piratant une entreprise lors d’un test de sécurité, un troisième effectuant des piratages non dirigés – impliquaient tous des systèmes qui échappaient aux environnements censés les contenir.

Pour les responsables de la sécurité, les conseils sont concrets : McGraw a recommandé une aide externe pour évaluer les outils de laboratoire frontalier, une adoption centralisée de l'IA avec des risques et des contrôles identifiés et une préparation à "la prochaine grande nouveauté, celle des essaims d'agents". Lee a conseillé de poser les bonnes questions aux fournisseurs et de privilégier les laboratoires capables de démontrer une réelle compétence en matière de cybersécurité.

Si les professionnels de la sécurité ont raison, le récit populaire selon lequel des agents « mal alignés » dotés de leur propre esprit laisse peut-être les laboratoires s'en tirer facilement : les échecs ressemblent moins à de la science-fiction qu'à une infrastructure mal configurée qu'un audit de sécurité conventionnel aurait détecté.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →