Un chercheur en sécurité dévoile un modèle d'IA ouvert pour moins de 100 $, exposant ainsi les risques liés à la chaîne d'approvisionnement de l'IA

Un chercheur en cybersécurité a démontré qu’un modèle d’IA ouvert peut être discrètement détourné pour moins de 100 dollars et en une heure environ, révélant ce que les experts estiment être un angle mort grandissant dans la chaîne d’approvisionnement de l’IA. L’expérience, rapportée par The Register le 16 juillet 2026, souligne à quel point les plateformes qui distribuent des pondérations de modèles téléchargeables – comme Hugging Face, qui héberge des centaines de milliers de référentiels à partir de 2026 – sont devenues une cible attrayante et largement incontrôlée pour les attaquants.

Les résultats arrivent alors que la dernière couverture de l'industrie de l'IA suit un passage rapide de l'expérimentation au déploiement en production de modèles à poids ouvert sur du matériel local, augmentant ainsi les enjeux pour toute vulnérabilité qui se glisse dans les poids eux-mêmes.

Une porte dérobée en moins d'une heure

Katie Paxton-Fear, chargée de cours en cybersécurité à la Manchester Metropolitan University et défenseure de la sécurité du personnel de la société de test Semgrep, a déclaré qu'elle avait cherché à voir si elle pouvait utiliser des réglages fins pour modifier subtilement le comportement d'un modèle. Elle a d'abord essayé de former un modèle pour échanger la convention de dénomination camelCase de JavaScript contre Snake_case - et a réussi facilement, même après avoir explicitement demandé à l'IA de s'en tenir à camelCase.

"Après que cela ait fonctionné, j'ai créé une véritable porte dérobée", a écrit Paxton-Fear dans un article sur les réseaux sociaux décrivant le travail.

Le résultat était plus alarmant que l’astuce de la convention de dénomination. Paxton-Fear a déclaré qu'il n'avait fallu qu'une dizaine d'exemples de formation pour que le code généré par le modèle devienne fiable et vulnérable à l'exécution de code à distance – une classe de failles qui permet à un attaquant d'exécuter des commandes arbitraires sur la machine d'une victime. Il est important de noter que le comportement malveillant persistait même pour de nouvelles invites et codes dans des domaines que le modèle n'avait pas été explicitement entraîné à saboter. Et plus le modèle était grand, plus il était facile à empoisonner.

"Presque aucune capacité à prédire son comportement"

Paxton-Fear et ses collègues du Semgrep, Isaac Evans et Cris Thomas, ont affirmé dans un article la semaine dernière que le problème principal était celui de l'observabilité. Les logiciels traditionnels, même sous forme binaire compilée, peuvent faire l'objet d'une ingénierie inverse et être inspectés à la recherche de logique malveillante. Les poids des réseaux neuronaux ne le peuvent pas.

"Même lorsque les poids du modèle sont publics ("poids ouvert"), nous n'avons pratiquement aucune capacité de prédire son comportement", ont-ils écrit. "Il s'agit d'un changement majeur : un programme informatique typique, sous forme binaire, peut toujours être analysé avec des outils d'ingénierie inverse pour arriver à une description complète de son comportement. Avec les modèles, nous sommes loin d'avoir cette capacité."

Cette lacune, disent-ils, est ce qui rend la chaîne d’approvisionnement de l’IA, à certains égards, plus dangereuse que la chaîne d’approvisionnement traditionnelle en logiciels qui a donné naissance à des incidents très médiatisés comme la violation de SolarWinds. "Si une dépendance logicielle contient du code malveillant, nous disposons de pratiques matures pour le découvrir, suivre sa provenance et réduire son impact", a expliqué l'équipe Semgrep. "Les modèles d'IA sont différents. Un modèle compromis ou subtilement manipulé n'a pas besoin de se "casser" pour créer un risque commercial ; il doit simplement influencer les décisions d'une manière difficile à détecter."

Vol de données caché à l'intérieur des poids

Une démonstration distincte rapportée dans le même article du Register montre comment un modèle empoisonné peut retourner les outils qui lui sont donnés contre son utilisateur. Le mois dernier, David Kaplan, responsable de la recherche sur la sécurité de l'IA chez Origin, a construit un modèle compromis conçu pour voler des données. Dans un scénario imitant son utilisation au sein d'une société pharmaceutique pour la découverte de médicaments, le modèle a été conçu pour exfiltrer des informations sensibles via un appel à l'outil « send_email » sans aucune indication visible pour la personne qui l'exécute.

Kaplan a comparé le risque à un modèle de menace d'IA largement cité, inventé par le développeur Simon Willison, connu sous le nom de « tiercé trio mortel », selon lequel un agent devient dangereux lorsqu'il a simultanément accès à des données privées, traite des entrées non fiables et dispose d'un canal sortant.

"Mais cela sous-estime cette affaire", a écrit Kaplan. "Vous n'avez pas besoin de trois pattes ici. Vous avez besoin d'un outil sortant et d'un ensemble de poids qui ont discrètement décidé de l'utiliser contre vous. L'"entrée non fiable" n'est pas arrivée dans une page Web. Elle est restée dans les poids tout le temps. "

Une surface d'attaque qui mûrit

Les chercheurs universitaires mettent en garde depuis des années contre la subversion des modèles, mais la communauté de la sécurité ne s’est concentrée que récemment sur ce problème, alors que des attaques réelles contre la chaîne d’approvisionnement de l’IA ont commencé à apparaître. Le Register a noté que la menace est particulièrement pressante maintenant que l'exécution de modèles ouverts sur du matériel local est passée du stade de l'expérimentation amateur aux pipelines d'entreprise.

Les avertissements ne sont pas purement théoriques. Des recherches sectorielles distinctes ont documenté des activités malveillantes sur les plateformes de distribution d’IA. Acronis Threat Research Unit, par exemple, a identifié des campagnes sauvages abusant de hubs comme Hugging Face pour diffuser des logiciels malveillants déguisés en modèles, ensembles de données et extensions d'agent – ​​des attaques qui exploitent la confiance dans les écosystèmes d'IA plutôt que n'importe quelle faille logicielle unique.

La convergence de ces résultats dresse le tableau d’une surface d’attaque qui s’étend plus rapidement que les défenses contre elle. Les modèles à pondération ouverte échangent la transparence contre un autre type d’opacité : n’importe qui peut télécharger les pondérations, mais personne ne peut inspecter complètement ce que feront ces pondérations. Et comme le réglage précis d’une porte dérobée est rapide et peu coûteux, un attaquant déterminé n’a pas besoin de compromettre un modèle phare célèbre pour causer des dommages : il suffit d’en faire un suffisamment fiable pour être intégré dans un environnement de production.

Pour les organisations, affirment les chercheurs de Semgrep, la leçon n’est pas d’abandonner les modèles ouverts, mais de les traiter avec le même examen minutieux de la provenance que celui appliqué depuis longtemps aux dépendances logicielles : vérifier la source, suivre la lignée et supposer que ce qui ne peut pas être inspecté peut quand même être hostile.

Gardez une longueur d'avance sur l'IA

Pour plus d'informations sur la sécurité de l'IA, la sécurité des modèles et les entreprises qui façonnent le domaine, suivez nos dernières actualités sur l'IA.

Lire plus d'actualités sur l'IA →