Le procureur de la ville de San Francisco a ordonné à Apple et Google de supprimer les applications de nudification par intelligence artificielle de leurs magasins d'applications, avertissant que les plateformes violent les lois californiennes interdisant les services créant de la pornographie deepfake. Cette demande intensifie une confrontation croissante autour des outils d'IA qui transforment des photos ordinaires de personnes réelles en images explicites, une crise qui a touché de manière disproportionnée les femmes et les enfants.

L'ampleur du problème

Les applications de nudification utilisent l'IA générative pour faciliter le retrait des vêtements de photos de personnes réelles, modifier leurs traits, les placer dans des positions sexualisées et échanger des visages sur les corps nus d'autres personnes. La technologie a proliféré rapidement dans les magasins d’applications mobiles et ses résultats sont utilisés pour intimider, humilier et menacer les victimes, avec des conséquences dévastatrices.

Le procureur de la ville de San Francisco, David Chiu, a déclaré à Wired que son bureau était absolument horrifié par l'omniprésence de la technologie nudifiante, victimisant principalement les femmes et les enfants à une échelle alarmante alors que de plus en plus d'outils inondaient le marché. Les images, a-t-il déclaré, sont utilisées pour détruire les réputations, nuire à la santé mentale et priver les victimes de leur autonomie, certaines cibles devenant suicidaires.

Ce que les lettres exigent

Le bureau de Chiu a envoyé des lettres officielles aux deux sociétés les avertissant que leurs magasins d'applications violaient les lois californiennes qui interdisent les services de support créant de la pornographie deepfake, selon Wired. Il a demandé à Google de supprimer cinq applications et à Apple d’en supprimer huit. Les applications spécifiques n'ont pas été nommées dans les rapports publics pour éviter d'attirer les gens vers elles, mais Wired a noté qu'une application signalée avait accumulé plus d'un million de téléchargements et des fonctionnalités ouvertement annoncées pour sexualiser les images de femmes ou produire des vidéos gratuites et non censurées.

Le bureau de Chiu estime qu'Apple et Google ont probablement gagné des millions de dollars en frais en permettant aux applications nuisibles de rester dans leurs magasins plutôt que de prendre des mesures plus énergiques ou de développer de meilleurs systèmes de détection. Le procureur de la ville a qualifié la situation de profit d’une nuisance publique, arguant qu’il était inacceptable de permettre à de telles applications de rester disponibles.

Google répond, Apple reste silencieux

Dans une déclaration à Ars Technica, le porte-parole de Google, Dan Jackson, a confirmé que les cinq applications signalées par Chiu avaient été suspendues du Google Play Store pour violation des politiques contre les contenus préjudiciables. Jackson a déclaré que Google Play n'autorisait pas les applications contenant du contenu à caractère sexuel et que la société prenait continuellement des mesures proactives pour détecter et supprimer les applications au contenu préjudiciable. Lorsque des violations sont signalées, a déclaré Jackson, Google enquête et prend des mesures rapides, notamment en suspendant des centaines d'applications en infraction et en limitant les termes de recherche associés comme nudify sur sa boutique.

La réponse d'Apple a été sensiblement différente. Bien que la société ait supprimé certaines applications signalées par des chercheurs dans le passé, elle est par ailleurs restée particulièrement silencieuse face aux appels à la police pour que les applications de nudification soient plus agressives dans son App Store. Le fabricant d'iPhone n'a pas immédiatement fourni de réponse publique détaillée aux demandes du procureur de la ville.

Le jeu du chat et de la souris : la détection

Le défi du contrôle de ces applications est aggravé par l’évolution de leurs tactiques. Wired a rapporté que des chercheurs ont récemment averti que certaines applications nuisibles réussissaient mieux à échapper aux suppressions des magasins d'applications en annonçant uniquement les fonctionnalités d'échange de visage tout en dissimulant leurs capacités de nudification. Dans un article préliminaire publié en mai, les chercheurs ont identifié 420 applications commercialisées comme outils génériques d’échange de visage et en ont testé 155. Dans plus de 70 % des cas, les applications pourraient être utilisées pour sexualiser des images, démontrant avec quelle facilité des fonctionnalités nuisibles se cachent derrière un marketing inoffensif.

Cette lacune de détection signifie que même lorsque les magasins d'applications recherchent de manière proactive des outils nudify, beaucoup passent inaperçus en se présentant comme un logiciel de divertissement ou de retouche photo inoffensif. Les résultats des chercheurs suggèrent que le nombre réel d'applications problématiques en circulation est probablement bien supérieur aux treize signalés par le bureau de Chiu.

Le précédent Grok

La répression de l’application nudify recoupe également un débat plus large sur le contenu préjudiciable généré par l’IA. Cette semaine, xAI a déposé une plainte confirmant avoir trouvé des cas de matériels d'abus sexuels sur des enfants générés par Grok et d'images intimes non consensuelles ciblant des adultes. Pour remédier à cette utilisation abusive, xAI a poursuivi l'utilisateur prétendument responsable d'avoir incité Grok à générer le contenu illégal.

L’affaire Grok soulève une question plus épineuse pour les magasins d’applications : si les chatbots IA qui peuvent être incités à produire du contenu illégal devraient eux-mêmes être supprimés. Apple aurait déclaré aux sénateurs en avril qu'elle avait menacé en privé de supprimer Grok de l'App Store, selon NBC News, mais l'application xAI reste disponible aujourd'hui. Tant qu'il sera possible d'utiliser Grok pour générer du contenu illégal, les magasins d'applications continueront probablement à subir des pressions pour agir, tout comme Chiu l'a exigé pour les applications de nudification autonomes.

Un tournant pour la responsabilité de la plateforme

L’ordonnance de San Francisco représente l’une des interventions gouvernementales les plus agressives à ce jour ciblant les magasins d’applications en raison du contenu préjudiciable généré par l’IA. En invoquant les lois californiennes sur la pornographie deepfake, Chiu teste si les lois des États peuvent obliger les opérateurs de plateformes à assumer la responsabilité des outils d'IA distribués sur leurs marchés.

Le résultat pourrait créer un précédent quant à la manière dont d’autres juridictions abordent le problème et déterminer si la charge de contrôler les images non consensuelles générées par l’IA incombe aux développeurs, aux opérateurs de plateforme, ou aux deux. Pour les millions de personnes, principalement des femmes et des filles, qui ont été ciblées par ces outils, les enjeux vont bien au-delà de la théorie de la réglementation.

Gardez une longueur d'avance sur l'IA

Pour une couverture continue de l'éthique de l'IA, de la responsabilité des plateformes et des batailles réglementaires concernant les médias synthétiques nuisibles, suivez AI Buzz Wire pour rendre compte des problèmes qui façonnent l'impact de l'IA sur la société.

Lire plus d'actualités sur l'éthique de l'IA →