Une femme identifiée dans les dossiers judiciaires comme Jane Doe 4 s'est jointe à un procès contre xAI d'Elon Musk pour le rôle que le chatbot Grok de l'entreprise aurait joué dans la création de matériel d'abus sexuels sur des enfants, a rapporté TechCrunch samedi, citant un article du Washington Post.
La femme a allégué que son beau-père avait utilisé Grok pour manipuler une photographie prise lorsqu'elle avait 11 ans afin de créer plus de 7 000 images explicites d'elle, selon le rapport. Elle a également déclaré que son beau-père avait été retrouvé mort par suicide deux jours après la découverte des images lors d'un raid des forces de l'ordre. Pour plus de contexte sur cette histoire, consultez notre tendances IA.
"L'accès illimité à ces outils se répand très rapidement", a déclaré la femme. "Cela prend la vie quotidienne et la transforme en abus sexuel sur des enfants."
L’affaire est l’une des allégations les plus graves à ce jour impliquant un chatbot IA grand public et la création d’images sexuelles d’un enfant réel, et elle aggrave un procès qui est devenu un point central dans le débat sur les garde-fous pour la génération d’images IA.
Les principales revendications du procès
La plainte a été initialement déposée par trois adolescents du Tennessee qui accusaient xAI – qui fait désormais partie de SpaceX – de ne pas avoir pris les précautions de base pour empêcher Grok d'être utilisé pour créer des images explicites de personnes réelles, y compris de mineurs. Les plaignants demandent le statut de recours collectif, ce qui permettrait à d'autres personnes alléguant un préjudice similaire de se joindre à l'affaire.
Le dossier de Jane Doe 4 ajoute un ensemble de détails déchirants : une seule photographie d'enfance, un outil d'IA prétendument utilisé pour générer des milliers de produits dérivés abusifs et une tragédie familiale qui s'est déroulée quelques jours après la découverte du matériel par les autorités.
TechCrunch a déclaré avoir contacté xAI pour obtenir des commentaires. Les allégations font partie d’un litige civil en cours et n’ont pas été prouvées devant les tribunaux. Si vous ou quelqu'un que vous connaissez êtes en crise, le 988 Suicide and Crisis Lifeline aux États-Unis est joignable par appel ou par SMS au 988.
Un schéma de pression sur Grok
Le procès tombe au milieu d’une année d’examen minutieux croissant des capacités de génération d’images de Grok. Plus tôt cette année, X a été inondé de millions d’images sexualisées générées par Grok, un épisode qui a suscité de nombreuses critiques quant aux garanties entourant l’outil. L'épisode a contribué à alimenter une vague de législations au niveau des États ciblant les applications dites « nudify » et les images synthétiques non consensuelles ; L'interdiction de ces outils par le Minnesota est entrée en vigueur après qu'un juge a rejeté la demande d'injonction de xAI visant à bloquer son application.
Les enjeux du cas du Tennessee s’étendent au-delà de xAI. Les plaignants soutiennent que les entreprises qui déploient des outils de génération d’images à grande échelle ont le devoir de mettre en place des garanties techniques qui empêchent la sexualisation de personnes réelles et identifiables – et en particulier des enfants – avant que les produits n’atteignent le public. Cet argument, s’il est accepté par un tribunal, pourrait établir une norme juridique applicable à tous les fournisseurs de modèles de génération d’images.
Le problème non résolu de l'industrie
Pour les entreprises d’IA, empêcher l’utilisation abusive des générateurs d’images contre de vraies personnes s’est avérée extrêmement difficile. Les outils de filigrane et de provenance – tels que ceux qu’Anthropic a commencé à ajouter aux productions de Claude pour se conformer aux règles de transparence de l’UE – peuvent aider à identifier le contenu synthétique après coup, mais ils n’arrêtent pas en premier lieu la génération de matériel abusif. Les filtres d'entrée et de sortie peuvent bloquer des modèles connus, mais les utilisateurs déterminés trouvent continuellement des solutions de contournement, et les modèles d'images à poids ouvert ont rendu certaines fonctionnalités impossibles à rappeler entièrement.
Les allégations dans l'affaire xAI pointent vers l'extrémité la plus grave de ce spectre : l'affirmation selon laquelle une seule photo d'un enfant pourrait être transformée en milliers d'images explicites à l'aide d'un outil exploité par l'une des sociétés d'IA les plus importantes au monde, qui commercialise Grok auprès de millions d'abonnés en tant que produit de consommation.
Les experts juridiques qui suivent l'affaire affirment que le recours collectif permettra de déterminer si les tribunaux traitent l'incapacité à empêcher une telle utilisation abusive comme un défaut de produit dont les sociétés d'IA sont responsables – ou comme une utilisation abusive par des utilisateurs individuels qui ne relève pas de la responsabilité des entreprises.
La suite
L'objectif immédiat des plaignants est la certification collective, ce qui élargirait considérablement le bassin de plaignants potentiels contre xAI. Pour sa part, xAI a fait valoir dans un litige connexe que la responsabilité en cas d'utilisation abusive incombe aux utilisateurs et non à l'outil. L'ajout de Jane Doe 4, avec son récit brutal de préjudices présumés causés à un enfant, augmente la pression publique et politique autour de cette défense.
L’affaire se déroule alors que les régulateurs aux États-Unis et en Europe débattent des obligations de transparence et des normes de sécurité pour l’IA générative, et que les preuves s’accumulent que l’utilisation abusive de la génération d’images ne se limite pas aux outils marginaux. Que la réponse arrive devant les tribunaux, dans la législation ou dans les choix techniques des sociétés d’IA elles-mêmes, la question centrale du procès – dans quelle mesure la prévention des dommages doit être intégrée avant la livraison d’un produit d’IA – reste le problème ouvert le plus inconfortable de l’industrie.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
