OpenAI a déclaré jeudi avoir interdit deux opérations d'influence secrètes – l'une originaire de Russie et l'autre d'Iran – qui utilisaient ChatGPT pour diriger des entités sophistiquées de « faux front » conçues pour blanchir de la propagande géopolitique dans de véritables médias. La société a déclaré que la campagne d’origine russe était l’opération d’influence la plus importante qu’elle ait perturbée depuis qu’elle a commencé à publier des rapports sur les menaces il y a deux ans et demi.

Cette divulgation, publiée sur le site Web d'OpenAI, est la dernière entrée d'une série de rapports sur la manière dont les acteurs alignés sur l'État abusent des modèles commerciaux d'IA. Cela souligne également, comme nous l'avons noté dans notre dernier tour d'horizon des dernières actualités sur l'IA (https://aibuzzwire.news), un modèle qu'OpenAI a observé à travers les 30 opérations secrètes qu'elle a révélées depuis début 2024 : les campagnes qui réussissent à placer leur contenu dans de véritables publications atteignent un public bien plus large que celles qui s'appuient sur de faux comptes de réseaux sociaux.

Une première de catégorie 5 : Opération "Dark Clark"

L'opération russe, qu'OpenAI a surnommée « Dark Clark », était centrée sur une organisation de recherche autoproclamée en Amérique latine appelée Social Research Center (SRC). Selon OpenAI, les opérateurs contrôlaient le groupe de réflexion via un personnage fabriqué nommé « Mia Clark », tandis que des employés locaux en Amérique latine menaient des entretiens et rédigeaient des documents de recherche sans savoir qu'ils travaillaient pour un groupe russe.

À l'aide de l'échelle Breakout – une mesure de 1 à 6 de la portée potentielle d'une opération d'influence développée à Brookings – OpenAI a évalué Dark Clark à la catégorie 5, la note la plus élevée qu'elle ait attribuée à une opération depuis le début de son reporting. La campagne d’origine iranienne a atteint la catégorie 4.

Une grande partie de l'utilisation de ChatGPT par les opérateurs a été consignée dans des rapports internes adressés à un gestionnaire inconnu, a déclaré OpenAI, décrivant des campagnes visant à dénigrer l'Ukraine, à saper le recrutement dans les forces armées ukrainiennes et à s'ingérer dans la politique intérieure en Argentine et en Bolivie. Les opérateurs demandaient principalement en russe et s'appuyaient sur des VPN pour accéder au service, ce qui bloque le trafic en provenance de Russie.

Les chercheurs d'OpenAI ont corroboré plusieurs des campagnes revendiquées par l'opération via des sources ouvertes. L'un d'entre eux concernait de faux courriels prétendant provenir de la direction régionale de l'éducation de Lima, ordonnant aux écoles de la capitale péruvienne d'organiser des événements en l'honneur de Stepan Bandera – la figure controversée du nationalisme ukrainien – lors de la journée nationale de la diversité. Les médias péruviens et polonais ont couvert la controverse qui a suivi, et un membre polonais du Parlement européen a été cité dans sa couverture. En Équateur, des opérateurs ont utilisé une fausse adresse e-mail pour inciter les écoles à prêter serment d'allégeance au président Daniel Noboa et à l'ancien directeur de Blackwater, Erik Prince ; cette cascade a suscité une couverture médiatique et une réfutation publique de la part du ministre de l'Éducation de l'Équateur.

L'opération a également diffusé des enregistrements audio fabriqués, dont un attribué à un employé de la compagnie nationale des eaux bolivienne EPSAS, affirmant que le gouvernement réduirait l'approvisionnement de La Paz, et un autre attribué au consul d'Ukraine en Équateur. Les vérificateurs des faits dans les deux pays ont réfuté ces affirmations. Des chercheurs open source ont déjà lié une activité similaire à "Politology" ou "La Compania", entités décrites comme les successeurs de l'opération de feu Yevgeniy Prigozhin, et les propres rapports des opérateurs ont affirmé que des campagnes ciblant le président argentin Javier Milei correspondaient à ces informations publiques.

Sept faux journalistes : Opération "Bogus Bylines"

L’opération iranienne a emprunté une voie différente dans l’écosystème médiatique. Ses opérateurs, qui ont incité ChatGPT en persan, ont utilisé le modèle pour affiner de longs articles en anglais sur le conflit américano-iranien, puis les ont présentés aux rédacteurs de petits et moyens médias en ligne en utilisant sept personnages de journalistes fabriqués : Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Harrison, Ericka Feusier, Jenny Williams et Alice Johnson.

OpenAI a identifié près de 100 articles publiés ou diffusés sous ces signatures dans une douzaine de médias à travers le monde, la plupart axés sur les affaires internationales et le Moyen-Orient. L’opération a également généré de nombreux commentaires sur les réseaux sociaux, même si OpenAI a déclaré que ceux-ci n’avaient suscité que peu d’engagement réel – et a noté que les opérateurs avaient utilisé un calcul trompeur dans leurs rapports internes pour gonfler leur impact apparent sur les réseaux sociaux. La société a déclaré que l'activité semblait correspondre à celle d'un acteur commercial menant une campagne d'influence pour compte d'autrui et qu'elle avait partagé des informations avec les autorités compétentes.

Ancien métier, nouveaux outils

Ce qui frappe le plus les chercheurs, écrit OpenAI, c’est à quel point les deux opérations ressemblent aux campagnes d’influence de l’ère pré-IA. Les faux journalistes ont un air de famille avec « Alice Donovan », une journaliste fictive travaillant pour les renseignements militaires russes dont les articles ont été publiés dans des médias occidentaux en 2016 et 2017. Le personnel local du SRC fait écho, à son insu, à « PeaceData », le faux site d'information qui a coopté de vrais journalistes en 2020.

L’IA n’a pas inventé ces techniques : elle les a rendues moins chères, plus rapides et plus fluides. Les opérateurs ont utilisé des modèles pour adapter les contrefaçons au vocabulaire local et au style institutionnel, traduire les scripts en variantes régionales espagnoles et produire des e-mails de présentation soignés pour les éditeurs. Mais OpenAI a fait valoir que la nature secrète et de personne à personne des opérations de fausse façade les rend également vulnérables à la révélation : Alice Donovan et PeaceData ont toutes deux fermé leurs portes après avoir été nommées publiquement.

Lire les preuves avec attention

OpenAI a pris soin de mettre en garde ses propres conclusions. Les opérateurs revendiquaient régulièrement le mérite d'événements avec lesquels ils n'avaient rien à voir, et certains faux qu'ils rapportaient avoir été plantés n'ont pas pu être trouvés dans des sources ouvertes. Ce qu'OpenAI a pu vérifier – par le biais de vérifications des faits, de démentis officiels et d'articles publiés correspondant aux descriptions des opérateurs – suggère une véritable pénétration des médias et du discours politique dans au moins quatre pays.

Pour l’industrie de l’IA, le rapport rappelle que les utilisations les plus efficaces des modèles en matière de désinformation sont souvent les moins visibles : rédiger des rapports internes, affiner les argumentaires, peaufiner les traductions. Les entités les mieux placées pour détecter ces campagnes, comme l'ont montré les cas précédents d'OpenAI, sont souvent les plateformes dont les propres outils sont utilisés pour les exécuter.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →