OpenAI zei donderdag dat het twee geheime beïnvloedingsoperaties heeft verboden – één afkomstig uit Rusland en één uit Iran – waarbij ChatGPT werd gebruikt om geavanceerde ‘valse front’-entiteiten te runnen die bedoeld waren om geopolitieke propaganda wit te wassen in echte media. Het bedrijf zei dat de uit Rusland afkomstige campagne de meest verreikende invloedsoperatie is die het heeft verstoord sinds het twee en een half jaar geleden begon met het publiceren van dreigingsrapporten.

De onthulling, gepubliceerd op de website van OpenAI, is het laatste bericht in een reeks rapporten over hoe staatsgebonden actoren commerciële AI-modellen misbruiken. Het onderstreept ook, zoals we opmerkten in ons laatste breaking AI news overzicht, een patroon dat OpenAI heeft waargenomen bij de dertig geheime operaties die het sinds begin 2024 aan het licht heeft gebracht: campagnes die erin slagen hun inhoud in echte publicaties te plaatsen, bereiken een veel groter publiek dan campagnes die vertrouwen op valse sociale media-accounts.

Eerst een categorie 5: Operatie "Dark Clark"

De Russische operatie, die OpenAI de bijnaam ‘Dark Clark’ gaf, concentreerde zich op een zelfbenoemde onderzoeksorganisatie in Latijns-Amerika, het Social Research Center (SRC). Volgens OpenAI controleerden de operators de denktank via een verzonnen personage genaamd 'Mia Clark', terwijl lokale medewerkers in Latijns-Amerika interviews afnamen en onderzoeksdocumenten opstelden zonder te weten dat ze voor een Russische groep werkten.

Met behulp van de Breakout Scale – een maatstaf van 1 tot 6 voor het potentiële bereik van een beïnvloedingsoperatie, ontwikkeld bij Brookings – beoordeelde OpenAI Dark Clark in categorie 5, de hoogste beoordeling die het aan een operatie heeft toegekend sinds het begin van de rapportage. De uit Iran afkomstige campagne bereikte categorie 4.

Een groot deel van het ChatGPT-gebruik van de operators ging naar interne rapporten aan een onbekende afhandelaar, zei OpenAI, waarin campagnes werden beschreven om Oekraïne te kleineren, de rekrutering voor de Oekraïense strijdkrachten te ondermijnen en zich te bemoeien met de binnenlandse politiek in Argentinië en Bolivia. De operators vroegen meestal in het Russisch en vertrouwden op VPN's om toegang te krijgen tot de dienst, die verkeer uit Rusland blokkeert.

De onderzoekers van OpenAI bevestigden verschillende van de geclaimde campagnes van de operatie via open bronnen. Eén betrof valse e-mails die zogenaamd afkomstig waren van Lima's regionale onderwijsdirectoraat, waarin scholen in de Peruaanse hoofdstad werden geïnstrueerd om evenementen te organiseren ter ere van Stepan Bandera – de controversiële Oekraïense nationalistische figuur – op een nationale diversiteitsdag. Peruaanse en Poolse media berichtten over de daaruit voortvloeiende controverse, en een Pools lid van het Europees Parlement werd in zijn berichtgeving erover geciteerd. In Ecuador gebruikten operators een vals e-mailadres om scholen te misleiden om een ​​eed van trouw af te leggen aan president Daniel Noboa en voormalig Blackwater-hoofd Erik Prince; De stunt trok media-aandacht en een publiek weerwoord van de Ecuadoraanse minister van Onderwijs.

De operatie verspreidde ook verzonnen audio-opnamen, waaronder één die werd toegeschreven aan een medewerker van het Boliviaanse staatswaterbedrijf EPSAS, die beweerde dat de regering de levering aan La Paz zou stopzetten, en een andere die werd toegeschreven aan de Oekraïense consul in Ecuador. Factcheckers in beide landen hebben de beweringen ontkracht. Open-sourceonderzoekers hebben eerder soortgelijke activiteiten gekoppeld aan ‘Politologie’ of ‘La Compania’, entiteiten die worden beschreven als opvolgers van de operatie van wijlen Yevgeniy Prigozhin, en de eigen rapporten van de exploitanten beweren dat campagnes gericht waren tegen de Argentijnse president Javier Milei die overeenkomen met die openbare berichtgeving.

Zeven nepjournalisten: Operatie "Bogus Bylines"

De Iraanse operatie volgde een andere route naar het media-ecosysteem. De operators, die ChatGPT in het Perzisch aanspoorden, gebruikten het model om lange Engelstalige artikelen over het conflict tussen de VS en Iran te verfijnen en presenteerden ze vervolgens aan redacteuren van kleine en middelgrote online kanalen met behulp van zeven verzonnen journalistpersonages: Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Harrison, Ericka Feusier, Jenny Williams en Alice Johnson.

OpenAI identificeerde bijna 100 artikelen die onder deze naamregels waren gepubliceerd of gesyndiceerd op ongeveer een dozijn verkooppunten wereldwijd, waarvan de meeste gericht waren op internationale zaken en het Midden-Oosten. De operatie genereerde ook veel reacties op sociale media, hoewel OpenAI zei dat deze weinig echte betrokkenheid opleverden – en merkte op dat de operators een misleidende berekening in hun interne rapporten gebruikten om hun schijnbare impact op sociale media te vergroten. Het bedrijf zei dat de activiteit consistent leek met een commerciële actor die een inhuurinvloedscampagne voerde, en dat het informatie heeft gedeeld met de relevante autoriteiten.

Oud ambacht, nieuwe gereedschappen

Wat onderzoekers het meest opvalt, schrijft OpenAI, is hoe sterk beide operaties leken op invloedscampagnes uit het pre-AI-tijdperk. De valse journalisten hebben een familiegelijkenis met ‘Alice Donovan’, een fictieve verslaggeefster die frontman is van de Russische militaire inlichtingendienst en wiens opinies in 2016 en 2017 in westerse kranten verschenen. Het onwetende lokale personeel van de SRC echoot ‘PeaceData’, de nepnieuwssite die in 2020 echte journalisten coöpteerde.

AI heeft deze technieken niet uitgevonden; het heeft ze goedkoper, sneller en vloeiender gemaakt. Operators gebruikten modellen om vervalsingen aan te passen aan de lokale woordenschat en institutionele stijl, scripts te vertalen naar regionale Spaanse varianten en gepolijste pitch-e-mails voor redacteuren te produceren. Maar OpenAI voerde aan dat de geheime, persoonlijke aard van valse frontoperaties ze ook kwetsbaar maakt voor blootstelling: zowel Alice Donovan als PeaceData stopten nadat ze publiekelijk werden genoemd.

Lees het bewijsmateriaal zorgvuldig

OpenAI was voorzichtig met het ondermijnen van zijn eigen bevindingen. De operators claimden routinematig de eer voor gebeurtenissen waar ze niets mee te maken hadden, en sommige vervalsingen waarvan ze meldden dat ze waren geplant, konden niet in open bronnen worden gevonden. Wat OpenAI kon verifiëren – door middel van factchecks, officiële ontkenningen en gepubliceerde artikelen die overeenkomen met de beschrijvingen van de exploitanten – duidt op een echte penetratie van het media- en politieke discours in ten minste vier landen.

Voor de AI-industrie herinnert het rapport eraan dat de meest effectieve toepassingen van modellen op het gebied van desinformatie vaak de minst zichtbare zijn: het opstellen van interne rapporten, het verfijnen van pitches, het oppoetsen van vertalingen. De entiteiten die het best gepositioneerd zijn om deze campagnes te detecteren, zoals uit eerdere cases van OpenAI bleek, zijn vaak de platforms waarvan de eigen tools worden gebruikt om ze uit te voeren.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →