OpenAI sa på torsdagen att de har förbjudit två hemliga inflytandeoperationer - en med ursprung i Ryssland och en i Iran - som använde ChatGPT för att driva sofistikerade "falsk front"-enheter som är utformade för att tvätta geopolitisk propaganda till riktiga media. Företaget sa att kampanjen med ursprung i Ryssland är den mest långtgående påverkansoperation som den har stört sedan den började publicera hotrapporter för två och ett halvt år sedan.
Avslöjandet, publicerat på OpenAI:s webbplats, är det senaste inlägget i en rad rapporter om hur statligt anpassade aktörer missbrukar kommersiella AI-modeller. Det understryker också, som vi noterade i vår senaste sammanfattning av brytande AI-nyheter, ett mönster som OpenAI har observerat över de 30 hemliga operationer som den har avslöjat sedan början av 2024: kampanjer som lyckas placera sitt innehåll i äkta publikationer når mycket större publik än de som förlitar sig på falska sociala medier-konton.
En kategori 5 först: Operation "Dark Clark"
Den ryska operationen, som OpenAI gav smeknamnet "Dark Clark", kretsade kring en självutnämnd forskningsorganisation i Latinamerika som heter Social Research Center (SRC). Enligt OpenAI kontrollerade operatörerna tankesmedjan genom en påhittad persona vid namn "Mia Clark", medan lokala anställda i Latinamerika genomförde intervjuer och skrev forskningsdokument utan att veta att de arbetade för en rysk grupp.
Genom att använda Breakout-skalan – ett mått från 1 till 6 på en påverkansverksamhets potentiella räckvidd utvecklad vid Brookings – bedömde OpenAI Dark Clark i kategori 5, det högsta betyg som det har tilldelat någon operation sedan dess rapportering började. Kampanjen med ursprung i Iran nådde kategori 4.
Mycket av operatörernas ChatGPT-användning gick in i interna rapporter till en okänd hanterare, sade OpenAI, som beskrev kampanjer för att nedvärdera Ukraina, undergräva rekryteringen till Ukrainas väpnade styrkor och blanda sig i inrikespolitiken i Argentina och Bolivia. Operatörerna frågade mestadels på ryska och förlitade sig på VPN för att komma åt tjänsten, som blockerar trafik från Ryssland.
OpenAI:s forskare bekräftade flera av operationens påstådda kampanjer genom öppna källor. En gällde falska e-postmeddelanden som påstods komma från Limas regionala utbildningsdirektorat, som instruerade skolor i den peruanska huvudstaden att hålla evenemang för att hedra Stepan Bandera – den kontroversiella ukrainska nationalistfiguren – på en nationell mångfaldsdag. Peruanska och polska butiker täckte den efterföljande kontroversen, och en polsk ledamot av Europaparlamentet citerades i bevakningen av den. I Ecuador använde operatörer en falsk e-postadress för att lura skolor att hålla ett löfte om trohet till president Daniel Noboa och tidigare Blackwater-chefen Erik Prince; stuntet fick mediebevakning och ett offentligt genmäle från Ecuadors utbildningsminister.
Operationen spred också påhittade ljudinspelningar, inklusive en tillskriven en arbetare vid Bolivias statliga vattenbolag EPSAS som hävdade att regeringen skulle minska leveranserna till La Paz, och en annan tillskrivas Ukrainas konsul i Ecuador. Faktagranskare i båda länderna avvisade påståendena. Forskare med öppen källkod har tidigare kopplat liknande verksamhet till "Politology" eller "La Compania", enheter som beskrivs som efterföljare till den sene Jevgenij Prigozhins verksamhet, och operatörernas egna rapporter hävdade kampanjer riktade mot Argentinas president Javier Milei som matchar den offentliga rapporteringen.
Sju falska journalister: Operation "Bogus Bylines"
Den iranska operationen tog en annan väg in i medieekosystemet. Dess operatörer, som föranledde ChatGPT på persiska, använde modellen för att förfina långa engelskspråkiga artiklar om konflikten mellan USA och Iran, och skickade dem sedan till redaktörer på små och medelstora onlinebutiker med hjälp av sju påhittade journalistpersonas: Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Aliceus Johnson, Jenny Fee Johnson, Eric Alice Johnson, Jenny Fee Johnson och Jenny.
OpenAI identifierade nästan 100 artiklar publicerade eller syndikerade under dessa rubriker i ungefär ett dussin butiker över hela världen, de flesta fokuserade på internationella frågor och Mellanöstern. Operationen genererade också mängder av kommentarer på sociala medier, även om OpenAI sa att dessa drog lite verkligt engagemang - och noterade att operatörerna använde en vilseledande beräkning i sina interna rapporter för att blåsa upp sin uppenbara påverkan på sociala medier. Företaget sa att aktiviteten verkade överensstämma med en kommersiell aktör som driver en inflytandekampanj för uthyrning och att de har delat information med relevanta myndigheter.
Gammalt hantverk, nya verktyg
Det som slår forskarna mest, skrev OpenAI, är hur mycket båda operationerna liknade influenskampanjer från eran före AI. De falska journalistpersonerna har en familjelikhet med "Alice Donovan", en fiktiv reporter som frontar rysk militär underrättelsetjänst vars kommentarer dök upp i västerländska medier 2016 och 2017. SRC:s omedvetna lokala personal upprepar "PeaceData", den falska nyhetssajten som samarbetade med riktiga journalister.
AI uppfann inte dessa tekniker – det gjorde dem billigare, snabbare och mer flytande. Operatörer använde modeller för att skräddarsy förfalskningar till lokalt ordförråd och institutionell stil, översätta manus till regionala spanska varianter och producera polerade e-postmeddelanden för redaktörer. Men OpenAI hävdade att den hemliga, person-till-person-naturen av falska frontoperationer också gör dem sårbara för exponering: både Alice Donovan och PeaceData stängs av efter att ha blivit namngivna offentligt.
Läser bevisen med omsorg
OpenAI var noga med att förbehålla sig sina egna fynd. Operatörerna hävdade rutinmässigt kredit för händelser som de inte hade något att göra med, och vissa förfalskningar som de rapporterade att plantering inte kunde hittas i öppna källor. Vad OpenAI kunde verifiera – genom faktakontroller, officiella förnekelser och publicerade artiklar som matchar operatörernas beskrivningar – tyder på att media och politiska diskurser verkligen har penetrerats i minst fyra länder.
För AI-branschen är rapporten en påminnelse om att de mest effektiva användningarna av modeller i desinformation ofta är de minst synliga: utarbeta interna rapporter, förfina tonhöjder, polera översättningar. De enheter som är bäst positionerade för att upptäcka dessa kampanjer, som OpenAIs tidigare fall visade, är ofta de plattformar vars egna verktyg används för att köra dem.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
