OpenAI gab am Donnerstag bekannt, dass es zwei verdeckte Einflussoperationen verboten hat – eine mit Ursprung in Russland und eine im Iran –, die ChatGPT nutzten, um hochentwickelte „Falschfront“-Einheiten zu betreiben, die darauf abzielten, geopolitische Propaganda in echte Medien zu spülen. Das Unternehmen sagte, die Kampagne „Ursprung Russland“ sei die weitreichendste Einflussnahme, die es seit Beginn der Veröffentlichung von Bedrohungsberichten vor zweieinhalb Jahren verhindert habe.
Die auf der Website von OpenAI veröffentlichte Offenlegung ist der jüngste Eintrag in einer Reihe von Berichten darüber, wie staatsnahe Akteure kommerzielle KI-Modelle missbrauchen. Es unterstreicht auch, wie wir in unserer neuesten aktuellen KI-Nachrichten Zusammenfassung festgestellt haben, ein Muster, das OpenAI bei den 30 verdeckten Operationen, die es seit Anfang 2024 aufgedeckt hat, beobachtet hat: Kampagnen, denen es gelingt, ihre Inhalte in echten Veröffentlichungen zu platzieren, erreichen ein weitaus größeres Publikum als diejenigen, die sich auf gefälschte Social-Media-Konten verlassen.
A Kategorie 5 zuerst: Operation „Dark Clark“
Die russische Operation, die OpenAI den Spitznamen „Dark Clark“ erhielt, konzentrierte sich auf eine selbsternannte Forschungsorganisation in Lateinamerika namens Social Research Center (SRC). Laut OpenAI kontrollierten die Betreiber die Denkfabrik über eine erfundene Persona namens „Mia Clark“, während lokale Mitarbeiter in Lateinamerika Interviews führten und Forschungsarbeiten verfassten, ohne zu wissen, dass sie für eine russische Gruppe arbeiteten.
Mithilfe der Breakout-Skala – einer von Brookings entwickelten Skala von 1 bis 6 für die potenzielle Reichweite einer Einflussoperation – bewertete OpenAI Dark Clark mit Kategorie 5, der höchsten Bewertung, die es einer Operation seit Beginn der Berichterstattung zugewiesen hat. Die Kampagne mit iranischer Herkunft erreichte Kategorie 4.
Ein Großteil der ChatGPT-Nutzung der Betreiber floss in interne Berichte an einen unbekannten Handler, sagte OpenAI und beschrieb Kampagnen zur Verunglimpfung der Ukraine, zur Untergrabung der Rekrutierung für die Streitkräfte der Ukraine und zur Einmischung in die Innenpolitik in Argentinien und Bolivien. Die Betreiber forderten größtenteils auf Russisch auf und verließen sich beim Zugriff auf den Dienst auf VPNs, wodurch der Datenverkehr aus Russland blockiert wurde.
Die Forscher von OpenAI bestätigten mehrere der behaupteten Kampagnen der Operation durch offene Quellen. Bei einer handelte es sich um gefälschte E-Mails, die angeblich von der regionalen Bildungsdirektion von Lima stammten und Schulen in der peruanischen Hauptstadt anwiesen, an einem nationalen Tag der Vielfalt Veranstaltungen zu Ehren von Stepan Bandera – der umstrittenen ukrainischen Nationalistenfigur – abzuhalten. Peruanische und polnische Medien berichteten über die darauffolgende Kontroverse, und ein polnischer Abgeordneter des Europäischen Parlaments wurde in der Berichterstattung darüber zitiert. In Ecuador nutzten Betreiber eine gefälschte E-Mail-Adresse, um Schulen dazu zu verleiten, einen Treueschwur gegenüber Präsident Daniel Noboa und dem ehemaligen Blackwater-Chef Erik Prince abzulegen; Der Stunt löste Medienberichterstattung und eine öffentliche Widerlegung seitens des ecuadorianischen Bildungsministers aus.
Die Operation verbreitete auch gefälschte Audioaufnahmen, darunter eine, die einem Arbeiter des staatlichen Wasserversorgungsunternehmens EPSAS in Bolivien zugeschrieben wurde, der behauptete, die Regierung würde die Versorgung von La Paz kürzen, und eine andere, die dem ukrainischen Konsul in Ecuador zugeschrieben wurde. Faktenprüfer in beiden Ländern entlarvten die Behauptungen. Open-Source-Forscher haben ähnliche Aktivitäten zuvor mit „Politology“ oder „La Compania“ in Verbindung gebracht, Unternehmen, die als Nachfolger der Operation des verstorbenen Jewgenij Prigoschin beschrieben werden, und in den eigenen Berichten der Betreiber wurde behauptet, dass es sich um Kampagnen gegen den argentinischen Präsidenten Javier Milei handelte, die mit dieser öffentlichen Berichterstattung übereinstimmen.
Sieben falsche Journalisten: Operation „Bogus Bylines“
Die iranische Operation nahm einen anderen Weg in das Medienökosystem. Seine Betreiber, die ChatGPT auf Persisch veranlassten, nutzten das Modell, um lange englischsprachige Artikel über den US-Iran-Konflikt zu verfeinern, und präsentierten sie dann den Redakteuren kleiner und mittlerer Online-Verkaufsstellen unter Verwendung von sieben erfundenen Journalistenpersönlichkeiten: Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Harrison, Ericka Feusier, Jenny Williams und Alice Johnson.
OpenAI identifizierte fast 100 Artikel, die unter diesen Autorennamen in etwa einem Dutzend Medien weltweit veröffentlicht oder syndiziert wurden, wobei sich die meisten auf internationale Angelegenheiten und den Nahen Osten konzentrierten. Die Operation erzeugte auch eine Menge Kommentare in den sozialen Medien, obwohl OpenAI sagte, dass diese wenig wirkliches Interesse hervorriefen – und wies darauf hin, dass die Betreiber in ihren internen Berichten eine betrügerische Berechnung verwendeten, um ihre scheinbare Wirkung in den sozialen Medien aufzublähen. Das Unternehmen sagte, die Aktivität scheine im Einklang mit der Durchführung einer Einflussnahmekampagne durch einen kommerziellen Akteur zu stehen, und es habe Informationen an die zuständigen Behörden weitergegeben.
Altes Handwerk, neue Werkzeuge
Was den Forschern am meisten auffällt, schreibt OpenAI, ist die große Ähnlichkeit beider Operationen mit Einflusskampagnen aus der Zeit vor der KI. Die gefälschten Journalistenpersönlichkeiten weisen eine familiäre Ähnlichkeit mit „Alice Donovan“ auf, einer fiktiven Reporterin, die für den russischen Militärgeheimdienst arbeitet und deren Leitartikel 2016 und 2017 in westlichen Medien erschienen. Die ahnungslosen Mitarbeiter des SRC vor Ort wiederholen „PeaceData“, die Fake-News-Website, die 2020 echte Journalisten rekrutierte.
Die KI hat diese Techniken nicht erfunden – sie hat sie billiger, schneller und flüssiger gemacht. Betreiber verwendeten Modelle, um Fälschungen an den lokalen Wortschatz und den institutionellen Stil anzupassen, Skripte in regionale spanische Varianten zu übersetzen und ausgefeilte Pitch-E-Mails für Redakteure zu erstellen. Aber OpenAI argumentierte, dass die verdeckte, von Person zu Person stattfindende Operation unter falscher Front sie auch anfällig für Aufdeckung mache: Sowohl Alice Donovan als auch PeaceData wurden geschlossen, nachdem sie öffentlich genannt wurden.
Die Beweise sorgfältig lesen
OpenAI achtete sorgfältig darauf, seine eigenen Ergebnisse einzuschränken. Die Betreiber machten routinemäßig Ereignisse geltend, mit denen sie nichts zu tun hatten, und einige von ihnen gemeldete Fälschungen konnten in offenen Quellen nicht gefunden werden. Was OpenAI überprüfen konnte – durch Faktenchecks, offizielle Dementis und veröffentlichte Artikel, die den Beschreibungen der Betreiber entsprechen – deutet auf eine echte Durchdringung der Medien und des politischen Diskurses in mindestens vier Ländern hin.
Für die KI-Branche ist der Bericht eine Erinnerung daran, dass die effektivsten Einsatzmöglichkeiten von Modellen in der Desinformation oft die am wenigsten sichtbaren sind: das Verfassen interner Berichte, das Verfeinern von Pitches, das Feilen von Übersetzungen. Wie die früheren Fälle von OpenAI zeigten, sind die Unternehmen, die diese Kampagnen am besten erkennen können, häufig die Plattformen, deren eigene Tools für deren Ausführung verwendet werden.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
