OpenAI ve čtvrtek uvedla, že zakázala dvě skryté operace vlivu – jednu pocházející z Ruska a jednu z Íránu – které využívaly ChatGPT k provozování sofistikovaných entit „falešné fronty“ určených k praní geopolitické propagandy do skutečných médií. Společnost uvedla, že kampaň s původem v Rusku je nejrozsáhlejší ovlivňovací operací, kterou narušila od doby, kdy před dvěma a půl lety začala zveřejňovat zprávy o hrozbách.

Zveřejnění zveřejněné na webových stránkách OpenAI je nejnovějším záznamem v řadě zpráv o tom, jak státní aktéři zneužívají komerční modely umělé inteligence. To také podtrhuje, jak jsme poznamenali v našem nejnovějším souhrnu aktuální zprávy o AI, vzor, ​​který OpenAI zaznamenala u 30 skrytých operací, které odhalila od začátku roku 2024: kampaně, kterým se daří umístit svůj obsah do pravých publikací, oslovují mnohem větší publikum než ty, které spoléhají na falešné účty na sociálních sítích.

Kategorie 5 jako první: Operace "Dark Clark"

Ruská operace, kterou OpenAI přezdívala „Dark Clark“, se soustředila na samozvanou výzkumnou organizaci v Latinské Americe s názvem Social Research Center (SRC). Podle OpenAI operátoři ovládali think tank prostřednictvím vymyšlené persony jménem „Mia Clark“, zatímco místní zaměstnanci v Latinské Americe vedli rozhovory a připravovali výzkumné práce, aniž by věděli, že pracují pro ruskou skupinu.

Pomocí Breakout Scale – měřítka od 1 do 6 potenciálního dosahu operace vlivu vyvinuté v Brookings – OpenAI vyhodnotila Dark Clarka v kategorii 5, což je nejvyšší hodnocení, které udělila jakékoli operaci od začátku podávání zpráv. Kampaň íránského původu dosáhla kategorie 4.

Velká část využití ChatGPT operátory se dostala do interních zpráv neznámému zpracovateli, řekl OpenAI, když popsal kampaně na očerňování Ukrajiny, podkopávání náboru do ukrajinských ozbrojených sil a zasahování do domácí politiky v Argentině a Bolívii. Operátoři většinou vyzývali v ruštině a při přístupu ke službě se spoléhali na VPN, což blokuje provoz z Ruska.

Výzkumníci OpenAI potvrdili několik kampaní, které si operace tvrdila, prostřednictvím otevřených zdrojů. Jedna zahrnovala falešné e-maily, které údajně pocházely z regionálního ředitelství pro vzdělávání v Limě a instruovaly školy v hlavním městě Peru, aby pořádaly akce na počest Stepana Bandery – kontroverzní ukrajinské nacionalistické osobnosti – v den národní rozmanitosti. Peruánská a polská média se zabývala následující kontroverzí a v jejím zpravodajství byl citován polský poslanec Evropského parlamentu. V Ekvádoru operátoři použili falešnou e-mailovou adresu, aby oklamali školy, aby složily slib věrnosti prezidentovi Danielu Noboovi a bývalému šéfovi Blackwater Eriku Princeovi; tento trik vyvolal mediální pokrytí a veřejné vyvrácení ze strany ekvádorského ministra školství.

Operace také rozšířila vymyšlené zvukové nahrávky, včetně jednoho připisovaného pracovníkovi bolívijské státní vodárenské společnosti EPSAS, který tvrdil, že vláda přeruší dodávky do La Paz, a dalšího připisovaného ukrajinskému konzulovi v Ekvádoru. Ověřovatelé faktů v obou zemích tato tvrzení vyvrátili. Výzkumníci s otevřeným zdrojovým kódem již dříve propojili podobnou aktivitu s „politologií“ nebo „La Compania“, entitami popisovanými jako nástupce operace zesnulého Jevgenije Prigožina, a vlastní zprávy operátorů tvrdily, že kampaně zaměřené na argentinského prezidenta Javiera Mileie odpovídají tomuto veřejnému zpravodajství.

Sedm falešných novinářů: Operace "Bogus Bylines"

Íránská operace se do mediálního ekosystému vydala jinou cestou. Jeho provozovatelé, kteří podnítili ChatGPT v perštině, použili tento model k upřesnění dlouhých anglických článků o americko-íránském konfliktu a poté je předložili redaktorům v malých a středně velkých online prodejnách pomocí sedmi vymyšlených novinářských osobností: Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Harrison, Ericka Feussier, Alice.

OpenAI identifikovala téměř 100 článků publikovaných nebo syndikovaných pod těmito řádky ve zhruba tuctu prodejen po celém světě, nejvíce zaměřených na mezinárodní záležitosti a Blízký východ. Operace také vygenerovala dávky komentářů na sociálních sítích, ačkoli OpenAI uvedla, že tyto vyvolaly jen malou skutečnou angažovanost – a poznamenali, že operátoři ve svých interních zprávách použili klamný výpočet, aby zvýšili svůj zjevný dopad na sociální média. Společnost uvedla, že aktivita se zdá být v souladu s komerčním aktérem, který vede kampaň pro vliv na pronájem, a že sdílela informace s příslušnými úřady.

Staré řemeslo, nové nástroje

Co výzkumníky nejvíce zaráží, napsal OpenAI, je, jak moc se obě operace podobaly vlivovým kampaním z doby před AI. Falešné novinářské osobnosti mají rodinnou podobnost s „Alice Donovanovou“, fiktivní reportérkou ruské vojenské rozvědky, jejíž názory se objevily v západních médiích v letech 2016 a 2017. Nevědomí místní zaměstnanci SRC odrážejí „PeaceData“, falešnou zpravodajskou stránku, která v roce 2020 kooptovala skutečné novináře.

Umělá inteligence tyto techniky nevynalezla – udělala je levnější, rychlejší a plynulejší. Operátoři používali modely k přizpůsobení padělků místnímu slovníku a institucionálnímu stylu, překládali skripty do regionálních španělských variant a vytvářeli vylepšené e-maily pro editory. OpenAI však tvrdila, že skrytá povaha operací na základě falešné fronty je také činí zranitelnými: Alice Donovan i PeaceData se vypnuly ​​poté, co byly veřejně jmenovány.

Pečlivě čtěte důkazy

OpenAI byla opatrná, aby odmítla svá vlastní zjištění. Operátoři se běžně přihlásili k událostem, se kterými neměli nic společného, ​​a některé padělky, o kterých informovali o výsadbě, nebylo možné najít v otevřených zdrojích. To, co mohla OpenAI ověřit – prostřednictvím ověření faktů, oficiálních zamítnutí a publikovaných článků odpovídajících popisu operátorů – naznačuje skutečné pronikání médií a politického diskurzu v nejméně čtyřech zemích.

Pro průmysl umělé inteligence je zpráva připomínkou toho, že nejúčinnější použití modelů v dezinformacích jsou často ta nejméně viditelná: vypracovávání interních zpráv, vylepšování nabídek, vylepšování překladů. Entity, které mají nejlepší pozici pro detekci těchto kampaní, jak ukázaly dřívější případy OpenAI, jsou často platformy, jejichž vlastní nástroje se používají k jejich spuštění.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →