OpenAI narušila koordinovanou podvodnou síť řízenou ChatGPT operující z Poipetu v Kambodži, společnost odhalila ve zprávě podrobně popisující, jak zločinecké skupiny nyní začleňují komerční modely umělé inteligence do každodenních operací směsí nucené práce.
Zveřejnění zveřejněné 31. července pod názvem „Narušení kriminální podvodné operace“ popisuje syndikát, který používal ChatGPT nejen ke klamání obětí po celém světě, ale také k řízení vnitřního fungování podniku spojeného s obchodováním s lidmi. Případ nabízí okno do toho, jak velké jazykové modely jsou přeměněny na provozní infrastrukturu pro organizovaný zločin. Chcete-li průběžně hlásit zneužívání a zábradlí AI, sledujte nejnovější vývoj AI na AI Buzz Wire.
Jak síť fungovala
Podle zjištění OpenAI se zločinecká společnost spoléhala na ChatGPT při překladu dosahu obětí, vytváření podvodných investičních rozhraní a vypracovávání falešných právních oznámení. Operátoři se zaměřovali na jednotlivce prostřednictvím platforem pro zasílání zpráv, včetně WhatsApp a Telegram, a procházeli tak třífázovým životním cyklem podvodu.
Schéma obvykle začínalo romantickými předehrami navrženými k vybudování důvěry, poté se obrátilo k falešným kryptoměnovým investičním platformám a nakonec eskalovalo k hrozbám falešných pokut donucovacích orgánů, když dřívější nabídky selhaly. Operátoři se neomezovali na jedinou podvodnou vertikálu – kombinovali romantická nastavení s falešnými přepážkami pro obchodování se zlatem a přesměrovali cíle do hazardních kanálů, čímž maximalizovali počet cest k výplatě.
To, co odlišovalo tuto operaci, byl rozsah a disciplína jejího použití AI. Spíše než spouštění několika jednorázových výzev syndikát systematizoval generativní modely, aby produkoval přesvědčivou, lokalizovanou komunikaci s velkým objemem napříč více jazyky.
Dimenze nucené práce
Nejznepokojivější zjištění nepocházela z podvodu čelícího obětem, ale z vnitřní činnosti skupiny. Okamžité protokoly získané během vyšetřování odhalily, že operátoři používali ChatGPT pro administrativní úkoly uvnitř fyzických podvodných sloučenin nacházejících se v blízkosti thajsko-kambodžské hranice.
Tyto protokoly zahrnovaly překlad komunikace vedení, protokolování dluhů zaměstnanců, dokumentování překročení víz a sledování disciplinárních pokut. Některé záznamy odkazovaly na nucené zadržování, uprchlé pracovníky a sítě obchodující s lidmi. Podrobnosti jsou v souladu s mnohaletými zprávami o podvodech v jihovýchodní Asii, které často lákají uchazeče o zaměstnání podvodnými administrativními nabídkami, než jim zabaví pasy a pod pohrůžkou násilí je donutí k práci s kyberzločinem.
Jinými slovy, modely umělé inteligence plnily dvojí povinnost: byly ozbrojeny proti externím obětem a zároveň sloužily jako software pro správu pro zajatou pracovní sílu.
Odpověď OpenAI
OpenAI uvedla, že identifikovala a odřízla účty spojené s operací, čímž zablokovala přístup syndikátu k jeho modelům. Společnost charakterizovala narušení jako součást širšího úsilí odhalovat a rozbíjet sítě, které zneužívají její platformu k finanční kriminalitě a porušování lidských práv.
Případ podtrhuje rostoucí výzvu pro poskytovatele AI. Zlomyslní aktéři již nezacházejí s komerčními jazykovými modely pouze jako s externími zbraněmi – nasazují je jako operační middleware a zaplétají je do back-office mašinérie zločineckých podniků. Odhalení tohoto druhu zneužívání vyžaduje hledět nad rámec zjevných výzev tváří v tvář oběti.
Nový problém s detekcí
Bezpečnostní analýza operace naznačuje, že jednoduché filtrování klíčových slov ve výzvách souvisejících s podvodem již nestačí. Případy administrativního použití – překlad poznámek, sledování dluhů, protokolování docházky – se čtou jako všední v izolaci a je mnohem těžší je označit než skripty pro zjevné podvody.
Podle pokrytí narušení odhalování zneužití této povahy stále více vyžaduje sdílení zpravodajských informací napříč platformami a analýzu chování administrativních výzev, kde kriminální operace zanechávají zřetelné provozní stopy, i když jednotlivé žádosti vypadají neškodně. Výzva žádající model, aby „přeložil tuto manažerskou zprávu“ není ze své podstaty podezřelá – ale stovky takových výzev pocházejících z účtů spojených se známou sloučeninou tvoří vzor.
Větší obrázek
Kambodžská operace je nejnovějším signálem, že se zneužívání generativní umělé inteligence rozšířilo daleko za deepfakes a spam. Jak technologie dospívá, zneužívání nejvyšší hodnoty může být nejméně viditelné: AI tiše řídí logistiku nezákonného podnikání, od překladu obětí po řízení pracovní síly.
Pro OpenAI a její konkurenty tento posun vyvolává obtížné otázky, jak daleko by se měly povinnosti monitorování rozšířit. Poskytovatelé mohou pozastavit účty, ale základní složky, obchodní sítě a podmínky nucené práce zůstávají. Narušení digitální vrstvy pomáhá, ale nerozkládá fyzickou infrastrukturu, která tyto operace udržuje.
Zveřejnění také přichází uprostřed širšího regulačního momentu. Díky novým pravidlům transparentnosti, která vstoupí v platnost, a rostoucímu tlaku na společnosti s umělou inteligencí, aby zohlednily, jak jsou jejich modely používány, budou případy, jako je tento, pravděpodobně utvářet jak priority prosazování, tak poskytovatele technických záruk, které zabudují do budoucích systémů.
Zvýrazňuje také nepříjemnou asymetrii. Stejné jazykové schopnosti, díky kterým je ChatGPT cenný pro legitimní podniky – překlady, návrhy, sumarizace – jsou přesně tím, co jej činí atraktivním pro zločinecké podniky, které působí přes hranice a jazyky. Model, který může pomoci malé firmě oslovit zákazníky v tuctu zemí, může stejně snadno pomoci podvodnému syndikátu zaměřit se na oběti na všech kontinentech. Rozdíl nespočívá v technologii, ale v infrastruktuře kolem ní, a tam jsou poskytovatelé nejméně viditelní.
Co přijde dál
Zveřejnění OpenAI je pozoruhodné jak svou transparentností, tak samotným narušením. Zveřejněním podrobností o tom, jak síť fungovala, společnost nabízí šablonu, kterou mohou ostatní poskytovatelé a donucovací orgány použít k odhalení podobného zneužití. Případ ale také jasně ukazuje, že pozastavení účtů, ať je jakkoli nezbytné, je reaktivním opatřením proti protivníkovi, který může vytvořit nové identity a relativně snadno přemístit operace.
Pro bezpečnostní týmy i poskytovatele umělé inteligence platí, že obrana proti této třídě zneužívání bude vyžadovat trvalé investice do detekce vzorů, sdílení dat mezi společnostmi a spolupráci s úřady, které mohou zasáhnout proti samotným fyzickým sloučeninám. Digitální vrstva a fyzická vrstva, jak ukazuje tento případ, již nejsou oddělitelné.
Udržujte si náskok před umělou inteligencí
Chcete-li se dozvědět více o bezpečnostních rizicích, etických dilematech a politických debatách týkajících se umělé inteligence, držte krok s nejnovějšími zprávami o AI od AI Buzz Wire.
Přečtěte si další zprávy o AI →
