OpenAI har stört ett koordinerat ChatGPT-drivet bedrägerinätverk som verkar från Poipet, Kambodja, avslöjade företaget i en rapport som beskriver hur kriminella grupper nu bäddar in kommersiella modeller av artificiell intelligens i den dagliga verksamheten av tvångsarbetsföreningar.
Avslöjandet, som publicerades den 31 juli under titeln "Disrupting a Criminal Scam Operation", beskriver ett syndikat som använde ChatGPT inte bara för att lura offer över hela världen utan också för att hantera det inre arbetet i ett företag som är kopplat till människohandel. Fallet ger ett fönster till hur stora språkmodeller återanvänds som operativ infrastruktur för organiserad brottslighet. För löpande rapportering om missbruk och skyddsräcken av AI, följ den senaste AI-utvecklingen på AI Buzz Wire.
Hur nätverket fungerade
Enligt OpenAI:s upptäckter förlitade sig det kriminella företaget på ChatGPT för att översätta offrets uppsökande verksamhet, skapa bedrägliga investeringsgränssnitt och utarbeta falska juridiska meddelanden. Operatörer riktade in sig på individer genom meddelandeplattformar inklusive WhatsApp och Telegram, och cyklade genom en livscykel i tre steg.
Upplägget började vanligtvis med romantiska utspel för att bygga upp förtroende, svängdes sedan mot falska investeringsplattformar för kryptovaluta och eskalerade slutligen till hot om falska böter från brottsbekämpande myndigheter när tidigare pitches misslyckades. Operatörerna begränsade sig inte till en enda bedrägerivertikal – de kombinerade romantiska inställningar med falska guldhandelsbord och omdirigerade mål till spelkanaler, vilket maximerade antalet vägar till en utbetalning.
Det som skilde denna operation var omfattningen och disciplinen i dess AI-användning. Istället för att köra en handfull engångsuppmaningar, systematiserade syndikatet generativa modeller för att producera övertygande, lokaliserad kommunikation med hög volym över flera språk.
Tvångsarbetesdimensionen
De mest oroande fynden kom inte från bedrägeriet som utsatts för offer utan från gruppens interna aktivitet. Snabba loggar som återfanns under utredningen avslöjade att operatörer använde ChatGPT för administrativa uppgifter i fysiska bedrägeriföreningar som ligger nära den thailändska-kambodianska gränsen.
Dessa loggar inkluderade översättning av ledningskommunikation, loggning av arbetstagares skulder, dokumentering av visumöverskridanden och spårning av disciplinära böter. Vissa poster hänvisade till tvångsfängelse, rymda arbetare och nätverk för människohandel. Detaljen stämmer överens med åratal av rapportering om sydostasiatiska bluffföreningar, som ofta lockar arbetssökande med bedrägliga administrativa erbjudanden innan de konfiskerar pass och tvingar dem till cyberbrottsarbete under hot om våld.
Med andra ord, AI-modellerna gjorde dubbel plikt: beväpnade mot externa offer samtidigt som de fungerade som hanteringsprogramvara för en fången arbetsstyrka.
OpenAI:s svar
OpenAI sa att de identifierade och stängde av konton som var associerade med operationen, vilket blockerade syndikatets tillgång till dess modeller. Företaget karakteriserade störningen som en del av ett bredare arbete för att upptäcka och avveckla nätverk som missbrukar sin plattform för ekonomisk brottslighet och kränkningar av mänskliga rättigheter.
Fallet understryker en växande utmaning för AI-leverantörer. Skadliga aktörer behandlar inte längre kommersiella språkmodeller bara som externa vapen – de distribuerar dem som operativ mellanvara och väver in dem i backoffice-maskineriet hos kriminella företag. Att upptäcka den typen av övergrepp kräver att man ser bortom uppenbara uppmaningar som möter offer.
Ett nytt upptäcktsproblem
Säkerhetsanalys av operationen tyder på att enkel sökordsfiltrering på bedrägerirelaterade uppmaningar inte längre är tillräcklig. De administrativa användningsfallen - att översätta PM, spåra skulder, logga närvaro - läses som vardagliga isolerat och är mycket svårare att flagga än uppenbara bedrägeriskript.
Enligt bevakningen av störningen kräver att upptäcka missbruk av denna karaktär i allt högre grad plattformsoberoende underrättelsedelning och beteendeanalys av administrativa uppmaningar, där kriminella operationer lämnar tydliga operativa fotspår även när de enskilda förfrågningarna ser godartade ut. En uppmaning som ber en modell att "översätta detta chefsmeddelande" är inte i sig misstänkt – men hundratals sådana uppmaningar, som kommer från konton kopplade till en känd förening, bildar ett mönster.
Den större bilden
Operationen i Kambodja är den senaste signalen om att missbruksytan för generativ AI har expanderat långt bortom deepfakes och spam. När tekniken mognar kan det mest värdefulla missbruket vara det minst synliga: AI driver logistiken i ett olagligt företag i tysthet, från offeröversättning till personalledning.
För OpenAI och dess konkurrenter väcker den förändringen svåra frågor om hur långt övervakningsansvaret bör sträcka sig. Leverantörer kan stänga av konton, men de underliggande föreningarna, traffickingnätverken och tvångsarbete kvarstår. Att störa det digitala lagret hjälper, men det avvecklar inte den fysiska infrastrukturen som upprätthåller dessa verksamheter.
Avslöjandet kommer också mitt i ett bredare regulatoriskt ögonblick. Med nya insynsregler som träder i kraft och ökande press på AI-företag att redogöra för hur deras modeller används, kommer fall som detta sannolikt att forma både prioriteringar för tillsyn och de tekniska skyddsleverantörer som bygger in i framtida system.
Det framhäver också en obekväm asymmetri. Samma språkfunktioner som gör ChatGPT värdefullt för legitima företag – översättning, utformning, sammanfattning – är precis vad som gör det attraktivt för kriminella företag som verkar över gränser och språk. En modell som kan hjälpa ett litet företag att nå kunder i ett dussin länder kan lika gärna hjälpa en bluffsyndikat att målsätta offer på alla kontinenter. Skillnaden ligger inte i tekniken utan i infrastrukturen som ligger runt den, och det är där leverantörer har minst synlighet.
Vad kommer härnäst
OpenAI:s avslöjande märks lika mycket för sin transparens som för själva störningen. Genom att publicera information om hur nätverket fungerade, erbjuder företaget en mall som andra leverantörer och brottsbekämpande myndigheter kan använda för att upptäcka liknande missbruk. Men fallet klargör också att kontoavstängningar, hur nödvändiga än är, är en reaktiv åtgärd mot en motståndare som relativt enkelt kan spinna upp nya identiteter och flytta verksamheter.
För både säkerhetsteam och AI-leverantörer är det viktigt att försvara sig mot denna klass av missbruk kommer att kräva uthålliga investeringar i mönsterdetektering, datadelning mellan företag och samarbete med myndigheter som kan agera mot de fysiska föreningarna själva. Det digitala lagret och det fysiska lagret, som detta fall visar, är inte längre separerbara.
Ligg före AI
För mer information om säkerhetsriskerna, etiska dilemman och policydebatter kring artificiell intelligens, häng med i senaste AI-nyheter från AI Buzz Wire.
Läs mer AI-nyheter →
