OpenAI heeft een gecoördineerd, door ChatGPT aangestuurd zwendelnetwerk verstoord dat opereert vanuit Poipet, Cambodja, zo maakte het bedrijf bekend in een rapport waarin gedetailleerd wordt beschreven hoe criminele groepen nu commerciële kunstmatige-intelligentiemodellen inbedden in de dagelijkse activiteiten van dwangarbeiders.

De onthulling, gepubliceerd op 31 juli onder de titel ‘Disrupting a Criminal Scam Operation’, beschrijft een syndicaat dat ChatGPT niet alleen gebruikte om slachtoffers over de hele wereld te misleiden, maar ook om de interne werking van een aan mensenhandel gelinkte onderneming te beheren. De zaak biedt inzicht in de manier waarop grote taalmodellen worden hergebruikt als operationele infrastructuur voor de georganiseerde misdaad. Voor voortdurende berichtgeving over het misbruik en de vangrails van AI kunt u de laatste AI-ontwikkelingen volgen bij AI Buzz Wire.

Hoe het netwerk werkte

Volgens de bevindingen van OpenAI vertrouwde de criminele onderneming op ChatGPT om de hulpverlening aan slachtoffers te vertalen, frauduleuze investeringsinterfaces te genereren en valse juridische kennisgevingen op te stellen. Operators richtten zich op individuen via berichtenplatforms zoals WhatsApp en Telegram, waarbij ze een levenscyclus van drie fasen doorliepen.

Het plan begon doorgaans met romantische toenaderingen die bedoeld waren om vertrouwen op te bouwen, richtte zich vervolgens op nep-investeringsplatforms voor cryptocurrency en escaleerde uiteindelijk tot dreigementen met valse boetes voor wetshandhaving toen eerdere pitches mislukten. De operators beperkten zich niet tot één enkele fraudebranche; ze combineerden romantische opstellingen met nep-goudhandelsdesks en stuurden doelen om naar gokkanalen, waardoor het aantal paden naar een uitbetaling werd gemaximaliseerd.

Wat deze operatie onderscheidde, was de omvang en discipline van het AI-gebruik. In plaats van een handvol eenmalige aanwijzingen te geven, systematiseerde het syndicaat generatieve modellen om overtuigende, gelokaliseerde communicatie op hoog volume in meerdere talen te produceren.

De dimensie van dwangarbeid

De meest verontrustende bevindingen kwamen niet voort uit de fraude waarbij het slachtoffer betrokken was, maar uit de interne activiteiten van de groep. Uit snelle logbestanden die tijdens het onderzoek werden teruggevonden, bleek dat operators ChatGPT gebruikten voor administratieve taken in fysieke oplichtingscomplexen vlakbij de Thais-Cambodjaanse grens.

Deze logboeken omvatten onder meer het vertalen van managementcommunicatie, het registreren van schulden van werknemers, het documenteren van visumoverschrijdingen en het volgen van disciplinaire boetes. Sommige inzendingen verwezen naar gedwongen detentie, ontsnapte werknemers en netwerken van mensenhandel. De details komen overeen met jarenlange berichtgeving over zwendelcomplexen in Zuidoost-Azië, die werkzoekenden vaak lokken met frauduleuze administratieve aanbiedingen voordat ze paspoorten in beslag nemen en hen onder dreiging van geweld tot cybercriminaliteit dwingen.

Met andere woorden: de AI-modellen vervulden een dubbele taak: ze waren bewapend tegen externe slachtoffers en dienden tegelijkertijd als managementsoftware voor een vast personeelsbestand.

Reactie van OpenAI

OpenAI zei dat het de accounts die aan de operatie waren gekoppeld, heeft geïdentificeerd en afgesloten, waardoor de toegang van het syndicaat tot zijn modellen werd geblokkeerd. Het bedrijf typeerde de verstoring als onderdeel van een bredere inspanning om netwerken op te sporen en te ontmantelen die zijn platform misbruiken voor financiële misdrijven en mensenrechtenschendingen.

De zaak onderstreept een groeiende uitdaging voor AI-aanbieders. Kwaadwillige actoren behandelen commerciële taalmodellen niet langer alleen maar als externe wapens; ze zetten ze in als operationele middleware en verweven ze met de backoffice-machinerie van criminele ondernemingen. Om dit soort misbruik op te sporen, moet er verder gekeken worden dan de voor de hand liggende aanwijzingen van het slachtoffer.

Een nieuw detectieprobleem

Uit een veiligheidsanalyse van de operatie blijkt dat het eenvoudig filteren van trefwoorden op oplichtingsgerelateerde aanwijzingen niet langer voldoende is. De administratieve toepassingen – het vertalen van memo's, het bijhouden van schulden, het registreren van aanwezigheid – lijken op zichzelf al alledaags en zijn veel moeilijker te signaleren dan openlijke fraudescripts.

Volgens de berichtgeving over de verstoring vergt het opsporen van dit soort misbruik in toenemende mate platformonafhankelijke uitwisseling van inlichtingen en gedragsanalyses van administratieve aanwijzingen, waarbij criminele operaties duidelijke operationele voetafdrukken achterlaten, zelfs als de individuele verzoeken er goedaardig uitzien. Een prompt die een model vraagt ​​om "dit managerbericht te vertalen" is niet per definitie verdacht, maar honderden van dergelijke prompts, afkomstig van accounts die aan een bekende verbinding zijn gekoppeld, vormen een patroon.

Het grotere geheel

De operatie in Cambodja is het nieuwste signaal dat het misbruikoppervlak voor generatieve AI zich tot ver buiten deepfakes en spam heeft uitgebreid. Naarmate de technologie volwassener wordt, kan het misbruik met de hoogste waarde wellicht het minst zichtbaar zijn: AI regelt stilletjes de logistiek van een illegaal bedrijf, van de vertaling van slachtoffers tot personeelsbeheer.

Voor OpenAI en zijn concurrenten roept deze verschuiving moeilijke vragen op over hoe ver de monitoringverantwoordelijkheden moeten reiken. Aanbieders kunnen accounts opschorten, maar de onderliggende verbindingen, smokkelnetwerken en dwangarbeidomstandigheden blijven bestaan. Het ontwrichten van de digitale laag helpt, maar ontmantelt niet de fysieke infrastructuur die deze operaties ondersteunt.

De openbaarmaking komt ook te midden van een breder regelgevingsmoment. Nu nieuwe transparantieregels van kracht worden en de druk op AI-bedrijven toeneemt om verantwoording af te leggen over de manier waarop hun modellen worden gebruikt, zullen gevallen als deze waarschijnlijk zowel de handhavingsprioriteiten bepalen als de technische waarborgen die aanbieders in toekomstige systemen inbouwen.

Het benadrukt ook een ongemakkelijke asymmetrie. Dezelfde taalmogelijkheden die ChatGPT waardevol maken voor legitieme bedrijven – vertaling, redactie, samenvatting – zijn precies wat het aantrekkelijk maakt voor criminele ondernemingen die over grenzen en talen heen opereren. Een model waarmee een klein bedrijf klanten in een tiental landen kan bereiken, kan net zo goed een oplichtingssyndicaat helpen slachtoffers op elk continent te bereiken. Het verschil zit hem niet in de technologie, maar in de infrastructuur die eromheen zit, en daar hebben aanbieders het minste zicht op.

Wat komt erna

De onthulling van OpenAI valt zowel op vanwege de transparantie als vanwege de verstoring zelf. Door details te publiceren over hoe het netwerk functioneerde, biedt het bedrijf een sjabloon aan dat andere providers en wetshandhavingsinstanties kunnen gebruiken om soortgelijk misbruik op te sporen. Maar de zaak maakt ook duidelijk dat accountopschortingen, hoe noodzakelijk ook, een reactieve maatregel zijn tegen een tegenstander die relatief gemakkelijk nieuwe identiteiten kan bedenken en activiteiten kan verplaatsen.

Voor zowel beveiligingsteams als AI-aanbieders is de conclusie dat de verdediging tegen deze vorm van misbruik duurzame investeringen vergt in patroondetectie, het delen van gegevens tussen bedrijven en samenwerking met de autoriteiten die tegen de fysieke verbindingen zelf kunnen optreden. De digitale laag en de fysieke laag zijn, zoals dit geval aantoont, niet langer van elkaar te scheiden.

Blijf AI een stap voor

Voor meer informatie over de veiligheidsrisico's, ethische dilemma's en beleidsdebatten rond kunstmatige intelligentie kunt u het laatste AI-nieuws van AI Buzz Wire volgen.

Lees meer AI-nieuws →