OpenAI a perturbat o rețea coordonată de escrocherie, condusă de ChatGPT, care operează în Poipet, Cambodgia, compania a dezvăluit într-un raport care detaliază modul în care grupurile criminale încorporează acum modele comerciale de inteligență artificială în operațiunile zilnice ale complexelor de muncă forțată.

Dezvăluirea, publicată pe 31 iulie sub titlul „Perturbarea unei operațiuni de înșelătorie criminală”, descrie un sindicat care a folosit ChatGPT nu numai pentru a înșela victimele de pe tot globul, ci și pentru a gestiona funcționarea interioară a unei întreprinderi legate de trafic. Cazul oferă o fereastră asupra modului în care modelele lingvistice mari sunt reutilizate ca infrastructură operațională pentru crima organizată. Pentru a raporta în curs de desfășurare cu privire la utilizarea greșită și la barele de protecție ale AI, urmăriți cele mai recente evoluții AI la AI Buzz Wire.

Cum a funcționat rețeaua

Conform constatărilor OpenAI, întreprinderea criminală s-a bazat pe ChatGPT pentru a traduce sensibilizarea victimelor, pentru a genera interfețe de investiții frauduloase și pentru a redacta notificări legale false. Operatorii au vizat indivizi prin intermediul platformelor de mesagerie, inclusiv WhatsApp și Telegram, parcurgând un ciclu de viață al înșelăciunii în trei etape.

Schema a început de obicei cu deschideri romantice concepute pentru a construi încrederea, apoi s-a orientat către platforme false de investiții în criptomonede și, în cele din urmă, a escaladat la amenințări cu amenzi false ale forțelor de ordine atunci când propunerile anterioare au eșuat. Operatorii nu s-au limitat la o singură verticală de fraudă – au combinat configurații romantice cu birouri false de tranzacționare cu aur și au redirecționat ținte către canalele de jocuri de noroc, maximizând numărul de căi către o plată.

Ceea ce a diferențiat această operațiune a fost amploarea și disciplina utilizării AI. În loc să ruleze o mână de solicitări unice, sindicatul a sistematizat modele generative pentru a produce comunicații convingătoare, localizate, la volum mare, în mai multe limbi.

Dimensiunea muncii forțate

Cele mai deranjante constatări nu au provenit din frauda cu care se confruntă victima, ci din activitatea internă a grupului. Jurnalele prompte recuperate în timpul investigației au dezvăluit că operatorii au folosit ChatGPT pentru sarcini administrative în interiorul complexurilor fizice de escrocherie situate în apropierea graniței thailandeze-cambodgiane.

Aceste jurnale au inclus traducerea comunicărilor de conducere, înregistrarea datoriilor angajaților, documentarea depășirii șederilor de viză și urmărirea amenzilor disciplinare. Unele intrări au făcut referire la detenție forțată, lucrători evadați și rețele de trafic de persoane. Detaliile se aliniază cu anii de raportare despre compușii de escrocherie din Asia de Sud-Est, care ademenesc frecvent solicitanții de locuri de muncă cu oferte administrative frauduloase înainte de a confisca pașapoartele și de a-i forța să lucreze la crima cibernetică sub amenințarea violenței.

Cu alte cuvinte, modelele de inteligență artificială îndeplineau o dublă sarcină: armate împotriva victimelor externe și, în același timp, serveau ca software de management pentru o forță de muncă captivă.

Răspunsul OpenAI

OpenAI a spus că a identificat și a tăiat conturile asociate operațiunii, blocând accesul sindicatului la modelele sale. Compania a caracterizat întreruperea ca parte a unui efort mai amplu de a detecta și dezmembra rețelele care abuzează de platforma sa pentru infracțiuni financiare și încălcări ale drepturilor omului.

Cazul subliniază o provocare tot mai mare pentru furnizorii de AI. Actorii rău intenționați nu mai tratează modelele de limbaj comercial doar ca pe niște arme externe, ci le implementează ca middleware operațional, împletindu-le în mașinile de back-office ale întreprinderilor criminale. Detectarea acestui tip de abuz necesită să privim dincolo de solicitările evidente pentru victimă.

O nouă problemă de detectare

Analiza de securitate a operațiunii sugerează că filtrarea simplă a cuvintelor cheie pe solicitările legate de înșelătorie nu mai este suficientă. Cazurile de utilizare administrative - traducerea notificărilor, urmărirea datoriilor, înregistrarea prezenței - se citesc ca banale izolat și sunt mult mai greu de semnalat decât scripturile de fraudă evidentă.

Conform acoperirii întreruperii, detectarea abuzurilor de această natură necesită din ce în ce mai mult schimbul de informații pe mai multe platforme și analiza comportamentală a solicitărilor administrative, în care operațiunile criminale lasă amprente operaționale distincte chiar și atunci când cererile individuale par benigne. O solicitare prin care se cere unui model „să traducă acest mesaj de manager” nu este în mod inerent suspect – dar sute de astfel de solicitări, care provin din conturi legate de un compus cunoscut, formează un model.

Imaginea de ansamblu

Operațiunea din Cambodgia este cel mai recent semnal că suprafața de abuz pentru AI generativă s-a extins cu mult dincolo de deepfakes și spam. Pe măsură ce tehnologia se maturizează, utilizarea greșită cu cea mai mare valoare poate fi cea mai puțin vizibilă: AI care gestionează în liniște logistica unei afaceri ilicite, de la traducerea victimelor până la gestionarea forței de muncă.

Pentru OpenAI și concurenții săi, această schimbare ridică întrebări dificile cu privire la cât de mult ar trebui să se extindă responsabilitățile de monitorizare. Furnizorii pot suspenda conturile, dar componentele subiacente, rețelele de trafic și condițiile de muncă forțată rămân. Perturbarea stratului digital ajută, dar nu demontează infrastructura fizică care susține aceste operațiuni.

Dezvăluirea vine și pe fondul unui moment de reglementare mai larg. Odată cu intrarea în vigoare a noilor reguli de transparență și presiunea crescândă asupra companiilor de inteligență artificială pentru a lua în considerare modul în care sunt utilizate modelele lor, este posibil ca cazurile ca acesta să modeleze atât prioritățile de aplicare, cât și furnizorii de garanții tehnice pe care le construiesc în sistemele viitoare.

De asemenea, evidențiază o asimetrie incomodă. Aceleași capacități lingvistice care fac ChatGPT valoros pentru companiile legitime - traducere, redactare, rezumare - sunt exact ceea ce îl face atractiv pentru întreprinderile criminale care operează peste granițe și limbi. Un model care poate ajuta o întreprindere mică să ajungă la clienți dintr-o duzină de țări poate ajuta la fel de ușor și un sindicat de escrocherie să vizeze victime de pe fiecare continent. Diferența nu constă în tehnologie, ci în infrastructura înconjurată de ea și aici furnizorii au cea mai mică vizibilitate.

Ce urmează

Dezvăluirea OpenAI este notabilă atât pentru transparență, cât și pentru întrerupere în sine. Prin publicarea detaliilor despre modul în care a funcționat rețeaua, compania oferă un șablon pe care alți furnizori și agenții de aplicare a legii îl pot folosi pentru a detecta abuzuri similare. Dar cazul arată, de asemenea, că suspendarea conturilor, oricât de necesare, este o măsură reactivă împotriva unui adversar care poate crea noi identități și poate reloca operațiunile cu relativă ușurință.

Pentru echipele de securitate și pentru furnizorii de inteligență artificială deopotrivă, concluzia este că apărarea împotriva acestei clase de abuz va necesita investiții susținute în detectarea modelelor, partajarea datelor între companii și cooperarea cu autoritățile care pot acționa împotriva compușilor fizici înșiși. Stratul digital și stratul fizic, așa cum demonstrează acest caz, nu mai sunt separabile.

Rămâi înaintea AI

Pentru mai multe despre riscurile de securitate, dilemele etice și dezbaterile politice din jurul inteligenței artificiale, țineți pasul cu știrile de ultimă oră despre AI de la AI Buzz Wire.

Citiți mai multe știri AI →