OpenAI ha interrotto una rete coordinata di truffe basata su ChatGPT che operava a Poipet, in Cambogia, come ha rivelato la società in un rapporto che descrive in dettaglio come i gruppi criminali stiano ora incorporando modelli di intelligenza artificiale commerciale nelle operazioni quotidiane dei complessi di lavoro forzato.
La divulgazione, pubblicata il 31 luglio con il titolo "Disrupting a Criminal Scam Operation", descrive un sindacato che ha utilizzato ChatGPT non solo per ingannare le vittime in tutto il mondo ma anche per gestire il funzionamento interno di un'impresa collegata alla tratta. Il caso offre una finestra su come i grandi modelli linguistici vengono riproposti come infrastrutture operative per la criminalità organizzata. Per un reporting costante sull'uso improprio e sui limiti dell'intelligenza artificiale, segui gli ultimi sviluppi dell'intelligenza artificiale su AI Buzz Wire.
Come funzionava la rete
Secondo i risultati di OpenAI, l'impresa criminale si è affidata a ChatGPT per tradurre le attività di sensibilizzazione delle vittime, generare interfacce di investimento fraudolente e redigere avvisi legali falsi. Gli operatori hanno preso di mira le persone attraverso piattaforme di messaggistica tra cui WhatsApp e Telegram, seguendo un ciclo di vita dell'inganno in tre fasi.
Lo schema in genere iniziava con aperture romantiche progettate per creare fiducia, poi si spostava verso piattaforme di investimento in criptovalute fasulle e infine si intensificava con minacce di false multe alle forze dell'ordine quando le proposte precedenti fallivano. Gli operatori non si sono limitati a un singolo verticale di frode: hanno combinato configurazioni romantiche con falsi banchi di scambio di oro e hanno reindirizzato gli obiettivi verso canali di gioco d'azzardo, massimizzando il numero di percorsi verso un pagamento.
Ciò che distingueva questa operazione era la portata e la disciplina del suo utilizzo dell’intelligenza artificiale. Invece di eseguire una manciata di richieste una tantum, il sindacato ha sistematizzato modelli generativi per produrre comunicazioni localizzate e convincenti ad alto volume in più lingue.
La dimensione del lavoro forzato
I risultati più inquietanti non provengono dalla frode ai danni delle vittime, ma dall'attività interna del gruppo. I registri recuperati durante l'indagine hanno rivelato che gli operatori utilizzavano ChatGPT per attività amministrative all'interno di complessi fisici di truffa situati vicino al confine tra Thailandia e Cambogia.
Tali registri includevano la traduzione delle comunicazioni della direzione, la registrazione dei debiti dei lavoratori, la documentazione dei soggiorni oltre i visti e il monitoraggio delle sanzioni disciplinari. Alcune voci facevano riferimento a detenzione forzata, lavoratori in fuga e reti di traffico di esseri umani. I dettagli sono in linea con anni di segnalazioni di truffe nel sud-est asiatico, che spesso attirano le persone in cerca di lavoro con offerte amministrative fraudolente prima di confiscare i passaporti e costringerli a lavorare per la criminalità informatica sotto minaccia di violenza.
In altre parole, i modelli di intelligenza artificiale svolgevano un doppio compito: utilizzati come armi contro vittime esterne e allo stesso tempo fungevano da software di gestione per una forza lavoro prigioniera.
Risposta di OpenAI
OpenAI ha affermato di aver identificato e tagliato i conti associati all'operazione, bloccando l'accesso del sindacato ai suoi modelli. L’azienda ha caratterizzato l’interruzione come parte di uno sforzo più ampio per individuare e smantellare le reti che abusano della sua piattaforma per crimini finanziari e violazioni dei diritti umani.
Il caso sottolinea una sfida crescente per i fornitori di intelligenza artificiale. Gli attori malintenzionati non trattano più i modelli linguistici commerciali semplicemente come armi esterne: li stanno utilizzando come middleware operativo, inserendoli nei meccanismi di back-office delle imprese criminali. Per individuare questo tipo di abuso è necessario guardare oltre gli ovvi suggerimenti rivolti alla vittima.
Un nuovo problema di rilevamento
L'analisi della sicurezza dell'operazione suggerisce che il semplice filtraggio delle parole chiave sui messaggi relativi alle truffe non è più sufficiente. I casi d’uso amministrativi – traduzione di promemoria, tracciamento dei debiti, registrazione delle presenze – vengono letti come banali presi da soli e sono molto più difficili da segnalare rispetto agli script di frode palese.
Secondo la copertura dell’interruzione, il rilevamento di abusi di questa natura richiede sempre più la condivisione di intelligence multipiattaforma e l’analisi comportamentale delle richieste amministrative, dove le operazioni criminali lasciano impronte operative distinte anche quando le richieste individuali sembrano benigne. Un messaggio che chiede a un modello di "tradurre questo messaggio del manager" non è intrinsecamente sospetto, ma centinaia di tali suggerimenti, provenienti da account collegati a un complesso noto, formano uno schema.
Il quadro più ampio
L’operazione in Cambogia è l’ultimo segnale che la superficie di abuso dell’intelligenza artificiale generativa si è estesa ben oltre i deepfake e lo spam. Man mano che la tecnologia matura, l’uso improprio di maggior valore potrebbe essere il meno visibile: l’intelligenza artificiale che gestisce silenziosamente la logistica di un business illecito, dalla traduzione delle vittime alla gestione della forza lavoro.
Per OpenAI e i suoi concorrenti, questo cambiamento solleva domande difficili su quanto dovrebbero estendersi le responsabilità di monitoraggio. I fornitori possono sospendere gli account, ma i fattori sottostanti, le reti di traffico e le condizioni di lavoro forzato rimangono. Interrompere il livello digitale aiuta, ma non smantella l’infrastruttura fisica che sostiene queste operazioni.
La divulgazione arriva anche nel contesto di un momento normativo più ampio. Con l’entrata in vigore delle nuove regole sulla trasparenza e la crescente pressione sulle società di intelligenza artificiale affinché rendano conto del modo in cui vengono utilizzati i loro modelli, è probabile che casi come questo plasmino sia le priorità di applicazione sia le garanzie tecniche che i fornitori di garanzie integreranno nei sistemi futuri.
Evidenzia anche una scomoda asimmetria. Le stesse funzionalità linguistiche che rendono ChatGPT prezioso per le aziende legittime (traduzione, redazione, riepilogo) sono esattamente ciò che lo rende attraente per le imprese criminali che operano oltre confini e lingue. Un modello che può aiutare una piccola impresa a raggiungere clienti in una dozzina di paesi può altrettanto facilmente aiutare un sindacato di truffe a prendere di mira le vittime in ogni continente. La differenza non sta nella tecnologia ma nell’infrastruttura che la circonda, ed è qui che i fornitori hanno la minore visibilità.
Cosa verrà dopo
La divulgazione di OpenAI è notevole tanto per la sua trasparenza quanto per l'interruzione stessa. Pubblicando i dettagli su come operava la rete, l'azienda offre un modello che altri fornitori e forze dell'ordine possono utilizzare per individuare abusi simili. Ma il caso chiarisce anche che le sospensioni dei conti, per quanto necessarie, sono una misura reattiva contro un avversario che può creare nuove identità e trasferire le operazioni con relativa facilità.
Sia per i team di sicurezza che per i fornitori di intelligenza artificiale, la conclusione è che la difesa da questo tipo di abuso richiederà investimenti sostenuti nel rilevamento di modelli, nella condivisione dei dati tra le aziende e nella cooperazione con le autorità che possono agire contro i composti fisici stessi. Lo strato digitale e lo strato fisico, come dimostra questo caso, non sono più separabili.
Stai al passo con l'intelligenza artificiale
Per ulteriori informazioni sui rischi per la sicurezza, sui dilemmi etici e sui dibattiti politici sull'intelligenza artificiale, resta aggiornato sulle ultime notizie sull'intelligenza artificiale da AI Buzz Wire.
Leggi altre notizie sull'AI →
