OpenAI telah mengganggu rangkaian penipuan dipacu ChatGPT yang diselaraskan yang beroperasi dari Poipet, Kemboja, syarikat itu mendedahkan dalam laporan yang memperincikan bagaimana kumpulan penjenayah kini membenamkan model kecerdasan buatan komersial ke dalam operasi harian kompaun buruh paksa.

Pendedahan itu, yang diterbitkan pada 31 Julai di bawah tajuk "Mengganggu Operasi Penipuan Jenayah," menerangkan sindiket yang menggunakan ChatGPT bukan sahaja untuk memperdaya mangsa di seluruh dunia tetapi juga untuk menguruskan kerja dalaman perusahaan berkaitan pemerdagangan. Kes ini menawarkan tingkap tentang bagaimana model bahasa besar digunakan semula sebagai infrastruktur operasi untuk jenayah terancang. Untuk laporan berterusan tentang penyalahgunaan dan pagar penghadang AI, ikuti perkembangan AI terkini di AI Buzz Wire.

Bagaimana Rangkaian Beroperasi

Menurut penemuan OpenAI, perusahaan penjenayah itu bergantung pada ChatGPT untuk menterjemahkan jangkauan mangsa, menjana antara muka pelaburan palsu dan mendraf notis undang-undang palsu. Pengendali menyasarkan individu melalui platform pemesejan termasuk WhatsApp dan Telegram, berbasikal melalui kitaran hayat penipuan tiga peringkat.

Skim ini biasanya bermula dengan tawaran romantis yang direka untuk membina kepercayaan, kemudian berputar ke arah platform pelaburan mata wang kripto palsu, dan akhirnya meningkat kepada ancaman denda penguatkuasaan undang-undang palsu apabila usaha terdahulu gagal. Pengendali tidak mengehadkan diri mereka kepada satu penipuan menegak — mereka menggabungkan persediaan romantis dengan meja dagangan emas palsu dan mengalihkan sasaran ke saluran perjudian, memaksimumkan bilangan laluan kepada pembayaran.

Apa yang membezakan operasi ini ialah skala dan disiplin penggunaan AInya. Daripada menjalankan segelintir gesaan sekali sahaja, sindiket itu mensistemkan model generatif untuk menghasilkan komunikasi setempat yang meyakinkan pada volum tinggi merentas pelbagai bahasa.

Dimensi Kerja Paksa

Penemuan yang paling membimbangkan bukan daripada penipuan yang dihadapi mangsa tetapi daripada aktiviti dalaman kumpulan itu. Log segera ditemui semasa siasatan mendedahkan bahawa pengendali menggunakan ChatGPT untuk tugas pentadbiran di dalam kompaun penipuan fizikal yang terletak berhampiran sempadan Thai-Kemboja.

Log tersebut termasuk menterjemah komunikasi pengurusan, membalak hutang pekerja, mendokumenkan visa tinggal lebih masa dan menjejaki denda tatatertib. Beberapa entri merujuk kepada penahanan paksa, pekerja yang melarikan diri dan rangkaian pemerdagangan manusia. Perincian itu sejajar dengan laporan selama bertahun-tahun mengenai kompaun penipuan Asia Tenggara, yang sering memikat pencari kerja dengan tawaran pentadbiran penipuan sebelum merampas pasport dan memaksa mereka menjadi buruh jenayah siber di bawah ancaman keganasan.

Dalam erti kata lain, model AI melakukan tugas dua kali: bersenjata terhadap mangsa luar sambil pada masa yang sama berfungsi sebagai perisian pengurusan untuk tenaga kerja tawanan.

Respons OpenAI

OpenAI berkata ia mengenal pasti dan memotong akaun yang berkaitan dengan operasi itu, menyekat akses sindiket kepada modelnya. Syarikat itu menyifatkan gangguan itu sebagai sebahagian daripada usaha yang lebih luas untuk mengesan dan merungkai rangkaian yang menyalahgunakan platformnya untuk jenayah kewangan dan pelanggaran hak asasi manusia.

Kes ini menggariskan cabaran yang semakin meningkat untuk penyedia AI. Pelakon berniat jahat tidak lagi menganggap model bahasa komersial hanya sebagai senjata luar — mereka menggunakan model tersebut sebagai perisian tengah operasi, menyatukannya ke dalam jentera pejabat belakang perusahaan jenayah. Mengesan jenis penderaan memerlukan melihat di luar gesaan yang jelas dihadapi mangsa.

Masalah Pengesanan Baharu

Analisis keselamatan operasi menunjukkan bahawa penapisan kata kunci mudah pada gesaan berkaitan penipuan tidak lagi mencukupi. Kes penggunaan pentadbiran — menterjemah memo, penjejakan hutang, kehadiran pembalakan — dibaca sebagai biasa sahaja dan jauh lebih sukar untuk dibenderakan daripada skrip penipuan yang terang-terangan.

Mengikut liputan gangguan itu, pengesanan penyalahgunaan sifat ini semakin menuntut perkongsian risikan merentas platform dan analisis tingkah laku terhadap gesaan pentadbiran, di mana operasi jenayah meninggalkan jejak operasi yang berbeza walaupun permintaan individu itu kelihatan jinak. Gesaan yang meminta model untuk "terjemahkan mesej pengurus ini" sememangnya tidak mencurigakan — tetapi ratusan gesaan sedemikian, yang berasal daripada akaun yang dipautkan kepada kompaun yang diketahui, membentuk corak.

Gambaran Lebih Besar

Operasi Kemboja ialah isyarat terkini bahawa permukaan penyalahgunaan untuk AI generatif telah berkembang jauh melangkaui palsu dan spam. Apabila teknologi semakin matang, penyalahgunaan nilai tertinggi mungkin paling kurang kelihatan: AI secara senyap-senyap menjalankan logistik perniagaan haram, daripada terjemahan mangsa kepada pengurusan tenaga kerja.

Bagi OpenAI dan pesaingnya, anjakan itu menimbulkan persoalan sukar tentang sejauh mana tanggungjawab pemantauan harus diperluaskan. Penyedia boleh menggantung akaun, tetapi kompaun asas, rangkaian pemerdagangan dan keadaan buruh paksa kekal. Mengganggu lapisan digital membantu, tetapi ia tidak merungkai infrastruktur fizikal yang mengekalkan operasi ini.

Pendedahan itu juga tiba di tengah-tengah momen kawal selia yang lebih luas. Dengan peraturan ketelusan baharu yang berkuat kuasa dan tekanan yang semakin meningkat terhadap syarikat AI untuk mengambil kira cara model mereka digunakan, kes seperti ini berkemungkinan membentuk keutamaan penguatkuasaan dan penyedia perlindungan teknikal yang dibina ke dalam sistem masa hadapan.

Ia juga menyerlahkan asimetri yang tidak selesa. Keupayaan bahasa yang sama yang menjadikan ChatGPT bernilai kepada perniagaan yang sah — penterjemahan, penggubalan, ringkasan — itulah yang menjadikannya menarik kepada perusahaan jenayah yang beroperasi merentasi sempadan dan bahasa. Model yang boleh membantu perniagaan kecil menjangkau pelanggan di sedozen negara boleh membantu sindiket penipuan menyasarkan mangsa di setiap benua dengan mudah. Perbezaannya bukan pada teknologi tetapi pada infrastruktur yang ada di sekelilingnya, dan di situlah penyedia mempunyai penglihatan paling sedikit.

Apa Yang Akan Datang

Pendedahan OpenAI sangat ketara kerana ketelusannya dan juga gangguan itu sendiri. Dengan menerbitkan butiran tentang cara rangkaian itu beroperasi, syarikat itu menawarkan templat yang boleh digunakan oleh penyedia dan agensi penguatkuasa undang-undang lain untuk mengesan penyalahgunaan yang serupa. Tetapi kes itu juga menjelaskan bahawa penggantungan akaun, walau bagaimanapun perlu, adalah langkah reaktif terhadap musuh yang boleh mengubah identiti baharu dan memindahkan operasi dengan relatif mudah.

Bagi pasukan keselamatan dan penyedia AI, perkara yang menarik ialah mempertahankan terhadap kelas penyalahgunaan ini memerlukan pelaburan yang berterusan dalam pengesanan corak, perkongsian data merentas syarikat dan kerjasama dengan pihak berkuasa yang boleh bertindak terhadap sebatian fizikal itu sendiri. Lapisan digital dan lapisan fizikal, seperti yang ditunjukkan oleh kes ini, tidak lagi boleh dipisahkan.

Kekal Mendahului AI

Untuk mengetahui lebih lanjut tentang risiko keselamatan, dilema etika dan perbahasan dasar yang mengelilingi kecerdasan buatan, ikuti berita terkini AI daripada AI Buzz Wire.

Baca lebih banyak berita AI →