OpenAI зламав скоординовану шахрайську мережу, керовану ChatGPT, яка діяла в Пойпеті, Камбоджа, компанія розкрила у звіті, в якому детально описано, як злочинні групи зараз вбудовують комерційні моделі штучного інтелекту в повсякденну роботу комбінатів примусової праці.
У документі, опублікованому 31 липня під назвою «Зрив злочинної шахрайської операції», описується синдикат, який використовував ChatGPT не лише для обману жертв по всьому світу, але й для управління внутрішньою роботою підприємства, пов’язаного з торгівлею людьми. Справа пропонує вікно в те, як великі мовні моделі перепрофільовуються як операційна інфраструктура для організованої злочинності. Щоб постійно повідомляти про зловживання штучним інтелектом і його перешкоди, стежте за останніми розробками щодо штучного інтелекту на сайті AI Buzz Wire.
Як працювала мережа
Відповідно до висновків OpenAI, злочинна компанія покладалася на ChatGPT для передачі інформації жертвам, створення шахрайських інвестиційних інтерфейсів і написання підроблених юридичних повідомлень. Оператори націлювалися на окремих осіб через платформи обміну повідомленнями, включаючи WhatsApp і Telegram, проходячи триетапний життєвий цикл обману.
Схема зазвичай починалася з романтичних увертюр, спрямованих на зміцнення довіри, потім поверталася до фіктивних криптовалютних інвестиційних платформ і, нарешті, переросла до погроз фальшивих штрафів з боку правоохоронних органів, коли попередні пропозиції провалилися. Оператори не обмежувалися однією вертикаллю шахрайства — вони поєднували романтичні схеми з фальшивими торговими точками золота та перенаправляли цілі в канали азартних ігор, максимізуючи кількість шляхів до виплат.
Що відрізняло цю операцію від інших, так це масштаб і дисципліна використання ШІ. Замість того, щоб запускати кілька одноразових підказок, синдикат систематизував генеративні моделі для створення переконливих, локалізованих комунікацій у великій кількості кількома мовами.
Вимір примусової праці
Найбільш тривожні висновки були зроблені не через шахрайство проти жертви, а через внутрішню діяльність групи. Оперативні журнали, отримані під час розслідування, показали, що оператори використовували ChatGPT для адміністративних завдань у фізичних шахрайських комплексах, розташованих поблизу тайсько-камбоджійського кордону.
Ці журнали включали переклад повідомлень керівництва, реєстрацію боргів працівників, документування прострочених віз та відстеження дисциплінарних штрафів. Деякі записи згадували примусове затримання, втечу робітників і мережі торгівлі людьми. Ця деталь узгоджується з багаторічними повідомленнями про шахрайські з’єднання Південно-Східної Азії, які часто заманюють шукачів роботи шахрайськими адміністративними пропозиціями перед тим, як конфіскувати паспорти та змушувати їх працювати кіберзлочинцями під загрозою насильства.
Іншими словами, моделі штучного інтелекту виконували подвійний обов’язок: створювали зброю проти зовнішніх жертв і водночас слугували програмним забезпеченням для управління невільною робочою силою.
Відповідь OpenAI
OpenAI заявив, що виявив і відключив облікові записи, пов’язані з операцією, заблокувавши доступ синдикату до своїх моделей. Компанія охарактеризувала збій як частину ширших зусиль з виявлення та демонтажу мереж, які зловживають її платформою для фінансових злочинів і порушень прав людини.
Цей випадок підкреслює зростаючий виклик для постачальників штучного інтелекту. Зловмисники більше не розглядають комерційні мовні моделі просто як зовнішню зброю — вони розгортають їх як оперативне проміжне програмне забезпечення, вплітаючи їх у бек-офісну техніку злочинних підприємств. Виявлення такого роду насильства вимагає не тільки очевидних підказок жертви.
Нова проблема виявлення
Аналіз безпеки операції показує, що простого фільтрування ключових слів у запитах, пов’язаних із шахрайством, уже недостатньо. Випадки адміністративного використання — переклад записок, відстеження боргів, реєстрація відвідуваності — сприймаються як звичайні окремо, і їх набагато важче позначити, ніж сценарії явного шахрайства.
Відповідно до висвітлення зриву, виявлення зловживань такого характеру все більше потребує міжплатформного обміну розвідувальними даними та поведінкового аналізу адміністративних підказок, де злочинні операції залишають чіткі операційні сліди, навіть якщо окремі запити виглядають доброзичливо. Підказка моделі «перекласти це повідомлення менеджера» за своєю суттю не є підозрілою, але сотні таких підказок, що надходять від облікових записів, пов’язаних із відомою сполукою, утворюють шаблон.
Більша картина
Операція в Камбоджі є останнім сигналом того, що сфера зловживань генеративним штучним інтелектом вийшла далеко за рамки глибоких фейків і спаму. У міру розвитку технології найцінніші зловживання можуть бути найменш помітними: штучний інтелект спокійно керує матеріально-технічним забезпеченням незаконного бізнесу, від перекладу жертви до управління персоналом.
Для OpenAI та його конкурентів ця зміна викликає складні питання про те, наскільки далеко повинні поширюватися обов’язки моніторингу. Постачальники можуть призупинити облікові записи, але базові сполуки, мережі торгівлі людьми та умови примусової праці залишаються. Порушення цифрового рівня допомагає, але це не демонтує фізичну інфраструктуру, яка підтримує ці операції.
Розкриття також надходить на тлі ширшого нормативного моменту. З набуттям чинності нових правил прозорості та зростаючим тиском на компанії зі штучним інтелектом щодо того, як використовуються їхні моделі, випадки, подібні до цього, ймовірно, сформують як пріоритети правозастосування, так і постачальників технічних гарантій, вбудованих у майбутні системи.
Це також підкреслює незручну асиметрію. Ті самі мовні можливості, які роблять ChatGPT цінним для законного бізнесу — переклад, редагування, узагальнення — саме те, що робить його привабливим для кримінальних компаній, які працюють за кордоном і мовами. Модель, яка може допомогти малому бізнесу охопити клієнтів у дюжині країн, може так само легко допомогти шахрайському синдикату націлитися на жертв на кожному континенті. Різниця полягає не в технології, а в інфраструктурі, яка навколо неї, і саме тут провайдери мають найменшу видимість.
Що буде далі
Розголошення OpenAI примітно як своєю прозорістю, так і самим збоєм. Публікуючи подробиці роботи мережі, компанія пропонує шаблон, який інші провайдери та правоохоронні органи можуть використовувати для виявлення подібних зловживань. Але цей випадок також чітко показує, що призупинення облікових записів, якими б необхідними вони не були, є реактивним заходом проти противника, який може створювати нові ідентифікатори та переміщувати операції з відносною легкістю.
Як для команд безпеки, так і для постачальників штучного інтелекту, для захисту від такого класу зловживань потрібні постійні інвестиції у виявлення шаблонів, обмін даними між компаніями та співпраця з органами влади, які можуть діяти проти самих фізичних сполук. Цифровий рівень і фізичний рівень, як показує цей випадок, більше нероздільні.
Будьте попереду ШІ
Щоб дізнатися більше про ризики безпеці, етичні дилеми та політичні дебати навколо штучного інтелекту, слідкуйте за останніми новинами AI від AI Buzz Wire.
Читати більше новин AI →
