OpenAI разрушила скоординированную мошенническую сеть, управляемую ChatGPT, действующую в Пойпете, Камбоджа. Компания сообщила в отчете, в котором подробно описывается, как преступные группы сейчас внедряют коммерческие модели искусственного интеллекта в повседневную работу объектов принудительного труда.
В раскрытии, опубликованном 31 июля под заголовком «Срыв преступной мошеннической операции», описывается синдикат, который использовал ChatGPT не только для обмана жертв по всему миру, но и для управления внутренней работой предприятия, связанного с торговлей людьми. Этот случай дает представление о том, как большие языковые модели перепрофилируются в оперативную инфраструктуру организованной преступности. Чтобы постоянно получать отчеты о злоупотреблениях и препятствиях в использовании ИИ, следите за последними разработками в области ИИ на сайте AI Buzz Wire.
Как работала сеть
Согласно выводам OpenAI, преступная организация использовала ChatGPT для перевода информации о жертвах, создания мошеннических инвестиционных интерфейсов и составления поддельных юридических уведомлений. Операторы атаковали отдельных лиц через платформы обмена сообщениями, включая WhatsApp и Telegram, проходя через трехэтапный жизненный цикл обмана.
Схема, как правило, начиналась с романтических инициатив, призванных укрепить доверие, затем поворачивалась к фиктивным инвестиционным платформам криптовалюты и, наконец, переросла в угрозы фальшивых штрафов со стороны правоохранительных органов, когда предыдущие попытки провалились. Операторы не ограничивались одной вертикалью мошенничества — они сочетали романтические схемы с фейковыми пунктами торговли золотом и перенаправляли цели на игровые каналы, максимизируя количество путей к выплате.
Что отличало эту операцию, так это масштаб и дисциплина использования ИИ. Вместо того, чтобы запускать несколько разовых запросов, синдикат систематизировал генеративные модели для создания убедительных, локализованных коммуникаций в больших объемах на нескольких языках.
Аспект принудительного труда
Самые тревожные выводы были сделаны не в результате мошенничества с жертвами, а в результате внутренней деятельности группы. Оперативные журналы, полученные в ходе расследования, показали, что операторы использовали ChatGPT для административных задач внутри физических мошеннических комплексов, расположенных недалеко от тайско-камбоджийской границы.
Эти журналы включали перевод сообщений руководства, регистрацию долгов работников, документирование просрочек виз и отслеживание дисциплинарных штрафов. В некоторых записях упоминались принудительные задержания, сбежавшие рабочие и сети торговли людьми. Подробности согласуются с многолетними репортажами о мошеннических группировках в Юго-Восточной Азии, которые часто заманивают соискателей работы мошенническими административными предложениями, прежде чем конфисковывать паспорта и заставлять их заниматься киберпреступностью под угрозой насилия.
Другими словами, модели ИИ выполняли двойную функцию: служили оружием против внешних жертв и одновременно служили программным обеспечением для управления пленной рабочей силой.
Ответ OpenAI
OpenAI заявила, что выявила и отключила учетные записи, связанные с этой операцией, заблокировав доступ синдиката к своим моделям. Компания охарактеризовала сбой как часть более широких усилий по обнаружению и устранению сетей, которые злоупотребляют ее платформой для финансовых преступлений и нарушений прав человека.
Этот случай подчеркивает растущую проблему для поставщиков ИИ. Злоумышленники больше не рассматривают модели коммерческого языка просто как внешнее оружие — они используют их в качестве оперативного промежуточного программного обеспечения, встраивая их в бэк-офисные механизмы преступных предприятий. Для выявления такого рода злоупотреблений необходимо выходить за рамки очевидных подсказок со стороны жертвы.
Новая проблема обнаружения
Анализ безопасности операции показывает, что простой фильтрации ключевых слов в запросах, связанных с мошенничеством, уже недостаточно. Сценарии административного использования — перевод заметок, отслеживание долгов, регистрация посещаемости — по отдельности кажутся обыденными, и их гораздо сложнее выявить, чем сценарии явного мошенничества.
Согласно сообщениям о нарушениях, обнаружение злоупотреблений такого рода все чаще требует межплатформенного обмена разведданными и поведенческого анализа административных запросов, когда преступные операции оставляют отчетливые оперативные следы, даже когда отдельные запросы выглядят безобидными. Подсказка с просьбой к модели «перевести это сообщение менеджера» по своей сути не является подозрительной — но сотни таких подсказок, исходящих от учетных записей, связанных с известным соединением, образуют закономерность.
Общая картина
Операция в Камбодже является последним сигналом о том, что сфера злоупотреблений генеративным искусственным интеллектом вышла далеко за рамки дипфейков и спама. По мере развития технологии наиболее ценные злоупотребления могут быть наименее заметными: ИИ незаметно управляет логистикой незаконного бизнеса, от перевода жертв до управления персоналом.
Для OpenAI и ее конкурентов этот сдвиг поднимает трудные вопросы о том, насколько далеко должны распространяться обязанности по мониторингу. Поставщики услуг могут приостановить действие учетных записей, но основные соединения, сети торговли людьми и условия принудительного труда остаются. Нарушение цифрового уровня помогает, но не разрушает физическую инфраструктуру, поддерживающую эти операции.
Раскрытие информации также происходит на фоне более широкого нормативного момента. С вступлением в силу новых правил прозрачности и растущим давлением на компании, занимающиеся искусственным интеллектом, с требованием отчитываться о том, как используются их модели, подобные случаи, вероятно, будут определять как приоритеты правоприменения, так и поставщики технических средств защиты встраивают в будущие системы.
Это также подчеркивает неудобную асимметрию. Те же языковые возможности, которые делают ChatGPT ценным для законного бизнеса (перевод, составление документов, обобщение), делают его привлекательным для преступных предприятий, действующих через границы и языки. Модель, которая может помочь малому бизнесу охватить клиентов в десятке стран, может с такой же легкостью помочь мошенническому синдикату нацелиться на жертв на всех континентах. Разница заключается не в технологии, а в инфраструктуре, окружающей ее, и именно здесь провайдеры имеют наименьшую видимость.
Что будет дальше
Раскрытие информации OpenAI примечательно как своей прозрачностью, так и самим нарушением. Публикуя подробности о том, как работает сеть, компания предлагает шаблон, который другие провайдеры и правоохранительные органы могут использовать для выявления подобных злоупотреблений. Но этот случай также ясно показывает, что блокировка учетных записей, какой бы необходимой она ни была, является ответной мерой против злоумышленника, который может с относительной легкостью создавать новые личности и перемещать операции.
Как для служб безопасности, так и для поставщиков ИИ вывод заключается в том, что защита от этого класса злоупотреблений потребует постоянных инвестиций в обнаружение закономерностей, обмен данными между компаниями и сотрудничество с властями, которые могут действовать против самих физических соединений. Цифровой уровень и физический уровень, как показывает этот случай, больше неотделимы друг от друга.
Будьте впереди ИИ
Чтобы узнать больше о рисках безопасности, этических дилеммах и политических дебатах вокруг искусственного интеллекта, следите за последними новостями об искусственном интеллекте на сайте AI Buzz Wire.
Читать больше новостей об искусственном интеллекте →
