OpenAI zakłóciło skoordynowaną sieć oszustw opartą na ChatGPT, działającą w Poipet w Kambodży, jak firma ujawniła w raporcie szczegółowo opisującym, w jaki sposób grupy przestępcze włączają obecnie komercyjne modele sztucznej inteligencji do codziennej działalności związków pracy przymusowej.
Ujawnienie informacji, opublikowane 31 lipca pod tytułem „Przerywanie operacji oszustwa kryminalnego”, opisuje syndykat, który wykorzystywał ChatGPT nie tylko do oszukiwania ofiar na całym świecie, ale także do zarządzania wewnętrznym funkcjonowaniem przedsiębiorstwa powiązanego z handlem ludźmi. Sprawa ta rzuca światło na to, jak duże modele językowe są ponownie wykorzystywane jako infrastruktura operacyjna dla przestępczości zorganizowanej. Aby na bieżąco zgłaszać niewłaściwe wykorzystanie sztucznej inteligencji i bariery ochronne, śledź najnowsze osiągnięcia w zakresie sztucznej inteligencji w AI Buzz Wire.
Jak działała sieć
Według ustaleń OpenAI to przestępcze przedsiębiorstwo korzystało z ChatGPT w celu tłumaczenia kontaktów z ofiarami, generowania fałszywych interfejsów inwestycyjnych i sporządzania fałszywych not prawnych. Operatorzy atakowali osoby prywatne za pośrednictwem platform komunikacyjnych, w tym WhatsApp i Telegram, przechodząc przez trzyetapowy cykl oszustwa.
Schemat zazwyczaj zaczynał się od romantycznych zalotów mających na celu budowanie zaufania, następnie skupiał się na fałszywych platformach inwestycyjnych zajmujących się kryptowalutami, a ostatecznie przerodził się w groźby fałszywych kar pieniężnych dla organów ścigania, gdy wcześniejsze propozycje zawiodły. Operatorzy nie ograniczali się do jednej branży oszustw — połączyli romantyczne konfiguracje z fałszywymi biurkami handlu złotem i przekierowywali cele do kanałów hazardowych, maksymalizując liczbę ścieżek prowadzących do wypłaty.
Tym, co wyróżniało tę operację, była skala i dyscyplina wykorzystania sztucznej inteligencji. Zamiast wysyłać kilka jednorazowych komunikatów, syndykat usystematyzował modele generatywne, aby tworzyć przekonujące, zlokalizowane komunikaty, masowo i w wielu językach.
Wymiar pracy przymusowej
Najbardziej niepokojące ustalenia nie wynikają z oszustwa skierowanego przeciwko ofiarom, ale z wewnętrznej działalności grupy. Dzienniki odzyskane podczas dochodzenia ujawniły, że operatorzy używali ChatGPT do zadań administracyjnych w fizycznych ośrodkach oszustwa zlokalizowanych w pobliżu granicy tajsko-kambodżańskiej.
Rejestry te obejmowały tłumaczenie komunikatów kierownictwa, rejestrowanie długów pracowników, dokumentowanie przekroczenia terminu ważności wizy i śledzenie kar dyscyplinarnych. Niektóre wpisy odnosiły się do przymusowych zatrzymań, zbiegłych pracowników i siatek handlu ludźmi. Szczegóły pokrywają się z wieloletnimi doniesieniami na temat oszustw w Azji Południowo-Wschodniej, które często wabią osoby poszukujące pracy fałszywymi ofertami administracyjnymi, a następnie konfiskują paszporty i zmuszają je do pracy w cyberprzestępczości pod groźbą przemocy.
Innymi słowy, modele sztucznej inteligencji spełniały podwójną rolę: były uzbrojone przeciwko ofiarom zewnętrznym, a jednocześnie służyły jako oprogramowanie zarządzające dla uwięzionej siły roboczej.
Odpowiedź OpenAI
OpenAI stwierdziło, że zidentyfikowało i odcięło konta powiązane z operacją, blokując syndykatowi dostęp do swoich modeli. Firma określiła zakłócenie jako część szerszych wysiłków mających na celu wykrycie i likwidację sieci, które wykorzystują jej platformę do przestępstw finansowych i łamania praw człowieka.
Sprawa podkreśla rosnące wyzwanie dla dostawców sztucznej inteligencji. Złośliwi aktorzy nie traktują już modeli języka komercyjnego jedynie jako broni zewnętrznej — wdrażają je jako operacyjne oprogramowanie pośrednie, wplatając je w machinę zaplecza przedsiębiorstw przestępczych. Wykrywanie tego rodzaju nadużyć wymaga spojrzenia poza oczywiste podpowiedzi skierowane do ofiary.
Nowy problem z wykrywaniem
Analiza bezpieczeństwa tej operacji sugeruje, że proste filtrowanie słów kluczowych w przypadku komunikatów związanych z oszustwem nie jest już wystarczające. Przypadki użycia administracyjnego — tłumaczenie notatek, śledzenie długów, rejestrowanie obecności — odczytywane są oddzielnie jako przyziemne i znacznie trudniejsze do oznaczenia niż jawne skrypty oszustwa.
Jak wynika z doniesień o zakłóceniach, wykrywanie tego rodzaju nadużyć w coraz większym stopniu wymaga wymiany danych wywiadowczych między platformami i analizy behawioralnej poleceń administracyjnych, w przypadku których działania przestępcze pozostawiają wyraźne ślady operacyjne, nawet jeśli poszczególne żądania wyglądają niewinnie. Monit proszący modelkę o „przetłumaczenie tej wiadomości od menedżera” nie jest z natury podejrzany — ale setki takich podpowiedzi, pochodzących z kont powiązanych ze znanym związkiem, tworzą wzorzec.
Większy obraz
Operacja w Kambodży to najnowszy sygnał, że powierzchnia nadużyć w zakresie generatywnej sztucznej inteligencji znacznie się rozszerzyła poza deepfakes i spam. W miarę dojrzewania technologii nadużycia o najwyższej wartości mogą być najmniej widoczne: sztuczna inteligencja po cichu zarządza logistyką nielegalnej działalności, od tłumaczenia ofiar po zarządzanie personelem.
Dla OpenAI i jej konkurentów zmiana ta rodzi trudne pytania o to, jak daleko powinny rozciągać się obowiązki w zakresie monitorowania. Dostawcy mogą zawieszać konta, ale podstawowe związki, sieci handlarzy i warunki pracy przymusowej pozostają bez zmian. Zakłócenie warstwy cyfrowej pomaga, ale nie powoduje demontażu infrastruktury fizycznej, która podtrzymuje te operacje.
Ujawnienie następuje również w szerszym momencie regulacyjnym. Wraz z wejściem w życie nowych zasad przejrzystości i rosnącą presją na firmy zajmujące się sztuczną inteligencją, aby odpowiadały za sposób wykorzystania ich modeli, przypadki takie jak ten prawdopodobnie będą kształtować zarówno priorytety w zakresie egzekwowania prawa, jak i dostawców zabezpieczeń technicznych wbudowanych w przyszłe systemy.
Podkreśla także niewygodną asymetrię. Te same możliwości językowe, które sprawiają, że ChatGPT jest cenny dla legalnych firm – tłumaczenie, redagowanie, streszczanie – są dokładnie tym, co czyni go atrakcyjnym dla przedsiębiorstw przestępczych działających ponad granicami i językami. Model, który może pomóc małej firmie dotrzeć do klientów w kilkunastu krajach, może równie łatwo pomóc syndykatowi oszustwa atakować ofiary na każdym kontynencie. Różnica nie polega na technologii, ale na otaczającej ją infrastrukturze, i to właśnie tam dostawcy są najmniej widoczni.
Co będzie dalej
Ujawnienie OpenAI wyróżnia się zarówno przejrzystością, jak i samym zakłóceniem. Publikując szczegółowe informacje na temat działania sieci, firma oferuje szablon, którego inni dostawcy i organy ścigania mogą używać do wykrywania podobnych nadużyć. Ale sprawa pokazuje również jasno, że zawieszenie kont, niezależnie od tego, jak jest to konieczne, jest środkiem reaktywnym wobec przeciwnika, który może stosunkowo łatwo stworzyć nową tożsamość i przenieść operacje.
Zarówno dla zespołów ds. bezpieczeństwa, jak i dostawców sztucznej inteligencji wniosek jest taki, że obrona przed tego typu nadużyciami będzie wymagała ciągłych inwestycji w wykrywanie wzorców, wymianę danych między firmami i współpracę z władzami, które mogą przeciwdziałać samym związkom fizycznym. Warstwy cyfrowej i warstwy fizycznej, jak pokazuje ten przypadek, nie da się już rozdzielić.
Wyprzedź sztuczną inteligencję
Aby uzyskać więcej informacji na temat zagrożeń bezpieczeństwa, dylematów etycznych i debat politycznych wokół sztucznej inteligencji, śledź najświeższe wiadomości dotyczące sztucznej inteligencji w AI Buzz Wire.
Przeczytaj więcej aktualności o sztucznej inteligencji →
