OpenAI는 캄보디아 포이펫(Poipet)에서 운영되는 조직화된 ChatGPT 기반 사기 네트워크를 중단시켰습니다. 이 회사는 범죄 집단이 현재 강제 노동 화합물의 일상 작업에 상업용 인공 지능 모델을 어떻게 내장하고 있는지 자세히 설명하는 보고서를 통해 공개했습니다.

7월 31일 "범죄 사기 작전 방해"라는 제목으로 공개된 이 공개 내용은 ChatGPT를 사용하여 전 세계의 피해자를 속일 뿐만 아니라 인신매매와 관련된 기업의 내부 활동을 관리하는 신디케이트에 대해 설명합니다. 이 사례는 대규모 언어 모델이 조직 범죄를 위한 운영 인프라로 어떻게 용도 변경되고 있는지 보여주는 창을 제공합니다. AI의 오용과 가드레일에 대한 지속적인 보고를 위해서는 AI Buzz Wire의 최신 AI 개발을 팔로우하세요.

네트워크 작동 방식

OpenAI의 조사 결과에 따르면 범죄 기업은 ChatGPT를 사용하여 피해자 지원 활동을 번역하고, 사기성 투자 인터페이스를 생성하고, 가짜 법적 고지 초안을 작성했습니다. 운영자는 WhatsApp 및 Telegram을 포함한 메시징 플랫폼을 통해 개인을 표적으로 삼아 3단계 사기 수명주기를 순환했습니다.

이 계획은 일반적으로 신뢰 구축을 위해 고안된 낭만적인 제안으로 시작된 다음 가짜 암호화폐 투자 플랫폼으로 방향을 틀었고, 최종적으로는 초기 제안이 실패했을 때 가짜 법 집행 벌금을 부과하겠다는 위협으로 확대되었습니다. 운영자는 하나의 사기 분야에만 국한되지 않고 낭만적인 설정과 가짜 금 거래 데스크를 결합하고 대상을 도박 채널로 경로를 변경하여 지불 경로 수를 최대화했습니다.

이 작업을 차별화한 것은 AI 사용의 규모와 규율이었습니다. 몇 가지 일회성 프롬프트를 실행하는 대신 신디케이트에서는 생성 모델을 체계화하여 여러 언어에 걸쳐 대량으로 설득력 있고 현지화된 커뮤니케이션을 생성했습니다.

강제노동 차원

가장 충격적인 결과는 피해자가 직면한 사기 행위가 아니라 해당 그룹의 내부 활동에서 나왔습니다. 조사 중에 복구된 프롬프트 로그에 따르면 운영자는 태국-캄보디아 국경 근처에 위치한 실제 사기 단지 내부에서 관리 작업에 ChatGPT를 사용했다는 사실이 밝혀졌습니다.

이러한 로그에는 경영진 커뮤니케이션 번역, 근로자 부채 기록, 비자 만료 기록 및 징계 벌금 추적이 포함되었습니다. 일부 항목에서는 강제 구금, 탈출한 근로자, 인신매매 네트워크를 언급했습니다. 이 세부 사항은 구직자들을 사기성 행정 제안으로 유인한 후 여권을 압수하고 폭력의 위협을 받으며 사이버 범죄 노동에 강요하는 동남아시아 사기 복합물에 대한 수년간의 보고와 일치합니다.

즉, AI 모델은 이중 임무를 수행했습니다. 즉, 외부 피해자에 대해 무기화하는 동시에 포로 인력을 위한 관리 소프트웨어 역할을 했습니다.

OpenAI의 응답

OpenAI는 해당 작업과 관련된 계정을 식별하고 차단하여 해당 모델에 대한 신디케이트의 액세스를 차단했다고 말했습니다. 회사는 이러한 중단을 금융 범죄 및 인권 침해를 위해 플랫폼을 남용하는 네트워크를 탐지하고 해체하려는 광범위한 노력의 일환으로 규정했습니다.

이 사례는 AI 제공업체의 점점 더 큰 과제를 강조합니다. 악의적인 행위자는 더 이상 상업 언어 모델을 단순히 외부 무기로 취급하지 않고 이를 운영 미들웨어로 배포하여 범죄 기업의 백오피스 시스템에 엮고 있습니다. 그러한 종류의 학대를 탐지하려면 피해자를 대하는 명백한 프롬프트 너머를 살펴봐야 합니다.

새로운 감지 문제

작업에 대한 보안 분석에 따르면 사기 관련 메시지에 대한 간단한 키워드 필터링만으로는 더 이상 충분하지 않습니다. 메모 번역, 부채 추적, 출석 기록 등의 관리 사용 사례는 단독으로 보면 평범한 것으로 읽히고 명백한 사기 스크립트보다 신고하기가 훨씬 어렵습니다.

중단 범위에 따르면 이러한 성격의 남용을 감지하려면 플랫폼 간 정보 공유 및 관리 프롬프트에 대한 행동 분석이 점점 더 필요합니다. 여기서 범죄 활동은 개별 요청이 무해해 보이는 경우에도 뚜렷한 운영 발자국을 남깁니다. 모델에게 "이 관리자 메시지를 번역해 달라"고 요청하는 메시지는 본질적으로 의심스럽지 않습니다. 그러나 알려진 화합물에 연결된 계정에서 발생하는 수백 개의 이러한 메시지가 패턴을 형성합니다.

더 큰 그림

캄보디아 작전은 생성 AI의 남용 표면이 딥페이크와 스팸을 훨씬 넘어 확장되었음을 보여주는 최신 신호입니다. 기술이 성숙해짐에 따라 가장 가치 있는 오용은 가장 눈에 띄지 않을 수 있습니다. AI는 피해자 번역부터 인력 관리에 이르기까지 불법 비즈니스의 물류를 조용히 운영합니다.

OpenAI와 경쟁업체의 경우 이러한 변화는 모니터링 책임이 얼마나 확장되어야 하는지에 대한 어려운 질문을 제기합니다. 제공업체는 계정을 정지할 수 있지만 기본 화합물, 인신매매 네트워크, 강제 노동 조건은 그대로 유지됩니다. 디지털 계층을 중단하면 도움이 되지만 이러한 운영을 유지하는 물리적 인프라를 해체하지는 않습니다.

이 공개는 또한 더 광범위한 규제 순간에 이루어졌습니다. 새로운 투명성 규칙이 발효되고 AI 회사가 모델 사용 방법을 설명해야 한다는 압력이 커지면서 이와 같은 사례는 시행 우선순위와 기술 보호 제공업체가 미래 시스템에 구축하는 두 가지 모두를 결정하게 될 가능성이 높습니다.

또한 불편한 비대칭성을 강조합니다. 번역, 초안 작성, 요약 등 ChatGPT를 합법적인 비즈니스에 가치 있게 만드는 동일한 언어 기능은 국경과 언어를 넘어 활동하는 범죄 기업에 매력적인 요소입니다. 소규모 기업이 12개 국가의 고객에게 다가갈 수 있는 모델은 사기 조직이 모든 대륙의 피해자를 표적으로 삼는 데 도움이 될 수 있습니다. 차이점은 기술이 아니라 이를 둘러싼 인프라에 있으며, 여기서 공급자는 가시성이 가장 낮습니다.

다음에 나올 내용

OpenAI의 공개는 혼란 자체만큼이나 투명성 측면에서도 주목할 만합니다. 네트워크 운영 방식에 대한 세부 정보를 게시함으로써 회사는 다른 제공업체와 법 집행 기관이 유사한 남용을 발견하는 데 사용할 수 있는 템플릿을 제공하고 있습니다. 그러나 이 사례에서는 계정 정지가 아무리 필요하더라도 새로운 ID를 생성하고 상대적으로 쉽게 작전을 재배치할 수 있는 적에 대한 대응 조치라는 점을 분명히 밝혔습니다.

보안 팀과 AI 제공업체 모두에게 중요한 점은 이러한 종류의 남용을 방어하려면 패턴 감지, 기업 간 데이터 공유, 물리적 화합물 자체에 대응할 수 있는 당국과의 협력에 대한 지속적인 투자가 필요하다는 것입니다. 이 사례에서 알 수 있듯이 디지털 계층과 물리적 계층은 더 이상 분리될 수 없습니다.

AI보다 앞서 나가세요

인공 지능을 둘러싼 보안 위험, 윤리적 딜레마 및 정책 토론에 대해 자세히 알아보려면 AI Buzz Wire에서 최신 AI 뉴스를 계속 확인하세요.

AI 뉴스 자세히 보기 →