OpenAI、強制労働と人身売買に関連したカンボジア拠点のChatGPT詐欺組織を妨害

OpenAI は、被害者の詐欺や強制労働施設内の業務管理に AI を使用していたカンボジアを拠点とする ChatGPT 詐欺ネットワークを妨害しました。

OpenAIは、カンボジアのポイペトで活動しているChatGPT主導の組織的詐欺ネットワークを妨害したと同社は、犯罪グループが強制労働施設の日常業務に商業用人工知能モデルをどのように組み込んでいるかを詳述した報告書で明らかにした。

「犯罪詐欺作戦の妨害」というタイトルで7月31日に公開されたこの開示書では、ChatGPTを世界中の被害者を欺くためだけでなく、人身売買に関連した企業の内部構造を管理するためにも使用したシンジケートについて説明している。この事件は、大規模な言語モデルが組織犯罪の運用インフラとしてどのように再利用されているかを知る手がかりとなる。 AI の誤用とガードレールに関する継続的なレポートについては、AI Buzz Wire で最新の AI 開発をフォローしてください。

ネットワークの運用方法

OpenAI の調査結果によると、この犯罪企業は ChatGPT を利用して被害者への働きかけを翻訳し、不正な投資インターフェースを生成し、偽の法的通知の草案を作成していました。オペレーターは、WhatsApp や Telegram などのメッセージングプラットフォームを通じて個人をターゲットにし、3 段階の詐欺ライフサイクルを繰り返しました。

この計画は通常、信頼を築くことを目的としたロマンチックな誘いから始まり、次に偽の仮想通貨投資プラットフォームへと方向転換し、最終的には初期の売り込みが失敗すると偽の法執行機関からの罰金を課すという脅迫にまでエスカレートしました。オペレーターは単一の詐欺業界に限定せず、ロマンチックな設定と偽の金取引デスクを組み合わせ、ターゲットをギャンブルチャネルに誘導して、支払いまでの経路の数を最大化しました。

この作戦を際立たせていたのは、その AI 使用の規模と規律でした。シンジケートは、少数の 1 回限りのプロンプトを実行するのではなく、生成モデルを体系化し、複数の言語にわたる説得力のあるローカライズされたコミュニケーションを大量に生成しました。

強制労働の側面

最も気がかりな調査結果は、被害者側の詐欺行為からではなく、グループの内部活動から得られたものでした。調査中に回収された即時のログにより、オペレーターはタイとカンボジアの国境近くにある物理的な詐欺施設内の管理タスクにChatGPTを使用していたことが明らかになりました。

これらのログには、経営陣とのコミュニケーションの翻訳、労働者の借金の記録、ビザの超過滞在の記録、懲戒罰金の追跡などが含まれていました。一部のエントリでは、強制拘留、逃亡労働者、人身売買ネットワークに言及していました。この詳細は、東南アジアの詐欺複合体に関する長年の報道と一致している。この詐欺複合体は、パスポートを没収し、暴力の脅威の下でサイバー犯罪労働を強制する前に、不正な行政オファーで求職者を誘惑することが多い。

言い換えれば、AI モデルは二重の役割を果たしていました。つまり、外部の被害者に対する武器として機能すると同時に、捕虜となった労働力の管理ソフトウェアとして機能するということです。

OpenAI の応答

OpenAIは、この作戦に関連するアカウントを特定して遮断し、シンジケートのモデルへのアクセスをブロックしたと述べた。同社は今回の混乱を、同社のプラットフォームを金融犯罪や人権侵害に悪用するネットワークを検出し解体する広範な取り組みの一環として位置づけた。

この訴訟は、AIプロバイダーにとっての課題が増大していることを浮き彫りにしている。悪意のある攻撃者は、商用言語モデルを単なる外部兵器として扱うのではなく、運用ミドルウェアとして展開し、犯罪企業のバックオフィス機構に組み込んでいます。この種の虐待を検出するには、被害者に向けた明らかなプロンプトを超えて目を向ける必要があります。

新たな検出の問題

操作のセキュリティ分析では、詐欺関連のプロンプトに対する単純なキーワードフィルタリングではもはや十分ではないことが示唆されています。管理上の使用例 (メモの翻訳、借金の追跡、出席の記録) は、単独ではありふれたものとして認識され、あからさまな詐欺スクリプトよりもフラグを立てるのがはるかに困難です。

混乱の報道によると、この性質の悪用を検出するには、クロスプラットフォームのインテリジェンスの共有と管理プロンプトの行動分析がますます必要になり、個々のリクエストが良性であるように見えても、犯罪行為は明確な操作の足跡を残します。モデルに「このマネージャーのメッセージを翻訳してください」というプロンプトは本質的に疑わしいものではありませんが、既知の化合物に関連付けられたアカウントから発生するそのようなプロンプトが何百も存在し、パターンを形成します。

全体像

カンボジアでの作戦は、生成型 AI の悪用対象がディープフェイクやスパムをはるかに超えて拡大していることを示す最新の兆候です。テクノロジーが成熟するにつれて、最も価値の高い悪用が最も目立たなくなる可能性があります。それは、被害者の翻訳から従業員管理に至るまで、違法ビジネスの物流を静かに実行する AI です。

OpenAI とその競合他社にとって、この変化は監視責任をどこまで拡張すべきかという難しい問題を引き起こします。プロバイダーはアカウントを一時停止することができるが、その根底にある化合物、人身売買ネットワーク、強制労働環境は依然として残っている。デジタル層の破壊は役立ちますが、これらの運用を維持する物理インフラストラクチャは解体されません。

この開示は、より広範な規制の最中にも行われた。新しい透明性ルールが発効し、AI企業に対してモデルの使用方法を説明するよう圧力が高まる中、今回のようなケースは、施行の優先順位と将来のシステムに組み込まれる技術的保護プロバイダーの両方を形作る可能性が高い。

また、不快な非対称性も強調されます。 ChatGPT を正規の企業にとって価値あるものにする言語機能 (翻訳、草稿、要約) と同じものは、まさに国境や言語を越えて活動する犯罪企業にとって魅力的なものとなっています。中小企業が十数カ国の顧客にリーチできるモデルは、あらゆる大陸の被害者をターゲットとする詐欺シンジケートの支援にも同様に簡単に役立ちます。違いはテクノロジーではなく、それを取り巻くインフラストラクチャにあり、プロバイダーの可視性が最も低いのはそこです。

次に何が起こるか

OpenAI の情報開示は、破壊そのものと同様に、その透明性でも注目に値します。同社は、ネットワークの運用方法の詳細を公開することで、他のプロバイダーや法執行機関が同様の不正行為を発見するために使用できるテンプレートを提供している。しかし、この訴訟はまた、アカウントの停止が、たとえそれが必要であっても、新しいアイデンティティを作成し、比較的容易に業務を移転する可能性がある敵対者に対する事後措置であることも明らかにしています。

セキュリティチームと AI プロバイダーの両方にとって重要なのは、この種の悪用を防御するには、パターン検出、企業間のデータ共有、および物理的化合物自体に対して行動できる当局との協力への継続的な投資が必要であるということです。この事例が示すように、デジタル層と物理層はもはや分離できません。