サンフランシスコ市、ディープフェイクポルノ法を理由にAppleとGoogleにAI Nudifyアプリの削除を命令

サンフランシスコ市の弁護士は、ディープフェイクポルノ法と大規模な女性と子供への被害を理由に、アップルとグーグルに対し、ストアからAIを無効にするアプリを削除するよう要求した。

サンフランシスコ市の市検事は、アップルとグーグルに対し、人工知能ヌード化アプリがディープフェイクポルノを作成するサービスを禁止するカリフォルニア州法に違反しているとして、アプリストアから削除するよう命じた。この要求により、現実の人物の普通の写真をあからさまな画像に変換する AI ツールをめぐる対立が激化し、この危機により女性と子供が不当に犠牲になっている。

問題の規模

ヌード化アプリは生成 AI を使用して、実際の人物の写真から衣服を剥ぎ取り、特徴を変更し、性的な位置に配置し、顔を他の人の裸体に入れ替えることを簡単に実行します。このテクノロジーはモバイルアプリストア全体で急速に拡散し、その結果は被害者をいじめ、屈辱を与え、脅迫するために利用され、壊滅的な結果をもたらしています。

サンフランシスコ市検事のデビッド・チウ氏は、より多くのツールが市場に氾濫する中、驚くべき規模で主に女性と子供が被害に遭い、ヌード技術がこれほど普及し、主に女性と子供が被害に遭っていることに彼の事務所は完全に恐怖を感じているとワイアードに語った。同氏によると、これらの画像は評判を毀損し、精神的健康を損ない、被害者の自主性を剥奪するために利用されており、一部の標的は自殺に追い込まれているという。

手紙が求めるもの

Wired によると、チウ氏の事務所は両社に対し、両社のアプリストアがディープフェイクポルノを作成するサービスのサポートを禁止するカリフォルニア州法に違反していると警告する正式な書簡を送ったという。同氏はGoogleに5つのアプリを削除するよう、Appleに8つのアプリを削除するよう求めた。人々をそのアプリに誘導することを避けるため、公開報道では特定のアプリの名前は公表されなかったが、ワイヤードは、報告されたアプリの1つは累計ダウンロード数が100万件を超え、女性の画像を性的に扱ったり、無料の無修正動画を制作したりする機能を公然と宣伝していたと指摘した。

邱氏の事務所は、アップルとグーグルは、より強力な措置を講じたり、より優れた検出システムを開発したりするのではなく、有害なアプリをストアに放置することで数百万ドルの手数料を得た可能性が高いと推定している。市検事はこの状況を公共の迷惑行為から利益を得ていると位置づけ、そのようなアプリを利用可能な状態にしておくのは容認できないと主張した。

Googleは反応するが、Appleは沈黙を保つ

Ars Technicaへの声明の中で、Googleの広報担当ダン・ジャクソン氏は、Chiu氏が報告した5つのアプリが有害なコンテンツに対するポリシーに違反したとしてGoogle Playストアから停止されたことを認めた。ジャクソン氏は、Google Playでは性的コンテンツを含むアプリを許可しておらず、同社は有害なコンテンツを含むアプリを検出して削除するための積極的な措置を継続的に講じていると述べた。ジャクソン氏によると、違反が報告されると、Googleは調査し、何百もの違反アプリを停止したり、ストアでの「nudify」などの関連検索用語を制限したりするなど、迅速な措置を講じるという。

Appleの対応はこれまでとは大きく異なっている。同社は過去に研究者らによって報告された一部のアプリを削除したが、それ以外の場合、App Storeで警察による裸体化アプリをより積極的に求める声が上がる中、特に沈黙を保ってきた。 iPhoneメーカーは市検事の要求に対し、すぐには詳細な公的回答を示さなかった。

検出のいたちごっこ

これらのアプリを取り締まるという課題は、進化する戦術によってさらに複雑になっています。 Wired の報道によると、研究者らは最近、一部の有害なアプリが、顔交換機能のみを宣伝し、裸化機能を隠すことで、アプリストアの削除をうまく回避していると警告したと報じた。 5月のプレプリント論文で、研究者らは汎用の顔交換ツールとして販売されている420のアプリを特定し、そのうちの155をテストした。 70% 以上のケースで、アプリは画像を性的なものにするために使用される可能性があり、有害な機能がいかに簡単に無害なマーケティングの背後に隠れるかを示しています。

この検出ギャップは、アプリストアが積極的に nudify ツールを検索しても、多くのツールが無害なエンターテイメントソフトウェアや写真編集ソフトウェアを装ってすり抜けていることを意味します。研究者の調査結果は、流通している問題のあるアプリの実際の数は、Chiu 氏の事務所が報告した 13 件よりもはるかに多い可能性があることを示唆しています。

Grok の先例

nudify アプリの取り締まりは、AI によって生成された有害なコンテンツをめぐる広範な議論とも交差しています。今週、xAIは訴訟を起こし、Grokが作成した児童性的虐待素材や成人を対象とした同意のない親密な画像の事例を確認したことを確認した。この悪用に対処するために、xAI は、Grok に違法なコンテンツの生成を促した責任があるとしてユーザーを告訴しました。

Grok事件は、アプリストアにとって、違法なコンテンツの作成を促す可能性のあるAIチャットボット自体が削除の対象となるべきかどうかという、より厄介な問題を提起している。 NBC News によると、Appleは4月に上院議員に対し、GrokをApp Storeから削除すると非公開で脅迫したと伝えたと伝えられているが、xAIアプリは現在も利用可能である。 Grok を使用して違法コンテンツを生成できる限り、Chiu 氏がスタンドアロンのヌード化アプリを要求したのと同じように、アプリストアは今後も対策を講じるよう圧力にさらされ続ける可能性があります。

プラットフォームの責任の転換点

サンフランシスコの命令は、AIが生成した有害なコンテンツを巡ってアプリストアを標的としたこれまでで最も積極的な政府介入の1つを表している。チウ氏は、カリフォルニア州のディープフェイクポルノ法を援用することで、州法がプラットフォーム事業者に市場を通じて配布されるAIツールに対する責任を強制できるかどうかを試している。

この結果は、他の管轄区域がこの問題にどのように取り組むか、またAIが生成した同意のない画像の取り締まりの負担が開発者かプラットフォーム運営者、あるいはその両方にかかるのかについて先例となる可能性がある。これらのツールの標的となっている何百万人もの人々（主に女性と少女）にとって、リスクは規制理論をはるかに超えています。