샌프란시스코, 애플과 구글에 딥페이크 포르노 법을 인용한 AI 누드 앱을 제거하라고 명령

샌프란시스코 시 검사는 애플과 구글이 딥페이크 포르노 관련법을 인용하고 여성과 어린이를 대규모로 희생시킨다는 이유로 매장에서 AI 누드화 앱을 제거할 것을 요구했습니다.

샌프란시스코 시 검사는 애플과 구글에 인공지능 누드화 앱을 앱 스토어에서 제거하라고 명령했으며, 해당 플랫폼이 딥페이크 포르노 제작 서비스를 금지하는 캘리포니아 법률을 위반하고 있다고 경고했습니다. 이러한 수요는 실제 인물의 평범한 사진을 노골적인 이미지로 변환하는 AI 도구에 대한 대립이 커지고 있으며, 위기 상황에서 여성과 어린이가 불균형적으로 희생되고 있습니다.

문제의 규모

누드화 앱은 생성 AI를 사용하여 실제 인물 사진에서 옷을 벗기고, 특징을 변경하고, 성적인 자세로 배치하고, 다른 사람의 알몸과 얼굴을 바꾸는 일을 아주 쉽게 만듭니다. 이 기술은 모바일 앱 스토어 전반에 빠르게 확산되었으며, 그 결과는 파괴적인 결과를 초래하는 피해자를 괴롭히고 모욕하고 위협하는 데 사용되고 있습니다.

샌프란시스코 시 검사 데이비드 치우(David Chiu)는 와이어드(Wired)와의 인터뷰에서 나체화 기술이 얼마나 보편화되었는지에 대해 자신의 사무실이 완전히 충격을 받았으며, 더 많은 도구가 시장에 범람함에 따라 대부분 여성과 어린이를 놀라운 규모로 희생시켰다고 말했습니다. 그는 이미지가 평판을 파괴하고 정신 건강을 손상시키며 피해자의 자율성을 박탈하는 데 사용되며 일부 목표는 자살을 시도한다고 말했습니다.

편지가 요구하는 것

Wired에 따르면 Chiu의 사무실은 두 회사 모두에 그들의 앱 스토어가 딥페이크 포르노를 생성하는 서비스 지원을 금지하는 캘리포니아 법률을 위반하고 있다고 경고하는 공식 서한을 보냈습니다. 그는 Google에 5개의 앱을 제거하도록 요청했고 Apple에는 8개의 앱을 제거하도록 요청했습니다. 특정 앱은 사람들을 해당 앱으로 유도하는 것을 피하기 위해 공개 보고서에 이름이 지정되지 않았지만 Wired는 플래그가 지정된 한 앱이 백만 건 이상의 다운로드를 기록했으며 여성의 이미지를 성적으로 표현하거나 무료 및 검열되지 않은 비디오를 제작하는 기능을 공개적으로 광고했다고 지적했습니다.

Chiu의 사무실은 Apple과 Google이 더 강력한 조치를 취하거나 더 나은 탐지 시스템을 개발하는 대신 유해한 앱을 스토어에 그대로 유지함으로써 수백만 달러의 수수료를 벌었을 가능성이 있다고 추정했습니다. 시 검사는 이러한 앱을 계속 사용할 수 있도록 허용하는 것은 용납할 수 없다고 주장하면서 이 상황을 공공의 방해를 이용하여 이익을 얻는 것이라고 규정했습니다.

Google은 응답하고 Apple은 침묵을 유지합니다

Google 대변인 Dan Jackson은 Ars Technica에 보낸 성명에서 Chiu가 신고한 5개 앱이 유해 콘텐츠에 대한 정책을 위반하여 Google Play 스토어에서 정지되었음을 확인했습니다. 잭슨은 구글 플레이가 성적인 콘텐츠가 포함된 앱을 허용하지 않으며 회사는 유해한 콘텐츠가 포함된 앱을 감지하고 제거하기 위해 지속적으로 적극적인 조치를 취하고 있다고 말했습니다. 잭슨은 위반 사항이 보고되면 Google이 이를 조사하고 수백 개의 위반 앱을 정지하고 스토어에서 nudify와 같은 관련 검색어를 제한하는 등 신속한 조치를 취한다고 말했습니다.

애플의 반응은 확연히 달랐다. 회사는 과거에 연구원들이 신고한 일부 앱을 제거했지만 앱스토어에서 경찰이 누드화 앱을 더욱 적극적으로 요구하는 가운데 눈에 띄게 침묵을 지켰습니다. 아이폰 제조사는 시 검사의 요구에 대해 자세한 공개 답변을 즉각 제공하지 않았습니다.

고양이와 쥐 탐지 게임

이러한 앱을 단속하는 과제는 진화하는 전술로 인해 더욱 복잡해졌습니다. Wired는 최근 일부 유해 앱이 노출 기능을 숨기고 얼굴 교환 기능만 광고함으로써 앱 스토어 제거를 더 잘 피하고 있다고 연구원들이 경고했다고 보도했습니다. 5월 사전 인쇄 논문에서 연구원들은 일반적인 얼굴 교환 도구로 판매되는 420개의 앱을 식별하고 그 중 155개를 테스트했습니다. 70% 이상의 사례에서 앱은 이미지를 성적으로 표현하는 데 사용될 수 있으며, 이는 유해한 기능이 무해한 마케팅 뒤에 얼마나 쉽게 숨어 있는지 보여줍니다.

이러한 탐지 격차는 앱 스토어가 적극적으로 누드 도구를 검색하더라도 많은 앱이 무해한 엔터테인먼트 또는 사진 편집 소프트웨어로 위장하여 빠져나가는 것을 의미합니다. 연구진의 연구 결과에 따르면 현재 유통되고 있는 문제가 있는 앱의 실제 개수는 Chiu 사무실에서 신고한 13개보다 훨씬 많을 가능성이 높습니다.

그록 선례

Nudify 앱 단속은 AI가 생성한 유해 콘텐츠에 대한 광범위한 논쟁과도 교차합니다. 이번 주 xAI는 Grok이 생성한 아동 성적 학대 자료와 성인을 대상으로 한 합의되지 않은 친밀한 이미지의 사례를 발견했음을 확인하는 소송을 제기했습니다. 이러한 오용을 해결하기 위해 xAI는 Grok에게 불법 콘텐츠를 생성하도록 유도한 책임이 있는 사용자를 고소했습니다.

Grok 사건은 앱 스토어에 더 까다로운 질문을 제기합니다. 불법 콘텐츠를 생성하도록 유도할 수 있는 AI 챗봇 자체가 제거 대상이 되어야 하는지 여부입니다. NBC 뉴스에 따르면 Apple은 지난 4월 상원 의원들에게 App Store에서 Grok을 제거하겠다고 개인적으로 위협했다고 밝혔지만 xAI 앱은 현재도 계속 사용할 수 있습니다. Grok을 사용하여 불법 콘텐츠를 생성하는 것이 가능한 한, Chiu가 독립형 누드화 앱을 요구한 것처럼 앱 스토어는 계속해서 조치를 취하라는 압력에 직면할 가능성이 높습니다.

플랫폼 책임의 전환점

샌프란시스코 명령은 AI로 생성된 유해 콘텐츠에 대한 앱 스토어를 표적으로 삼아 현재까지 가장 공격적인 정부 개입 중 하나를 나타냅니다. Chiu는 캘리포니아의 딥페이크 음란물 법을 적용하여 주 법령이 플랫폼 운영자에게 시장을 통해 배포되는 AI 도구에 대한 책임을 지도록 강요할 수 있는지 테스트하고 있습니다.

그 결과는 다른 관할권이 문제에 접근하는 방식과 AI가 생성한 합의되지 않은 이미지를 단속하는 부담이 개발자, 플랫폼 운영자 또는 둘 모두에게 있는지에 대한 선례가 될 수 있습니다. 이러한 도구의 표적이 된 수백만 명의 사람들, 주로 여성과 소녀들에게 있어 이해관계는 규제 이론을 훨씬 뛰어넘는 것입니다.