법원 서류에서 Jane Doe 4로 확인된 여성이 Elon Musk의 xAI를 상대로 회사의 챗봇 Grok이 아동 성적 학대 자료를 제작하는 데 역할을 했다는 소송에 합류했다고 TechCrunch가 워싱턴 포스트(Washington Post)의 보고서를 인용하여 토요일 보도했습니다.

보고서에 따르면 이 여성은 자신의 의붓아버지가 그록을 이용해 자신이 11살이었을 때 찍은 사진을 조작해 자신의 노골적인 이미지 7000장 이상을 만들었다고 주장했다. 그녀는 또한 법 집행 기관의 급습으로 이미지가 발견된 지 이틀 만에 양아버지가 자살한 채 발견됐다고 말했습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

"이러한 도구에 대한 무제한적인 접근이 너무 빨리 확산되고 있습니다"라고 그 여성은 말했습니다. "일상생활을 빼앗아 아동 성적 학대로 바꾸는 것입니다."

이번 사건은 주류 AI 챗봇과 실제 아동의 성적인 이미지를 제작한 혐의 중 가장 심각한 의혹 중 하나로, AI 이미지 생성 가드레일 논란의 초점이 된 소송을 고조시키는 사건이다.

소송의 핵심 주장

이 소송은 원래 현재 SpaceX의 일부가 된 xAI가 미성년자를 포함한 실제 인물의 노골적인 이미지를 생성하는 데 Grok이 사용되는 것을 방지하기 위한 기본적인 예방 조치를 취하지 않았다고 비난한 세 명의 테네시 청소년에 의해 제기되었습니다. 원고는 유사한 피해를 주장하는 다른 사람들이 사건에 참여할 수 있도록 집단 소송 상태를 추구하고 있습니다.

Jane Doe 4의 서류에는 어린 시절 사진 한 장, 수천 개의 악의적인 파생 상품을 생성하는 데 사용된 것으로 알려진 AI 도구, 당국이 해당 자료를 발견한 지 며칠 내에 펼쳐진 가족 비극 등 끔찍한 세부 사항이 추가되었습니다.

TechCrunch는 xAI에 의견을 요청했다고 말했습니다. 해당 주장은 현재 진행 중인 민사소송의 주장으로 법정에서 입증되지 않았다. 귀하 또는 귀하가 아는 사람이 위기에 처한 경우 미국의 988 자살 및 위기 라이프라인에 전화나 문자를 통해 988로 연락할 수 있습니다.

Grok에 대한 압박 패턴

소송은 Grok의 이미지 생성 능력에 대한 조사가 강화되는 가운데 시작되었습니다. 올해 초 X에는 Grok이 생성한 수백만 개의 성적인 이미지가 넘쳐났으며, 이 에피소드는 도구 주변의 보호 장치에 대한 광범위한 비판을 불러일으켰습니다. 이 에피소드는 소위 "나체화" 응용 프로그램과 합의되지 않은 합성 이미지를 표적으로 삼는 주 차원의 입법 물결을 촉발하는 데 도움이 되었습니다. 이러한 도구에 대한 미네소타의 금지 조치는 판사가 xAI의 집행 차단 금지 명령 요청을 거부한 이후 발효되었습니다.

테네시 사건의 이해관계는 xAI를 넘어 확장됩니다. 원고는 이미지 생성 도구를 대규모로 배포하는 회사가 제품이 대중에게 공개되기 전에 식별 가능한 실제 사람, 특히 어린이의 성적 대상화를 방지하는 기술적 보호 장치를 구축할 의무가 있다고 주장합니다. 이 주장이 법원에서 받아들여지면 모든 이미지 생성 모델 제공업체에 적용되는 법적 표준을 확립할 수 있습니다.

업계의 해결되지 않은 문제

AI 회사의 경우 실제 사람을 대상으로 이미지 생성기를 오용하는 것을 방지하는 것이 매우 어려운 것으로 나타났습니다. Anthropic이 EU 투명성 규칙을 준수하기 위해 Claude 출력에 추가하기 시작한 것과 같은 워터마킹 및 출처 도구는 사후에 합성 콘텐츠를 식별하는 데 도움이 될 수 있지만 애초에 악의적인 자료의 생성을 막지는 못합니다. 입력 및 출력 필터는 알려진 패턴을 차단할 수 있지만 결정적인 사용자는 지속적으로 해결 방법을 찾고 개방형 이미지 모델로 인해 일부 기능을 완전히 기억할 수 없게 되었습니다.

xAI 사건의 주장은 그 스펙트럼의 가장 심각한 끝을 가리킵니다. Grok을 소비자 제품으로 수백만 명의 가입자에게 판매하는 세계에서 가장 유명한 AI 회사 중 하나가 운영하는 도구를 사용하여 어린이의 한 장의 사진이 수천 개의 노골적인 이미지로 변환될 수 있다는 주장입니다.

이 사건을 뒤따르는 법률 전문가들은 집단 소송 입찰을 통해 법원이 이러한 오용을 방지하지 못한 것을 AI 회사가 책임을 져야 하는 제품 결함으로 간주하는지, 아니면 회사의 책임을 벗어난 개별 사용자의 오용으로 간주하는지 여부를 테스트할 것이라고 말했습니다.

다음은 무엇일까요?

원고의 즉각적인 목표는 xAI에 대한 잠재적 청구자 풀을 극적으로 확장할 클래스 인증입니다. xAI는 관련 소송에서 오용에 대한 책임은 도구가 아닌 사용자에게 있다고 주장했습니다. 아동에게 해를 끼쳤다고 주장하는 극명한 설명과 함께 Jane Doe 4를 추가하면 해당 방어를 둘러싼 대중 및 정치적 압력이 증가합니다.

미국과 유럽의 규제 당국이 생성 AI에 대한 투명성 의무와 안전 표준을 논의하고 이미지 생성 오용이 비주류 도구에만 국한되지 않는다는 증거가 축적되면서 사건이 전개되고 있습니다. 답변이 법정에서 나오든, 법률에서 나오든, AI 회사 자체의 엔지니어링 선택에서 나오든, 소송의 핵심 질문인 AI 제품이 출시되기 전에 얼마나 많은 피해 방지 기능을 구축해야 하는지는 업계에서 가장 불편한 공개 문제로 남아 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →