Uma mulher identificada em processos judiciais como Jane Doe 4 entrou em uma ação judicial contra o xAI de Elon Musk sobre o papel que o chatbot da empresa, Grok, supostamente desempenhou na criação de material de abuso sexual infantil, informou o TechCrunch no sábado, citando uma reportagem do The Washington Post.
A mulher alegou que seu padrasto usou Grok para manipular uma fotografia tirada quando ela tinha 11 anos para criar mais de 7.000 imagens explícitas dela, segundo a reportagem. Ela também disse que seu padrasto foi encontrado morto por suicídio dois dias depois que as imagens foram descobertas em uma operação policial. Para mais contexto sobre esta história, confira nossa notícias de IA.
“O acesso ilimitado a estas ferramentas está a espalhar-se muito rapidamente”, disse a mulher. “Isso está pegando a vida cotidiana e transformando-a em abuso sexual infantil”.
O caso é uma das alegações mais graves até à data, envolvendo um chatbot de IA convencional e a criação de imagens sexuais de uma criança real, e agrava um processo que se tornou um ponto focal no debate sobre as protecções para a geração de imagens de IA.
As principais reivindicações do processo
A ação foi originalmente movida por três adolescentes do Tennessee que acusaram a xAI – que agora faz parte da SpaceX – de não tomar precauções básicas para evitar que Grok fosse usado para criar imagens explícitas de pessoas reais, incluindo menores. Os demandantes estão buscando o status de ação coletiva, o que permitiria que outros que alegassem danos semelhantes se juntassem ao caso.
O arquivo de Jane Doe 4 acrescenta um conjunto nomeado de detalhes angustiantes: uma única fotografia de infância, uma ferramenta de IA supostamente usada para gerar milhares de derivados abusivos e uma tragédia familiar que se desenrolou poucos dias após a descoberta do material pelas autoridades.
O TechCrunch disse que entrou em contato com a xAI para comentar. As alegações são reivindicações em litígios cíveis em andamento e não foram provadas em tribunal. Se você ou alguém que você conhece está em crise, o 988 Suicide and Crisis Lifeline nos Estados Unidos pode ser contatado por telefone ou mensagem de texto no 988.
Um padrão de pressão sobre Grok
O processo chega em meio a um ano de crescente escrutínio das capacidades de geração de imagens de Grok. No início deste ano, o X foi inundado com milhões de imagens sexualizadas geradas pelo Grok, um episódio que atraiu críticas generalizadas às salvaguardas em torno da ferramenta. O episódio ajudou a alimentar uma onda de legislação estadual visando os chamados aplicativos de “nudificação” e imagens sintéticas não consensuais; A proibição de tais ferramentas em Minnesota entrou em vigor depois que um juiz negou o pedido da xAI de uma liminar para bloquear sua aplicação.
Os riscos do caso do Tennessee vão além do xAI. Os demandantes argumentam que as empresas que implementam ferramentas de geração de imagens em grande escala têm o dever de criar salvaguardas técnicas que impeçam a sexualização de pessoas reais e identificáveis – e especialmente crianças – antes que os produtos cheguem ao público. Esse argumento, se aceito por um tribunal, poderá estabelecer um padrão jurídico que alcance todos os fornecedores de modelos de geração de imagens.
O problema não resolvido da indústria
Para as empresas de IA, prevenir o uso indevido de geradores de imagens contra pessoas reais tem se mostrado extremamente difícil. As ferramentas de marca d’água e de proveniência — como as que a Anthropic começou a adicionar aos resultados de Claude para cumprir as regras de transparência da UE — podem ajudar a identificar conteúdo sintético após o fato, mas, em primeiro lugar, não impedem a geração de material abusivo. Os filtros de entrada e saída podem bloquear padrões conhecidos, mas determinados usuários encontram continuamente soluções alternativas, e os modelos de imagem de peso aberto tornaram alguns recursos impossíveis de serem totalmente recuperados.
As alegações no caso xAI apontam para o extremo mais grave desse espectro: a alegação de que uma única foto de uma criança poderia ser transformada em milhares de imagens explícitas usando uma ferramenta operada por uma das empresas de IA mais proeminentes do mundo, que comercializa Grok para milhões de assinantes como um produto de consumo.
Especialistas jurídicos que acompanham o caso dizem que a ação coletiva testará se os tribunais tratam as falhas na prevenção desse uso indevido como um defeito do produto pelo qual as empresas de IA são responsáveis – ou como uso indevido por usuários individuais que está fora da responsabilidade das empresas.
O que vem a seguir
O objetivo imediato dos demandantes é a certificação de classe, o que expandiria drasticamente o conjunto de potenciais reclamantes contra xAI. Por sua vez, a xAI argumentou em litígios relacionados que a responsabilidade pelo uso indevido é dos usuários, não da ferramenta. A adição de Jane Doe 4, com o seu relato contundente de alegados danos a uma criança, aumenta a pressão pública e política em torno dessa defesa.
O caso desenrola-se à medida que os reguladores nos Estados Unidos e na Europa debatem as obrigações de transparência e as normas de segurança para a IA generativa, e à medida que se acumulam provas de que a utilização indevida da geração de imagens não se limita a ferramentas marginais. Quer a resposta chegue em tribunal, na legislação ou nas escolhas de engenharia das próprias empresas de IA, a questão central do processo – até que ponto a prevenção de danos deve ser incorporada antes de um produto de IA ser lançado – continua a ser o problema em aberto mais desconfortável da indústria.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
