O procurador da cidade de São Francisco ordenou que a Apple e o Google removessem aplicativos de nudificação de inteligência artificial de suas lojas de aplicativos, alertando que as plataformas estão violando as leis da Califórnia que proíbem serviços que criam pornografia deepfake. A procura agrava um confronto crescente sobre ferramentas de IA que transformam fotos comuns de pessoas reais em imagens explícitas, uma crise que vitimou desproporcionalmente mulheres e crianças.
A escala do problema
Os aplicativos de nudificação usam IA generativa para tornar trivialmente fácil tirar roupas de fotos de pessoas reais, alterar suas características, colocá-las em posições sexualizadas e trocar rostos nos corpos nus de outras pessoas. A tecnologia proliferou rapidamente nas lojas de aplicações móveis e os resultados estão a ser usados para intimidar, humilhar e ameaçar as vítimas com consequências devastadoras.
O procurador da cidade de São Francisco, David Chiu, disse à Wired que seu escritório ficou absolutamente horrorizado com o quão onipresente a tecnologia de nudificação se tornou, vitimando principalmente mulheres e crianças em uma escala alarmante à medida que mais ferramentas inundavam o mercado. As imagens, disse ele, são usadas para destruir reputações, prejudicar a saúde mental e privar as vítimas da autonomia, com alguns alvos tornando-se suicidas.
O que as cartas exigem
O escritório de Chiu enviou cartas formais a ambas as empresas alertando que suas lojas de aplicativos estavam violando as leis da Califórnia que proíbem serviços de apoio que criam pornografia deepfake, de acordo com a Wired. Ele pediu ao Google que removesse cinco aplicativos e à Apple que removesse oito. Os aplicativos específicos não foram mencionados em reportagens públicas para evitar levar as pessoas a eles, mas a Wired observou que um aplicativo sinalizado acumulou mais de um milhão de downloads e anunciou abertamente recursos para sexualizar imagens de mulheres ou produzir vídeos gratuitos e sem censura.
O escritório de Chiu estimou que a Apple e o Google provavelmente ganharam milhões de dólares em taxas ao permitir que aplicativos prejudiciais permanecessem em suas lojas, em vez de tomar medidas mais enérgicas ou desenvolver melhores sistemas de detecção. O procurador da cidade caracterizou a situação como um lucro com um incômodo público, argumentando que permitir que tais aplicativos permaneçam disponíveis é inaceitável.
Google responde, Apple permanece em silêncio
Em comunicado à Ars Technica, o porta-voz do Google, Dan Jackson, confirmou que os cinco aplicativos sinalizados por Chiu foram suspensos da Google Play Store por violarem as políticas contra conteúdo prejudicial. Jackson disse que o Google Play não permite aplicativos que contenham conteúdo sexual e que a empresa toma continuamente medidas proativas para detectar e remover aplicativos com conteúdo prejudicial. Quando violações são relatadas, disse Jackson, o Google investiga e toma medidas rápidas, que incluem a suspensão de centenas de aplicativos violadores e a restrição de termos de pesquisa relacionados, como nudificar, em sua loja.
A resposta da Apple foi marcadamente diferente. Embora a empresa tenha removido alguns aplicativos sinalizados por pesquisadores no passado, ela permaneceu notavelmente silenciosa em meio a apelos mais agressivos para aplicativos de nudificação policial em sua App Store. A fabricante do iPhone não forneceu imediatamente uma resposta pública detalhada às exigências do procurador municipal.
O jogo de detecção de gato e rato
O desafio de policiar esses aplicativos é agravado pela evolução de suas táticas. A Wired relatou que pesquisadores alertaram recentemente que alguns aplicativos prejudiciais melhoraram em evitar remoções de lojas de aplicativos, anunciando apenas recursos de troca de rosto, enquanto ocultam suas capacidades de nudificação. Em um artigo pré-impresso de maio, os pesquisadores identificaram 420 aplicativos comercializados como ferramentas genéricas de troca de rosto e testaram 155 deles. Em mais de 70% dos casos, os aplicativos poderiam ser usados para sexualizar imagens, demonstrando como facilmente funcionalidades prejudiciais se escondem atrás de marketing inócuo.
Essa lacuna de detecção significa que mesmo quando as lojas de aplicativos procuram proativamente por ferramentas de nudificação, muitas escapam apresentando-se como entretenimento inofensivo ou software de edição de fotos. As descobertas dos pesquisadores sugerem que o verdadeiro número de aplicativos problemáticos em circulação é provavelmente muito maior do que os treze sinalizados pelo escritório de Chiu.
O precedente Grok
A repressão ao aplicativo nudify também se cruza com um debate mais amplo sobre conteúdo prejudicial gerado por IA. Esta semana, a xAI entrou com uma ação judicial confirmando que havia encontrado casos de materiais de abuso sexual infantil gerados por Grok e imagens íntimas não consensuais direcionadas a adultos. Para resolver o uso indevido, a xAI processou o usuário supostamente responsável por levar Grok a gerar o conteúdo ilegal.
O caso Grok levanta uma questão mais espinhosa para as lojas de aplicativos: se os chatbots de IA que podem ser solicitados a produzir conteúdo ilegal deveriam estar sujeitos a remoção. A Apple teria dito aos senadores em abril que havia ameaçado de forma privada remover Grok da App Store, de acordo com a NBC News, mas o aplicativo xAI continua disponível até hoje. Enquanto for possível usar o Grok para gerar conteúdo ilegal, as lojas de aplicativos provavelmente continuarão a enfrentar pressão para agir, assim como Chiu exigiu para aplicativos independentes de nudificação.
Um ponto de viragem para a responsabilidade da plataforma
A ordem de São Francisco representa uma das intervenções governamentais mais agressivas até o momento, visando lojas de aplicativos por meio de conteúdo prejudicial gerado por IA. Ao invocar as leis de pornografia falsa da Califórnia, Chiu está testando se os estatutos estaduais podem obrigar os operadores de plataforma a assumir a responsabilidade pelas ferramentas de IA distribuídas através de seus mercados.
O resultado poderia estabelecer um precedente para a forma como outras jurisdições abordam o problema e se o fardo do policiamento de imagens não consensuais geradas por IA recai sobre os desenvolvedores, operadores de plataforma ou ambos. Para os milhões de pessoas, predominantemente mulheres e raparigas, que foram alvo destas ferramentas, os riscos vão muito além da teoria regulamentar.
Fique à frente da IA
Para uma cobertura contínua da ética da IA, da responsabilidade da plataforma e das batalhas regulatórias sobre meios de comunicação sintéticos prejudiciais, siga AI Buzz Wire para reportar sobre as questões que moldam o impacto da IA na sociedade.
Leia mais notícias sobre ética em IA →
