El fiscal de la ciudad de San Francisco ordenó a Apple y Google que eliminen las aplicaciones de nudificación de inteligencia artificial de sus tiendas de aplicaciones, advirtiendo que las plataformas están violando las leyes de California que prohíben los servicios que crean pornografía deepfake. La demanda intensifica una creciente confrontación sobre las herramientas de IA que transforman fotos comunes de personas reales en imágenes explícitas, una crisis que ha victimizado de manera desproporcionada a mujeres y niños.

La magnitud del problema

Las aplicaciones de nudificación utilizan inteligencia artificial generativa para que sea trivialmente fácil quitar la ropa de fotos de personas reales, alterar sus rasgos, colocarlas en posiciones sexualizadas e intercambiar caras con los cuerpos desnudos de otras personas. La tecnología ha proliferado rápidamente en las tiendas de aplicaciones móviles y los resultados se están utilizando para intimidar, humillar y amenazar a las víctimas con consecuencias devastadoras.

El fiscal de la ciudad de San Francisco, David Chiu, dijo a Wired que su oficina estaba absolutamente horrorizada por lo omnipresente que se ha vuelto la tecnología nudificante, victimizando principalmente a mujeres y niños a una escala alarmante a medida que más herramientas inundaban el mercado. Las imágenes, dijo, se utilizan para destruir reputaciones, dañar la salud mental y despojar a las víctimas de su autonomía, y algunos objetivos se vuelven suicidas.

Lo que exigen las letras

La oficina de Chiu envió cartas formales a ambas compañías advirtiendo que sus tiendas de aplicaciones estaban violando las leyes de California que prohíben apoyar servicios que crean pornografía deepfake, según Wired. Pidió a Google que eliminara cinco aplicaciones y a Apple que eliminara ocho. Las aplicaciones específicas no fueron nombradas en los informes públicos para evitar atraer a la gente hacia ellas, pero Wired señaló que una aplicación marcada había acumulado más de un millón de descargas y publicitaba abiertamente funciones para sexualizar imágenes de mujeres o producir videos gratuitos y sin censura.

La oficina de Chiu estimó que Apple y Google probablemente hayan ganado millones de dólares en honorarios al permitir que las aplicaciones dañinas permanezcan en sus tiendas en lugar de tomar medidas más contundentes o desarrollar mejores sistemas de detección. El fiscal de la ciudad caracterizó la situación como un beneficio de una molestia pública, argumentando que permitir que dichas aplicaciones permanezcan disponibles es inaceptable.

Google responde, Apple permanece en silencio

En una declaración a Ars Technica, el portavoz de Google, Dan Jackson, confirmó que las cinco aplicaciones marcadas por Chiu habían sido suspendidas de la tienda Google Play por violar las políticas contra contenido dañino. Jackson dijo que Google Play no permite aplicaciones que contengan contenido sexual y que la compañía continuamente toma medidas proactivas para detectar y eliminar aplicaciones con contenido dañino. Cuando se reportan violaciones, dijo Jackson, Google investiga y toma medidas rápidas, que incluyen suspender cientos de aplicaciones infractoras y restringir términos de búsqueda relacionados como nudify en su tienda.

La respuesta de Apple ha sido marcadamente diferente. Si bien la compañía ha eliminado algunas aplicaciones señaladas por investigadores en el pasado, por lo demás ha permanecido notablemente en silencio en medio de llamados para vigilar de manera más agresiva las aplicaciones de nudificación en su App Store. El fabricante del iPhone no proporcionó de inmediato una respuesta pública detallada a las demandas del fiscal de la ciudad.

El juego de detección del gato y el ratón

El desafío de vigilar estas aplicaciones se ve agravado por la evolución de sus tácticas. Wired informó que los investigadores advirtieron recientemente que algunas aplicaciones dañinas han mejorado en evadir la eliminación de las tiendas de aplicaciones al anunciar solo funciones de intercambio de rostros mientras ocultan sus capacidades de nudificación. En un artículo preimpreso de mayo, los investigadores identificaron 420 aplicaciones comercializadas como herramientas genéricas de intercambio de rostros y probaron 155 de ellas. En más del 70 por ciento de los casos, las aplicaciones podrían usarse para sexualizar imágenes, lo que demuestra con qué facilidad se esconden funciones dañinas detrás de un marketing inocuo.

Esta brecha de detección significa que incluso cuando las tiendas de aplicaciones buscan proactivamente herramientas de nudificación, muchas pasan desapercibidas presentándose como software inofensivo de entretenimiento o edición de fotografías. Los hallazgos de los investigadores sugieren que el número real de aplicaciones problemáticas en circulación es probablemente mucho mayor que las trece señaladas por la oficina de Chiu.

El precedente de Grok

La represión de las aplicaciones nudify también se cruza con un debate más amplio sobre el contenido dañino generado por IA. Esta semana, xAI presentó una demanda confirmando que había encontrado casos de materiales de abuso sexual infantil generados por Grok e imágenes íntimas no consensuadas dirigidas a adultos. Para abordar el uso indebido, xAI demandó al usuario supuestamente responsable de incitar a Grok a generar el contenido ilegal.

El caso Grok plantea una cuestión más espinosa para las tiendas de aplicaciones: si los chatbots de IA a los que se les puede pedir que produzcan contenido ilegal deberían estar sujetos a eliminación. Según se informa, Apple dijo a los senadores en abril que había amenazado en privado con eliminar Grok de la App Store, según NBC News, pero la aplicación xAI sigue disponible hoy. Mientras sea posible utilizar Grok para generar contenido ilegal, las tiendas de aplicaciones probablemente seguirán enfrentando presión para tomar medidas, tal como Chiu exigió para las aplicaciones de nudificación independientes.

Un punto de inflexión para la responsabilidad de la plataforma

La orden de San Francisco representa una de las intervenciones gubernamentales más agresivas hasta la fecha dirigida a las tiendas de aplicaciones por contenido dañino generado por IA. Al invocar las leyes de pornografía deepfake de California, Chiu está probando si los estatutos estatales pueden obligar a los operadores de plataformas a asumir la responsabilidad de las herramientas de inteligencia artificial distribuidas a través de sus mercados.

El resultado podría sentar un precedente sobre cómo otras jurisdicciones abordan el problema y si la carga de vigilar las imágenes no consensuales generadas por IA recae en los desarrolladores, los operadores de plataformas o ambos. Para los millones de personas, predominantemente mujeres y niñas, que han sido objeto de estas herramientas, lo que está en juego va mucho más allá de la teoría regulatoria.

Manténgase por delante de la IA

Para obtener cobertura continua sobre la ética de la IA, la responsabilidad de las plataformas y las batallas regulatorias sobre los medios sintéticos dañinos, siga AI Buzz Wire para informar sobre los problemas que dan forma al impacto de la IA en la sociedad.

Leer más noticias sobre ética de la IA →