Una mujer identificada en documentos judiciales como Jane Doe 4 se unió a una demanda contra xAI de Elon Musk por el papel que supuestamente jugó el chatbot de la compañía, Grok, en la creación de material de abuso sexual infantil, informó TechCrunch el sábado, citando un informe del Washington Post.
La mujer alegó que su padrastro utilizó a Grok para manipular una fotografía tomada cuando tenía 11 años para crear más de 7.000 imágenes explícitas de ella, según el informe. También dijo que su padrastro fue encontrado muerto por suicidio dos días después de que las imágenes fueran descubiertas en una redada policial. Para más contexto sobre esta historia, consulta nuestra últimos avances en IA.
"El acceso ilimitado a estas herramientas se está extendiendo muy rápidamente", afirmó la mujer. "Está tomando la vida cotidiana y convirtiéndola en abuso sexual infantil".
El caso es una de las acusaciones más graves hasta la fecha que involucra a un chatbot de IA convencional y la creación de imágenes sexuales de un niño real, y intensifica una demanda que se ha convertido en un punto central en el debate sobre las barreras para la generación de imágenes de IA.
Los reclamos principales de la demanda
La demanda fue presentada originalmente por tres adolescentes de Tennessee que acusaron a xAI, que ahora es parte de SpaceX, de no tomar precauciones básicas para evitar que Grok fuera utilizado para crear imágenes explícitas de personas reales, incluidos menores. Los demandantes buscan el estatus de demanda colectiva, lo que permitiría a otros que alegan daños similares unirse al caso.
La presentación de Jane Doe 4 agrega un conjunto de detalles desgarradores: una sola fotografía de la infancia, una herramienta de inteligencia artificial supuestamente utilizada para generar miles de derivados abusivos y una tragedia familiar que se desarrolló pocos días después del descubrimiento del material por parte de las autoridades.
TechCrunch dijo que contactó a xAI para hacer comentarios. Las acusaciones son reclamaciones en un litigio civil en curso y no han sido probadas ante los tribunales. Si usted o alguien que conoce está en crisis, puede comunicarse con la Línea de vida de crisis y suicidio 988 en los Estados Unidos llamando o enviando un mensaje de texto al 988.
Un patrón de presión sobre Grok
La demanda llega en medio de un año de creciente escrutinio de las capacidades de generación de imágenes de Grok. A principios de este año, X se vio inundado de millones de imágenes sexualizadas generadas por Grok, un episodio que generó críticas generalizadas sobre las salvaguardias en torno a la herramienta. El episodio ayudó a impulsar una ola de legislación a nivel estatal dirigida a las llamadas aplicaciones "nudify" y a las imágenes sintéticas no consensuadas; La prohibición de Minnesota sobre tales herramientas entró en vigor después de que un juez denegó la solicitud de xAI de una orden judicial para bloquear su aplicación.
Lo que está en juego en el caso de Tennessee se extiende más allá de xAI. Los demandantes argumentan que las empresas que implementan herramientas de generación de imágenes a escala tienen el deber de crear salvaguardias técnicas que impidan la sexualización de personas reales e identificables (y especialmente niños) antes de que los productos lleguen al público. Ese argumento, si es aceptado por un tribunal, podría establecer un estándar legal que alcance a todos los proveedores de modelos de generación de imágenes.
El problema no resuelto de la industria
Para las empresas de inteligencia artificial, prevenir el uso indebido de generadores de imágenes contra personas reales ha resultado obstinadamente difícil. Las herramientas de marcas de agua y procedencia, como las que Anthropic comenzó a agregar a los resultados de Claude para cumplir con las normas de transparencia de la UE, pueden ayudar a identificar contenido sintético después del hecho, pero no detienen la generación de material abusivo en primer lugar. Los filtros de entrada y salida pueden bloquear patrones conocidos, pero los usuarios decididos encuentran continuamente soluciones alternativas, y los modelos de imágenes de peso abierto han hecho que algunas capacidades sean imposibles de recuperar por completo.
Las acusaciones en el caso xAI apuntan al extremo más severo de ese espectro: la afirmación de que una sola foto de un niño podría transformarse en miles de imágenes explícitas usando una herramienta operada por una de las compañías de inteligencia artificial más prominentes del mundo, que comercializa Grok a millones de suscriptores como un producto de consumo.
Los expertos legales que siguen el caso dicen que la demanda colectiva probará si los tribunales tratan las fallas en prevenir dicho uso indebido como un defecto del producto por el cual las empresas de IA son responsables, o como un uso indebido por parte de usuarios individuales que queda fuera de la responsabilidad de las empresas.
¿Qué viene después?
El objetivo inmediato de los demandantes es la certificación colectiva, lo que ampliaría drásticamente el grupo de posibles demandantes contra xAI. Por su parte, xAI ha argumentado en un litigio relacionado que la responsabilidad por el mal uso recae en los usuarios, no en la herramienta. La incorporación de Jane Doe 4, con su crudo relato del supuesto daño a un niño, aumenta la presión pública y política en torno a esa defensa.
El caso se desarrolla mientras los reguladores de Estados Unidos y Europa debaten las obligaciones de transparencia y los estándares de seguridad para la IA generativa, y mientras se acumula evidencia de que el uso indebido de la generación de imágenes no se limita a herramientas marginales. Ya sea que la respuesta llegue a los tribunales, a la legislación o a las decisiones de ingeniería de las propias empresas de IA, la pregunta central de la demanda (cuánta prevención de daños se debe incorporar antes de lanzar un producto de IA) sigue siendo el problema abierto más incómodo de la industria.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
