TechCrunch 周六援引《华盛顿邮报》的报道称，一名在法庭文件中被确认为 Jane Doe 4 的女性加入了针对埃隆·马斯克 (Elon Musk) 的 xAI 的诉讼，指控该公司的聊天机器人 Grok 在制作儿童性虐待材料中所扮演的角色。

据报道，这名女子声称，她的继父使用 Grok 修改了她 11 岁时拍摄的一张照片，制作了 7000 多张她的露骨图像。她还表示，在执法突袭中发现这些照片两天后，她的继父被发现自杀身亡。 更多相关背景，请参阅我们的AI新闻。

“无限制地使用这些工具正在如此迅速地传播，”这位女士说。 “它正在把日常生活变成儿童性虐待。”

该案件是迄今为止最严重的指控之一，涉及主流人工智能聊天机器人和真实儿童性图像的创作，它使诉讼升级，该诉讼已成为人工智能图像生成护栏争论的焦点。

诉讼的核心主张

该诉讼最初由田纳西州的三名青少年提起，他们指控 xAI（现已成为 SpaceX 的一部分）未能采取基本预防措施来防止 Grok 被用来创建真实人物（包括未成年人）的露骨图像。原告正在寻求集体诉讼地位，这将允许其他声称类似伤害的人加入此案。

Jane Doe 4 的文件增加了一系列令人痛心的细节：一张童年照片、据称用于生成数千个滥用衍生品的人工智能工具，以及当局发现该材料几天内发生的家庭悲剧。

TechCrunch 表示已联系 xAI 请其置评。这些指控是正在进行的民事诉讼中的索赔，尚未在法庭上得到证实。如果您或您认识的人处于危机之中，可以通过电话或短信 988 联系美国的 988 自杀和危机生命热线。

Grok 面临的压力模式

这起诉讼是在这一年对 Grok 的图像生成能力进行越来越严格的审查之际提出的。今年早些时候，X 上充斥着数以百万计的 Grok 生成的色情图片，这一事件引发了对该工具安全措施的广泛批评。这一事件推动了针对所谓“裸体”应用和未经同意的合成图像的州级立法浪潮；明尼苏达州对此类工具的禁令在一名法官拒绝了 xAI 要求颁布禁令以阻止其执行的请求后生效。

田纳西州案件的利害关系超出了 xAI 的范围。原告认为，大规模部署图像生成工具的公司有责任建立技术保障措施，以防止在产品到达公众之前对真实的、可识别的人（尤其是儿童）进行性化。如果法院接受这一论点，则可以建立一个适用于每个图像生成模型提供商的法律标准。

行业未解决的问题

对于人工智能公司来说，防止针对真人滥用图像生成器已被证明是极其困难的。水印和出处工具（例如 Anthropic 开始添加到 Claude 输出中以遵守欧盟透明度规则的工具）可以帮助识别合成内容，但它们并不能从一开始就阻止滥用材料的生成。输入和输出过滤器可以阻止已知模式，但坚定的用户不断寻找解决方法，而开放权重图像模型使某些功能无法完全回忆起来。

xAI 案件中的指控指向了该范围中最严重的一端：声称可以使用世界上最著名的人工智能公司之一运营的工具将一张儿童照片转换为数千张露骨图像，该公司将 Grok 作为消费产品向数百万订阅者推销。

关注此案的法律专家表示，集体诉讼将测试法院是否将未能防止此类滥用视为人工智能公司应承担责任的产品缺陷，或者视为不属于公司责任的个人用户滥用。

接下来会发生什么

原告的近期目标是类别认证，这将极大地扩大针对 xAI 的潜在索赔人群体。就 xAI 而言，它在相关诉讼中辩称，滥用的责任在于用户，而不是工具。 《无名氏 4》的加入，以及其对儿童的伤害指控的赤裸裸的描述，增加了围绕这一辩护的公众和政治压力。

随着美国和欧洲监管机构就生成人工智能的透明度义务和安全标准展开辩论，以及越来越多的证据表明图像生成滥用不仅​​限于边缘工具，此案正在展开。无论答案是在法庭、立法还是人工智能公司本身的工程选择中得到答案，诉讼的核心问题——在人工智能产品上市之前必须内置多少伤害预防——仍然是业界最令人不安的开放问题。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →