xAI står inför en föreslagen grupptalan som för första gången anklagar företaget för att träna sina Grok-modeller på material om sexuella övergrepp mot barn, både verkligt och AI-genererat. Klagomålet, som lämnades in på onsdagen och rapporterades av Ars Technica, syftar till domstolsbeslut om förstörelse av sådant material som lagras på företagets servrar och genomgripande förändringar av hur Grok hanterar sexualiserat innehåll.
Anklagelserna förblir obevisade påståenden i civilrättsliga tvister. X, som äger xAI, svarade inte på Ars Technicas begäran om kommentarer till anmälan. For more context on this story, see our ongoing latest AI developments.
Käranden och anklagelserna
Målsäganden, identifierad som Jane Doe, hävdar i klagomålet att hon var ett offer i förskoleåldern i början av 2000-talet när bilder av hennes övergrepp skapades och såldes online. Dessa bilder har länge katalogiserats i hashlistor som underhålls av National Center for Missing and Exploited Children (NCMEC) och Canadian Center for Child Protection (CCCP), organisationer som spårar känt övergreppsmaterial för att kunna upptäcka och ta bort det.
Enligt klagomålet meddelade CCCP Doe att de hade identifierat AI-genererat övergreppsmaterial som föreställer henne på xAI:s plattform. Hennes advokater uppger i ett pressmeddelande att material som matchade hennes NCMEC-hashlistposter "var en del av datamängden xAI som användes för att bygga upp Groks bild- och videogenereringsmöjligheter." Klagomålet hävdar vidare att meddelanden som hittats på onlineforum visade brottslingar som diskuterade skapandet av AI-genererade övergreppsbilder av Doe och andra kända offer för äldre övergreppsmaterial.
Den juridiska teorin: utbildningsdata, inte bara utdata
Det som skiljer denna anmälan från tidigare rättstvister mot xAI är dess fokus på själva modellen snarare än på vad enskilda användare genererade. Klagomålet hävdar att eftersom Groks användarvillkor behandlar offentliga inlägg på X och Groks egna utdata som utbildningsdata som standard, matas allt som publiceras offentligt direkt in i pipeline som används för att träna och förbättra modellen.
Anmälan bekräftar att xAI filtrerar bort våldsamt innehåll från sin utbildningsdata, men hävdar att företagets villkor inte anger om material för sexuella övergrepp mot barn, intima bilder utan samtycke eller annat vuxeninnehåll faller inom de uteslutna kategorierna. Den hävdar också att även där stötande bilder tas bort är inflytandet från ett träningsexempel på en redan utbildad modell tekniskt svårt att ta bort helt – och att xAI inte offentligt har hävdat att de har gjort det.
Vad stämningen avser
Om den föreslagna klassen är certifierad skulle den representera varje person vars barndomsbilder påstås ha använts för att skapa övergreppsmaterial med Grok. Stämningen åberopar federala barnpornografilagar och Mashas lag, som ger överlevande från övergreppsmaterial rätten att stämma över dess produktion, innehav och distribution.
"Alla tre är brott, och xAI gjorde alla tre", sa Margaret E. Mabie, en av Does advokater, i pressmeddelandet som citeras av Ars Technica.
Utöver ekonomiskt skadestånd ber Doe domstolen att beordra xAI att förstöra allt Grok-genererat övergreppsmaterial som den kan lagra och använda för utbildning, och att förhindra att modellen genererar sexualiserade utdata av något slag – ett krav som skulle utestänga inte bara missbruksbilder utan även intima bilder och vuxeninnehåll som Elon Musk offentligt har marknadsfört som funktioner utan samtycke.
"Doe har levt i nästan två decennier med att veta att bilder av det värsta som någonsin hänt henne cirkulerar bland rovdjur på nätet, och att de kan dyka upp igen när som helst", sa Sarah London, en annan av Does advokater, i pressmeddelandet. "xAI måste hållas ansvarig för att medvetet träna sina modeller på bilder av de fruktansvärda övergreppen hon utsattes för."
En monteringsrättslig beräkning
Anmälan är den senaste fronten i en växande juridisk strid om Groks bild- och videokapacitet. I ett separat fall i Tennessee anslöt sig en kvinna som identifierades som Jane Doe 4 i en rättegång som påstod att ett enda barndomsfoto användes med Grok för att generera tusentals explicita bilder av henne - anklagelser som AI Buzz Wire täckte tidigare denna månad. Tillsynsmyndigheter och domstolar undersöker hur långt problemen sträcker sig, och vissa Grok-användare har arresterats för material de genererat.
Samtidigt har xAI gått till brott mot sina användare. Politico rapporterade den här veckan att företaget stämmer några av sina egna användare även när stämningar mot offer ökar, en strategi som testar om plattformar eller personer som uppmanar dem bär juridiskt ansvar för vad en AI-modell producerar.
Det nya klagomålet sätter träningsdatafrågan i centrum för den kampen. Om domstolar accepterar argumentet att en modells träningsuppsättning kan skapa ansvar för vad den gör det möjligt för användare att producera, skulle konsekvenserna sträcka sig långt bortom xAI – att beröra varje generativ bild- och videoföretag vars villkor matar användarinnehåll tillbaka till utbildning. För nu är anklagelserna just det: anklagelser i en ansökan xAI har ännu inte besvarats i rätten.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
