En kvinna som i domstolshandlingar identifierats som Jane Doe 4 har anslutit sig till en stämningsansökan mot Elon Musks xAI angående rollen som företagets chatbot Grok påstås ha spelat för att skapa material för sexuella övergrepp mot barn, rapporterade TechCrunch på lördagen, med hänvisning till en rapport i The Washington Post.
Kvinnan påstod att hennes styvfar använde Grok för att manipulera ett fotografi som togs när hon var 11 år gammal för att skapa mer än 7 000 explicita bilder av henne, enligt rapporten. Hon sa också att hennes styvfar hittades död av självmord två dagar efter att bilderna avslöjades i en polisrazzia. For more context on this story, see our ongoing latest AI developments.
"Begränsad tillgång till dessa verktyg sprider sig så snabbt," sa kvinnan. "Det tar vardagen och förvandlar den till sexuella övergrepp mot barn."
Fallet är ett av de allvarligaste anklagelserna hittills som involverar en vanlig AI-chattbot och skapandet av sexuella bilder av ett riktigt barn, och det eskalerar en rättegång som har blivit en samlingspunkt i debatten om skyddsräcken för AI-bildgenerering.
Rättegångens kärnanspråk
Stämningen ingavs ursprungligen av tre Tennessee-tonåringar som anklagade xAI – som nu är en del av SpaceX – för att inte vidta grundläggande försiktighetsåtgärder för att förhindra att Grok används för att skapa explicita bilder av verkliga människor, inklusive minderåriga. Kärandena söker grupptalan, vilket skulle tillåta andra som påstår liknande skada att gå med i målet.
Jane Doe 4:s anmälan lägger till en namngiven uppsättning skrämmande detaljer: ett enda barndomsfotografi, ett AI-verktyg som påstås ha använts för att generera tusentals kränkande derivat, och en familjetragedi som utspelade sig inom några dagar efter att materialet upptäcktes av myndigheterna.
TechCrunch sa att det nådde xAI för en kommentar. Anklagelserna är anspråk i pågående civilrättsliga tvister och har inte bevisats i domstol. Om du eller någon du känner är i kris kan 988 Suicide and Crisis Lifeline i USA nås genom att ringa eller smsa på 988.
Ett mönster av press på Grok
Rättegången landar mitt i ett år av ökande granskning av Groks bildgenereringsmöjligheter. Tidigare i år svämmades X över av miljontals Grok-genererade sexualiserade bilder, en episod som väckte omfattande kritik av skyddsåtgärderna kring verktyget. Episoden hjälpte till att underblåsa en våg av lagstiftning på statlig nivå inriktad på så kallade "nudify"-applikationer och syntetiska bilder utan samtycke; Minnesotas förbud mot sådana verktyg trädde i kraft efter att en domare nekat xAI:s begäran om ett föreläggande att blockera dess verkställighet.
Insatserna i Tennessee-fallet sträcker sig längre än xAI. Målsägande hävdar att företag som använder verktyg för bildgenerering i stor skala har en skyldighet att bygga tekniska skyddsåtgärder som förhindrar sexualisering av verkliga, identifierbara personer – och särskilt barn – innan produkter når allmänheten. Detta argument, om det accepteras av en domstol, skulle kunna skapa en rättslig standard som når alla leverantörer av bildgenererande modeller.
Branschens olösta problem
För AI-företag har det visat sig vara envist svårt att förhindra missbruk av bildgeneratorer mot riktiga människor. Vattenmärkning och härkomstverktyg – som de som Anthropic började lägga till Claudes utdata för att följa EU:s öppenhetsregler – kan hjälpa till att identifiera syntetiskt innehåll i efterhand, men de stoppar inte genereringen av kränkande material i första hand. In- och utfilter kan blockera kända mönster, men beslutsamma användare hittar ständigt lösningar, och bildmodeller med öppen vikt har gjort vissa funktioner omöjliga att helt återkalla.
Anklagelserna i xAI-fallet pekar mot den allvarligaste änden av det spektrumet: påståendet att ett enda foto av ett barn skulle kunna omvandlas till tusentals explicita bilder med hjälp av ett verktyg som drivs av ett av världens mest framstående AI-företag, som marknadsför Grok till miljontals prenumeranter som en konsumentprodukt.
Juridiska experter som följer fallet säger att grupptalan kommer att testa huruvida domstolar behandlar underlåtenhet att förhindra sådant missbruk som ett produktfel som AI-företag är ansvariga för - eller som missbruk av enskilda användare som faller utanför företagens ansvar.
Vad kommer härnäst
Målsägandens omedelbara mål är klasscertifiering, vilket dramatiskt skulle utöka poolen av potentiella käranden mot xAI. För sin del har xAI hävdat i relaterade rättstvister att ansvaret för missbruk ligger på användarna, inte verktyget. Tillägget av Jane Doe 4, med dess skarpa redogörelse för påstådd skada på ett barn, ökar det offentliga och politiska trycket kring det försvaret.
Fallet utvecklas när tillsynsmyndigheter i USA och Europa diskuterar transparenskrav och säkerhetsstandarder för generativ AI, och allteftersom bevis samlas på att missbruk av bildgenerering inte är begränsat till randverktyg. Oavsett om svaret kommer i domstol, i lagstiftningen eller i AI-företagens tekniska val, är rättegångens centrala fråga – hur mycket skadeförebyggande åtgärder som måste byggas in innan en AI-produkt skickas – branschens mest obekväma öppna problem.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
