Een vrouw die in rechtszaken wordt geïdentificeerd als Jane Doe 4 heeft zich aangesloten bij een rechtszaak tegen xAI van Elon Musk over de rol die de chatbot Grok van het bedrijf zou hebben gespeeld bij het creëren van materiaal over seksueel kindermisbruik, zo meldde TechCrunch zaterdag, daarbij verwijzend naar een rapport in The Washington Post.
De vrouw beweerde dat haar stiefvader Grok gebruikte om een foto te manipuleren die was genomen toen ze 11 jaar oud was, om zo meer dan 7.000 expliciete afbeeldingen van haar te maken, aldus het rapport. Ze zei ook dat haar stiefvader twee dagen nadat de beelden waren ontdekt tijdens een politie-inval dood door zelfmoord werd aangetroffen. Voor meer context over dit verhaal, zie ons meer AI-verhalen.
"De onbeperkte toegang tot deze hulpmiddelen verspreidt zich zo snel", zei de vrouw. "Het neemt het dagelijks leven over en verandert het in seksueel kindermisbruik."
De zaak is een van de ernstigste beschuldigingen tot nu toe waarbij een reguliere AI-chatbot betrokken is en de creatie van seksuele beelden van een echt kind, en het escaleert een rechtszaak die een centraal punt is geworden in het debat over vangrails voor het genereren van AI-beelden.
De kernclaims van de rechtszaak
De aanklacht werd oorspronkelijk ingediend door drie tieners uit Tennessee die xAI – dat nu onderdeel is van SpaceX – ervan beschuldigden geen elementaire voorzorgsmaatregelen te hebben genomen om te voorkomen dat Grok wordt gebruikt om expliciete beelden van echte mensen te maken, inclusief minderjarigen. De eisers streven naar een class action-status, waardoor anderen die soortgelijke schade beweren zich bij de zaak kunnen aansluiten.
Het dossier van Jane Doe 4 voegt een aantal schrijnende bijzonderheden toe: een enkele kinderfoto, een AI-tool die naar verluidt is gebruikt om duizenden onrechtmatige afgeleide producten te genereren, en een familietragedie die zich binnen enkele dagen na de ontdekking van het materiaal door de autoriteiten afspeelde.
TechCrunch zei dat het contact had opgenomen met xAI voor commentaar. De beschuldigingen zijn claims in lopende civiele procedures en zijn niet in de rechtbank bewezen. Als u of iemand die u kent in een crisis verkeert, kunt u de 988 Suicide and Crisis Lifeline in de Verenigde Staten bereiken door te bellen of sms'en op 988.
Een patroon van druk op Grok
De rechtszaak komt voort uit een jaar waarin de beeldvormingscapaciteiten van Grok steeds meer onder de loep worden genomen. Eerder dit jaar werd X overspoeld met miljoenen door Grok gegenereerde geseksualiseerde afbeeldingen, een episode die veel kritiek op de veiligheidsmaatregelen rondom de tool opriep. De episode heeft bijgedragen aan het aanwakkeren van een golf van wetgeving op staatsniveau die zich richtte op zogenaamde ‘nudify’-toepassingen en niet-consensuele synthetische beelden; Het verbod in Minnesota op dergelijke instrumenten werd van kracht nadat een rechter het verzoek van xAI om een bevel om de handhaving ervan te blokkeren had afgewezen.
De inzet van de Tennessee-zaak reikt verder dan xAI. Eisers stellen dat bedrijven die op grote schaal hulpmiddelen voor het genereren van beelden inzetten, de plicht hebben om technische waarborgen te bouwen die de seksualisering van echte, identificeerbare mensen – en vooral kinderen – voorkomen voordat producten het publiek bereiken. Als dit argument door een rechtbank wordt aanvaard, zou het een wettelijke norm kunnen opleveren die elke aanbieder van beeldgeneratiemodellen bereikt.
Het onopgeloste probleem van de sector
Voor AI-bedrijven is het voorkomen van misbruik van beeldgeneratoren tegen echte mensen hardnekkig moeilijk gebleken. Instrumenten voor watermerken en herkomst – zoals die Anthropic begon toe te voegen aan de producties van Claude om te voldoen aan de EU-transparantieregels – kunnen synthetische inhoud achteraf helpen identificeren, maar ze kunnen het genereren van beledigend materiaal niet stoppen. Invoer- en uitvoerfilters kunnen bekende patronen blokkeren, maar vastberaden gebruikers vinden voortdurend oplossingen, en open-weight beeldmodellen hebben het onmogelijk gemaakt om sommige mogelijkheden volledig te herinneren.
De aantijgingen in de xAI-zaak wijzen op het ernstigste uiteinde van dat spectrum: de bewering dat een enkele foto van een kind kan worden omgezet in duizenden expliciete afbeeldingen met behulp van een tool die wordt beheerd door een van 's werelds meest prominente AI-bedrijven, die Grok als consumentenproduct op de markt brengt bij miljoenen abonnees.
Juridische experts die de zaak volgen, zeggen dat het class action-bod zal testen of rechtbanken het falen om dergelijk misbruik te voorkomen beschouwen als een productdefect waarvoor AI-bedrijven aansprakelijk zijn – of als misbruik door individuele gebruikers dat buiten de verantwoordelijkheid van het bedrijf valt.
Wat volgt
Het directe doel van de eisers is klassecertificering, wat de pool van potentiële eisers tegen xAI dramatisch zou vergroten. Op zijn beurt heeft xAI in gerelateerde rechtszaken betoogd dat de verantwoordelijkheid voor misbruik bij de gebruikers ligt, en niet bij de tool. De toevoeging van Jane Doe 4, met zijn grimmige verslag van vermeende schade aan een kind, vergroot de publieke en politieke druk rond die verdediging.
De zaak ontvouwt zich nu toezichthouders in de Verenigde Staten en Europa debatteren over transparantieverplichtingen en veiligheidsnormen voor generatieve AI, en naarmate het bewijs zich opstapelt dat misbruik van beeldgeneratie niet beperkt blijft tot randinstrumenten. Of het antwoord nu in de rechtbank, in de wetgeving of in de technische keuzes van AI-bedrijven zelf terechtkomt, de centrale vraag van de rechtszaak – hoeveel schadepreventie moet worden ingebouwd voordat een AI-product op de markt wordt gebracht – blijft het meest ongemakkelijke open probleem van de industrie.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
