De stadsadvocaat van San Francisco heeft Apple en Google bevolen om nudificatie-apps voor kunstmatige intelligentie uit hun app-winkels te verwijderen, waarbij hij waarschuwt dat de platforms de Californische wetten overtreden die diensten verbieden die deepfake-pornografie creëren. De vraag escaleert een groeiende confrontatie over AI-tools die gewone foto's van echte mensen omzetten in expliciete beelden, een crisis die onevenredig veel slachtoffers heeft gemaakt onder vrouwen en kinderen.
De omvang van het probleem
Nudificatie-apps maken gebruik van generatieve AI om het triviaal eenvoudig te maken om kleding van foto's van echte mensen te verwijderen, hun gelaatstrekken te veranderen, ze in geseksualiseerde posities te plaatsen en gezichten te verwisselen naar de naakte lichamen van andere mensen. De technologie heeft zich snel verspreid in mobiele app-winkels en de resultaten worden gebruikt om slachtoffers te pesten, te vernederen en te bedreigen, met verwoestende gevolgen.
Advocaat van de stad San Francisco, David Chiu, vertelde Wired dat zijn kantoor absoluut geschokt was door de alomtegenwoordigheid van de nudificerende technologie, waarbij vooral vrouwen en kinderen op alarmerende schaal het slachtoffer werden, omdat steeds meer hulpmiddelen de markt overspoelden. De beelden, zo zei hij, worden gebruikt om reputaties te vernietigen, de geestelijke gezondheid te schaden en slachtoffers hun autonomie te ontnemen, waarbij sommige doelwitten suïcidaal worden.
Wat de brieven eisen
Het kantoor van Chiu stuurde beide bedrijven formele brieven waarin ze waarschuwden dat hun app-winkels de Californische wetten overtraden die ondersteunende diensten verbieden die deepfake-pornografie creëren, aldus Wired. Hij vroeg Google om vijf apps te verwijderen en Apple om er acht te verwijderen. De specifieke apps werden niet genoemd in de openbare berichtgeving om te voorkomen dat mensen naar hen toe werden gedreven, maar Wired merkte op dat één gemarkeerde app meer dan een miljoen downloads had verzameld en openlijk reclame had gemaakt voor functies om afbeeldingen van vrouwen te seksualiseren of gratis en ongecensureerde video's te produceren.
Het kantoor van Chiu schatte dat Apple en Google waarschijnlijk miljoenen dollars aan vergoedingen hebben verdiend door de schadelijke apps in hun winkels te laten staan, in plaats van krachtiger actie te ondernemen of betere detectiesystemen te ontwikkelen. De stadsadvocaat typeerde de situatie als het profiteren van publieke overlast, met het argument dat het onaanvaardbaar is dat dergelijke apps beschikbaar blijven.
Google reageert, Apple zwijgt
In een verklaring aan Ars Technica bevestigde Google-woordvoerder Dan Jackson dat de vijf door Chiu gemarkeerde apps uit de Google Play Store waren geschorst wegens schending van het beleid tegen schadelijke inhoud. Jackson zei dat Google Play geen apps toestaat die seksuele inhoud bevatten en dat het bedrijf voortdurend proactieve stappen onderneemt om apps met schadelijke inhoud op te sporen en te verwijderen. Wanneer schendingen worden gemeld, zegt Jackson, zal Google een onderzoek instellen en snel actie ondernemen, waaronder het opschorten van honderden inbreukmakende apps en het beperken van gerelateerde zoektermen zoals nudify in de winkel.
De reactie van Apple was duidelijk anders. Hoewel het bedrijf in het verleden een aantal apps heeft verwijderd die door onderzoekers zijn gemarkeerd, is het verder opmerkelijk stil gebleven te midden van oproepen om nudificatie-apps agressiever te controleren in de App Store. De iPhone-maker gaf niet onmiddellijk een gedetailleerd publiek antwoord op de eisen van de stadsadvocaat.
Het kat-en-muisspel van detectie
De uitdaging van het toezicht op deze apps wordt nog verergerd door hun evoluerende tactieken. Wired meldde dat onderzoekers onlangs hebben gewaarschuwd dat sommige schadelijke apps beter zijn geworden in het omzeilen van verwijderingen uit de appstore door alleen reclame te maken voor face-swapping-functies, terwijl ze hun nudificerende mogelijkheden verbergen. In een voorgedrukt artikel uit mei identificeerden onderzoekers 420 apps die op de markt werden gebracht als generieke face-swapping-tools en testten ze er 155. In meer dan 70 procent van de gevallen kunnen de apps worden gebruikt om afbeeldingen te seksualiseren, wat aantoont hoe gemakkelijk schadelijke functionaliteit zich verschuilt achter onschadelijke marketing.
Deze detectiekloof betekent dat zelfs wanneer app-winkels proactief op zoek gaan naar nudify-tools, velen er doorheen glippen door zichzelf te presenteren als onschuldige entertainment- of fotobewerkingssoftware. De bevindingen van de onderzoekers suggereren dat het werkelijke aantal problematische apps in omloop waarschijnlijk veel hoger is dan de dertien die door het kantoor van Chiu zijn gemarkeerd.
Het Grok-precedent
Het harde optreden tegen nudify-apps kruist ook een breder debat over door AI gegenereerde schadelijke inhoud. Deze week spande xAI een rechtszaak aan waarin werd bevestigd dat het voorbeelden had gevonden van door Grok gegenereerd materiaal over seksueel kindermisbruik en niet-consensuele intieme beelden gericht op volwassenen. Om het misbruik aan te pakken, klaagde xAI de gebruiker aan die verantwoordelijk zou zijn voor het aanzetten tot Grok om de illegale inhoud te genereren.
De Grok-zaak roept een neteligere vraag op voor app-winkels: of AI-chatbots die ertoe kunnen worden aangezet illegale inhoud te produceren, zelf moeten worden verwijderd. Volgens NBC News vertelde Apple naar verluidt in april aan de senatoren dat het privé had gedreigd Grok uit de App Store te verwijderen, maar de xAI-app blijft vandaag beschikbaar. Zolang het mogelijk is om Grok te gebruiken om illegale inhoud te genereren, zullen app-winkels waarschijnlijk onder druk blijven staan om actie te ondernemen, net zoals Chiu eiste voor zelfstandige nudificatie-apps.
Een keerpunt voor platformverantwoordelijkheid
Het San Francisco-bevel vertegenwoordigt een van de meest agressieve overheidsinterventies tot nu toe, waarbij app-winkels zich richten op door AI gegenereerde schadelijke inhoud. Door zich te beroepen op de Californische deepfake-pornografiewetten test Chiu of staatsstatuten platformexploitanten kunnen dwingen verantwoordelijkheid te nemen voor de AI-tools die via hun marktplaatsen worden verspreid.
De uitkomst zou een precedent kunnen scheppen voor de manier waarop andere rechtsgebieden het probleem aanpakken, en of de last van het toezicht op door AI gegenereerde niet-consensuele beelden op de schouders van ontwikkelaars, platformexploitanten of beide terechtkomt. Voor de miljoenen mensen, voornamelijk vrouwen en meisjes, die het doelwit zijn van deze instrumenten, gaat de inzet veel verder dan alleen de regelgevingstheorie.
Blijf AI een stap voor
Voor voortdurende berichtgeving over AI-ethiek, platformaansprakelijkheid en de regelgevingsstrijd over schadelijke synthetische media kunt u AI Buzz Wire volgen voor berichtgeving over de problemen die de impact van AI op de samenleving vormgeven.
Lees meer nieuws over AI-ethiek →
