San Francisco beordrar Apple och Google att ta bort AI Nudify-appar med hänvisning till Deepfake-pornografilagar

San Franciscos stadsadvokat har beordrat Apple och Google att ta bort artificiell intelligens nudifieringsappar från sina appbutiker, och varnar för att plattformarna bryter mot Kaliforniens lagar som förbjuder tjänster som skapar djupförfalskad pornografi. Efterfrågan eskalerar en växande konfrontation om verktyg för AI som förvandlar vanliga foton av riktiga människor till explicita bilder, en kris som på ett oproportionerligt sätt har drabbat kvinnor och barn.

Problemets omfattning

Nudifieringsappar använder generativ AI för att göra det trivialt enkelt att ta av kläder från foton av riktiga människor, ändra deras drag, placera dem i sexualiserade positioner och byta ansikten på andras nakna kroppar. Tekniken har spridit sig snabbt i mobilappbutiker, och resultaten används för att mobba, förödmjuka och hota offer med förödande konsekvenser.

San Franciscos stadsåklagare David Chiu berättade för Wired att hans kontor var helt förskräckt över hur allmänt förekommande nudifieringstekniken har blivit, och mestadels drabbar kvinnor och barn i en alarmerande omfattning när fler verktyg översvämmade marknaden. Bilderna, sa han, används för att förstöra rykte, skada mental hälsa och beröva offren autonomi, med vissa mål som blir självmordsbenägna.

Vad breven kräver

Chius kontor skickade formella brev till båda företagen där de varnade för att deras appbutiker bryter mot Kaliforniens lagar som förbjuder stödtjänster som skapar djupfalsk pornografi, enligt Wired. Han bad Google att ta bort fem appar och Apple att ta bort åtta. De specifika apparna namngavs inte i offentliga rapporter för att undvika att driva människor mot dem, men Wired noterade att en flaggad app hade samlat på sig mer än en miljon nedladdningar och öppet annonserade funktioner för att sexualisera bilder av kvinnor eller producera gratis och ocensurerade videor.

Chius kontor uppskattade att Apple och Google sannolikt har tjänat miljontals dollar i avgifter genom att tillåta de skadliga apparna att finnas kvar i deras butiker istället för att vidta starkare åtgärder eller utveckla bättre upptäcktssystem. Stadsadvokaten karakteriserade situationen som att tjäna på en allmän olägenhet, och hävdade att det är oacceptabelt att tillåta sådana appar att förbli tillgängliga.

Google svarar, Apple förblir tyst

I ett uttalande till Ars Technica bekräftade Googles talesperson Dan Jackson att de fem appar som flaggats av Chiu hade stängts av från Google Play Butik för att ha brutit mot policyer mot skadligt innehåll. Jackson sa att Google Play inte tillåter appar som innehåller sexuellt innehåll och att företaget ständigt tar proaktiva åtgärder för att upptäcka och ta bort appar med skadligt innehåll. När överträdelser rapporteras, sa Jackson, undersöker Google och vidtar snabba åtgärder, vilket har innefattat att stänga av hundratals kränkande appar och begränsa relaterade söktermer som nudify i sin butik.

Apples svar har varit markant annorlunda. Medan företaget har tagit bort några appar som flaggats av forskare tidigare, har det annars varit särskilt tyst under uppmaningar till polisens nudifieringsappar mer aggressivt i sin App Store. iPhone-tillverkaren gav inte omedelbart ett detaljerat offentligt svar på stadsadvokatens krav.

Katt-och-mus-spelet för upptäckt

Utmaningen med att bevaka dessa appar förvärras av deras utvecklande taktik. Wired rapporterade att forskare nyligen har varnat för att vissa skadliga appar har blivit bättre på att undvika borttagning av appbutiker genom att endast annonsera ansiktsbytefunktioner samtidigt som de döljer deras nudifierande möjligheter. I ett förtryckspapper i maj identifierade forskare 420 appar som marknadsförs som generiska verktyg för ansiktsbyte och testade 155 av dem. I över 70 procent av fallen kunde apparna användas för att sexualisera bilder, vilket visar hur lätt skadlig funktionalitet döljer sig bakom ofarlig marknadsföring.

Den här upptäcktsluckan innebär att även när appbutiker proaktivt söker efter nudify-verktyg, slinker många igenom genom att presentera sig som ofarlig underhållning eller fotoredigeringsprogram. Forskarnas resultat tyder på att det verkliga antalet problematiska appar i omlopp sannolikt är mycket högre än de tretton som flaggats av Chius kontor.

The Grok Precedent

Nudify-appens tillslag korsar också en bredare debatt om AI-genererat skadligt innehåll. Den här veckan lämnade xAI in en stämningsansökan som bekräftar att man hittat fall av Grok-genererat material för sexuella övergrepp mot barn och intima bilder utan samtycke riktade mot vuxna. För att komma till rätta med missbruket stämde xAI användaren som påstås vara ansvarig för att ha fått Grok att skapa det olagliga innehållet.

Grok-fallet väcker en svårare fråga för appbutiker: huruvida AI-chatbotar som kan uppmanas att producera olagligt innehåll själva bör bli föremål för borttagning. Apple ska ha berättat för senatorerna i april att de privat hade hotat att ta bort Grok från App Store, enligt NBC News, men xAI-appen är fortfarande tillgänglig idag. Så länge det är möjligt att använda Grok för att generera olagligt innehåll, kommer appbutiker sannolikt att fortsätta att möta press att vidta åtgärder, precis som Chiu krävde för fristående nudifieringsappar.

En vändpunkt för plattformsansvar

San Francisco-ordern representerar en av de mest aggressiva statliga ingripandena hittills riktade mot appbutiker över AI-genererat skadligt innehåll. Genom att åberopa Kaliforniens djupfalska pornografilagar testar Chiu om statliga stadgar kan tvinga plattformsoperatörer att ta ansvar för AI-verktygen som distribueras via deras marknadsplatser.

Resultatet kan skapa ett prejudikat för hur andra jurisdiktioner närmar sig problemet, och huruvida bördan av att bevaka AI-genererade bilder utan samtycke faller på utvecklare, plattformsoperatörer eller båda. För de miljontals människor, främst kvinnor och flickor, som har blivit föremål för dessa verktyg, sträcker sig insatserna långt utöver regleringsteori.

Ligg före AI

Följ AI Buzz Wire för pågående bevakning av AI-etik, plattformsansvar och regulatoriska strider om skadliga syntetiska medier för att rapportera om frågorna som formar AI:s inverkan på samhället.

Läs mer AI-etiknyheter →