San Francisco ordonă Apple și Google să elimine aplicațiile AI Nudify care invocă legile de pornografie falsă

Avocatul orașului San Francisco a ordonat Apple și Google să elimine aplicațiile de nudificare cu inteligență artificială din magazinele lor de aplicații, avertizând că platformele încalcă legile din California care interzic serviciile care creează pornografie deepfake. Cererea intensifică o confruntare din ce în ce mai mare cu privire la instrumentele AI care transformă fotografiile obișnuite cu oameni reali în imagini explicite, o criză care a victimizat în mod disproporționat femeile și copiii.

Amploarea problemei

Aplicațiile de nudificare folosesc IA generativă pentru a face trivial de ușor să scoateți hainele din fotografiile unor persoane reale, să le modificați trăsăturile, să le plasați în poziții sexuale și să schimbați fețele pe corpurile goale ale altor persoane. Tehnologia a proliferat rapid în magazinele de aplicații mobile, iar rezultatele sunt folosite pentru a agresa, umili și amenința victimele cu consecințe devastatoare.

Procurorul orașului San Francisco, David Chiu, a declarat pentru Wired că biroul său a fost absolut îngrozit de cât de omniprezentă a devenit tehnologia de nudificare, victimizând în mare parte femei și copii la o scară alarmantă, pe măsură ce mai multe instrumente au inundat piața. Imaginile, a spus el, sunt folosite pentru a distruge reputația, pentru a afecta sănătatea mintală și pentru a elimina autonomie victimelor, unele ținte devenind sinucigașe.

Ce cer scrisorile

Biroul lui Chiu a trimis scrisori oficiale ambelor companii în care avertizează că magazinele lor de aplicații încalcă legile din California care interzic serviciile de asistență care creează pornografie falsă, potrivit Wired. El a cerut Google să elimine cinci aplicații și Apple să elimine opt. Aplicațiile specifice nu au fost denumite în rapoartele publice pentru a evita împingerea oamenilor către ele, dar Wired a remarcat că o aplicație semnalată a acumulat mai mult de un milion de descărcări și a făcut publicitate în mod deschis pentru a sexualiza imagini cu femei sau pentru a produce videoclipuri gratuite și necenzurate.

Biroul lui Chiu a estimat că Apple și Google au câștigat probabil milioane de dolari în taxe, permițând aplicațiilor dăunătoare să rămână în magazinele lor, în loc să ia măsuri mai puternice sau să dezvolte sisteme de detectare mai bune. Avocatul orașului a caracterizat situația ca profitând de pe urma unei neplăceri publice, argumentând că este inacceptabil să permiteți oricăror astfel de aplicații să rămână disponibile.

Google răspunde, Apple rămâne tăcut

Într-o declarație pentru Ars Technica, purtătorul de cuvânt al Google, Dan Jackson, a confirmat că cele cinci aplicații semnalate de Chiu au fost suspendate din magazinul Google Play pentru încălcarea politicilor împotriva conținutului dăunător. Jackson a spus că Google Play nu permite aplicații care conțin conținut sexual și că compania ia continuu măsuri proactive pentru a detecta și elimina aplicațiile cu conținut dăunător. Când sunt raportate încălcări, a spus Jackson, Google investighează și ia măsuri rapide, care au inclus suspendarea a sute de aplicații care încalcă și restricționarea termenilor de căutare aferenti, cum ar fi nudify, în magazinul său.

Răspunsul Apple a fost semnificativ diferit. Deși compania a eliminat unele aplicații semnalate de cercetători în trecut, a rămas în mod deosebit tăcut pe fondul apelurilor către aplicațiile de nudificare a poliției mai agresiv în App Store. Producătorul de iPhone nu a oferit imediat un răspuns public detaliat la solicitările procurorului orașului.

Jocul de detectare cu pisica și șoarecele

Provocarea de a controla aceste aplicații este agravată de tacticile lor în evoluție. Wired a raportat că cercetătorii au avertizat recent că unele aplicații dăunătoare s-au îmbunătățit în eludarea eliminării din magazinele de aplicații, publicând doar funcții de schimbare a feței, ascunzându-și capabilitățile de nudificare. Într-o lucrare preliminară din luna mai, cercetătorii au identificat 420 de aplicații comercializate ca instrumente generice de schimbare a feței și au testat 155 dintre ele. În peste 70% din cazuri, aplicațiile ar putea fi folosite pentru a sexualiza imagini, demonstrând cât de ușor se ascunde funcționalitatea dăunătoare în spatele marketingului inofensiv.

Acest decalaj de detectare înseamnă că, chiar și atunci când magazinele de aplicații caută în mod proactiv instrumente de nudificare, mulți scapă prezentându-se ca software de divertisment sau de editare foto inofensiv. Descoperirile cercetătorilor sugerează că numărul real de aplicații problematice în circulație este probabil mult mai mare decât cele treisprezece semnalate de biroul lui Chiu.

Precedentul Grok

Reprimarea aplicației Nudify se intersectează, de asemenea, cu o dezbatere mai largă asupra conținutului dăunător generat de AI. Săptămâna aceasta, xAI a intentat un proces prin care a confirmat că a găsit cazuri de materiale de abuz sexual asupra copiilor generate de Grok și imagini intime neconsensuale care vizează adulți. Pentru a remedia utilizarea abuzivă, xAI a dat în judecată utilizatorul presupus responsabil pentru că l-a determinat pe Grok să genereze conținutul ilegal.

Cazul Grok ridică o întrebare mai spinoasă pentru magazinele de aplicații: dacă chatboții AI care pot fi solicitați să producă conținut ilegal ar trebui să fie ei înșiși supuși eliminării. Apple le-a spus senatorilor în aprilie că a amenințat în mod privat că va elimina Grok din App Store, potrivit NBC News, dar aplicația xAI rămâne disponibilă astăzi. Atâta timp cât este posibil să folosiți Grok pentru a genera conținut ilegal, magazinele de aplicații vor continua probabil să se confrunte cu presiuni pentru a lua măsuri, așa cum a cerut Chiu pentru aplicațiile de nudificare independente.

Un punct de cotitură pentru responsabilitatea platformei

Ordinul de la San Francisco reprezintă una dintre cele mai agresive intervenții guvernamentale de până acum, care vizează magazinele de aplicații asupra conținutului dăunător generat de AI. Invocând legile deepfake pornografice din California, Chiu testează dacă statutele statului pot obliga operatorii platformei să-și asume responsabilitatea pentru instrumentele AI distribuite prin piețele lor.

Rezultatul ar putea crea un precedent pentru modul în care alte jurisdicții abordează problema și dacă povara supravegherii imaginilor neconsensuale generate de AI revine dezvoltatorilor, operatorilor de platformă sau ambelor. Pentru milioanele de oameni, predominant femei și fete, care au fost vizați de aceste instrumente, miza se extinde cu mult dincolo de teoria reglementării.

Rămâi înaintea AI

Pentru o acoperire continuă a eticii AI, a răspunderii platformei și a bătăliilor de reglementare cu privire la mediile sintetice dăunătoare, urmăriți AI Buzz Wire pentru a raporta problemele care modelează impactul AI asupra societății.

Citiți mai multe știri despre etica AI →