Il procuratore della città di San Francisco ha ordinato ad Apple e Google di rimuovere le app di nudizzazione dell'intelligenza artificiale dai loro app store, avvertendo che le piattaforme stanno violando le leggi della California che vietano i servizi che creano pornografia deepfake. La richiesta intensifica un crescente confronto sugli strumenti AI che trasformano foto ordinarie di persone reali in immagini esplicite, una crisi che ha vittimizzato in modo sproporzionato donne e bambini.

La portata del problema

Le app di nudizzazione utilizzano l'intelligenza artificiale generativa per rendere banalmente semplice togliere i vestiti dalle foto di persone reali, alterarne i lineamenti, posizionarli in posizioni sessualizzate e scambiare i volti sui corpi nudi di altre persone. La tecnologia si è diffusa rapidamente negli app store mobili e i risultati vengono utilizzati per intimidire, umiliare e minacciare le vittime con conseguenze devastanti.

Il procuratore della città di San Francisco, David Chiu, ha dichiarato a Wired che il suo ufficio è rimasto assolutamente inorridito da quanto sia diventata onnipresente la tecnologia di nudizzazione, vittimizzando soprattutto donne e bambini su una scala allarmante mentre sempre più strumenti invadono il mercato. Le immagini, ha detto, vengono utilizzate per distruggere la reputazione, danneggiare la salute mentale e privare le vittime dell’autonomia, con alcuni obiettivi che diventano suicidi.

Cosa richiedono le lettere

Secondo Wired, l'ufficio di Chiu ha inviato lettere formali ad entrambe le società avvertendo che i loro app store stavano violando le leggi della California che vietano i servizi di supporto che creano pornografia deepfake. Ha chiesto a Google di rimuovere cinque app e ad Apple di rimuoverne otto. Le app specifiche non sono state nominate nei resoconti pubblici per evitare di spingere le persone verso di loro, ma Wired ha notato che un'app segnalata aveva accumulato più di un milione di download e pubblicizzato apertamente funzionalità per sessualizzare immagini di donne o produrre video gratuiti e senza censura.

L'ufficio di Chiu ha stimato che Apple e Google probabilmente hanno guadagnato milioni di dollari in commissioni consentendo alle app dannose di rimanere nei loro negozi invece di intraprendere azioni più forti o sviluppare sistemi di rilevamento migliori. Il procuratore della città ha definito la situazione come un profitto per un disturbo pubblico, sostenendo che consentire a tali app di rimanere disponibili è inaccettabile.

Google risponde, Apple resta in silenzio

In una dichiarazione ad Ars Technica, il portavoce di Google Dan Jackson ha confermato che le cinque app segnalate da Chiu sono state sospese dal Google Play Store per aver violato le norme contro i contenuti dannosi. Jackson ha affermato che Google Play non consente app che contengono contenuti di natura sessuale e che la società adotta continuamente misure proattive per rilevare e rimuovere app con contenuti dannosi. Quando vengono segnalate violazioni, ha affermato Jackson, Google indaga e intraprende azioni rapide, che hanno incluso la sospensione di centinaia di app violanti e la limitazione dei termini di ricerca correlati come nudify nel suo store.

La risposta di Apple è stata nettamente diversa. Sebbene la società abbia rimosso alcune app segnalate dai ricercatori in passato, per il resto è rimasta particolarmente silenziosa tra le chiamate più aggressive alle app di nudizzazione della polizia nel suo App Store. Il produttore dell'iPhone non ha fornito immediatamente una risposta pubblica dettagliata alle richieste del procuratore della città.

Il gioco del gatto e del topo da scoprire

La sfida di controllare queste app è aggravata dalle loro tattiche in evoluzione. Wired ha riferito che i ricercatori hanno recentemente avvertito che alcune app dannose sono migliorate nell'eludere le rimozioni degli app store pubblicizzando solo funzionalità di scambio di volti e nascondendo le loro capacità di nudizzazione. In un documento prestampato di maggio, i ricercatori hanno identificato 420 app commercializzate come strumenti generici per lo scambio di volti e ne hanno testate 155. In oltre il 70% dei casi, le app potrebbero essere utilizzate per sessualizzare le immagini, dimostrando quanto facilmente dietro un marketing innocuo si nascondano funzionalità dannose.

Questa lacuna di rilevamento significa che anche quando gli app store cercano in modo proattivo strumenti di nudizzazione, molti riescono a sfuggire presentandosi come innocui software di intrattenimento o di fotoritocco. I risultati dei ricercatori suggeriscono che il numero reale di app problematiche in circolazione è probabilmente molto superiore alle tredici segnalate dall'ufficio di Chiu.

Il precedente di Grok

La repressione delle app nudify si interseca anche con un dibattito più ampio sui contenuti dannosi generati dall’intelligenza artificiale. Questa settimana, xAI ha intentato una causa confermando di aver trovato casi di materiale pedopornografico generato da Grok e immagini intime non consensuali rivolte ad adulti. Per affrontare l'abuso, xAI ha citato in giudizio l'utente presumibilmente responsabile di aver spinto Grok a generare il contenuto illegale.

Il caso Grok solleva una questione più spinosa per gli app store: se i chatbot con intelligenza artificiale che possono essere indotti a produrre contenuti illegali debbano essi stessi essere soggetti a rimozione. Secondo quanto riferito, Apple ha detto ai senatori in aprile di aver minacciato privatamente di rimuovere Grok dall'App Store, secondo NBC News, ma l'app xAI rimane disponibile oggi. Finché sarà possibile utilizzare Grok per generare contenuti illegali, gli app store continueranno probabilmente a subire pressioni per agire, proprio come Chiu ha richiesto app di nudità autonome.

Un punto di svolta per la responsabilità della piattaforma

L’ordinanza di San Francisco rappresenta uno degli interventi governativi più aggressivi fino ad oggi rivolti agli app store per i contenuti dannosi generati dall’intelligenza artificiale. Invocando le leggi della California sulla pornografia deepfake, Chiu sta testando se gli statuti statali possono obbligare gli operatori delle piattaforme ad assumersi la responsabilità degli strumenti di intelligenza artificiale distribuiti attraverso i loro mercati.

Il risultato potrebbe costituire un precedente sul modo in cui altre giurisdizioni affrontano il problema e se l’onere di controllare le immagini non consensuali generate dall’intelligenza artificiale ricada sugli sviluppatori, sugli operatori della piattaforma o su entrambi. Per i milioni di persone, soprattutto donne e ragazze, che sono state prese di mira da questi strumenti, la posta in gioco va ben oltre la teoria normativa.

Stai al passo con l'intelligenza artificiale

Per una copertura continua dell'etica dell'IA, della responsabilità delle piattaforme e delle battaglie normative sui media sintetici dannosi, segui AI Buzz Wire per riferire sulle questioni che modellano l'impatto dell'IA sulla società.

Leggi altre notizie sull'etica dell'IA →