La filigrana SynthID di Google sopravvive allo stress test brutale, ma non risolverà la disinformazione sull'intelligenza artificiale

Mentre i media generati dall'intelligenza artificiale inondano Internet, la tecnologia di filigrana SynthID di Google è emersa come uno degli strumenti più importanti per distinguere i contenuti autentici dalle immagini sintetiche. Un nuovo e rigoroso stress test conferma che la filigrana invisibile è straordinariamente durevole, sopravvivendo a centinaia di cicli di compressione, ridimensionamento e persino screenshot, ma i risultati sottolineano anche una verità più dura: è improbabile che le etichette tecniche da sole risolvano la crescente crisi della disinformazione basata sull’intelligenza artificiale. Per il reporting continuo sugli ultimi sviluppi dell’intelligenza artificiale, i risultati segnano un importante punto di controllo nel dibattito sulla provenienza dei contenuti.

È difficile sopravvalutare la portata del problema. Lo Starling Lab, una collaborazione di ricerca tra la Stanford University e la University of Southern California, stima che ci sia voluto fino al 1975, 149 anni dopo l’invenzione della macchina fotografica, perché l’umanità producesse 1,5 miliardi di immagini. L’intelligenza artificiale generativa ha raggiunto questo risultato in soli 18 mesi. Alla conferenza I/O di quest’anno, Google ha annunciato che i suoi strumenti da soli sono stati utilizzati per creare più di 100 miliardi di immagini e video AI in un paio d’anni.

Come funziona SynthID

Attualmente esistono due approcci principali per etichettare i contenuti generati dall’intelligenza artificiale: filigrane invisibili come SynthID e schemi di metadati come lo standard Coalition for Content Provenance and Authenticity (C2PA). Google li usa entrambi. C2PA è crittograficamente sicuro e non può essere falsificato, ma è banalmente facile da eliminare. La semplice modifica e salvataggio di un'immagine o l'acquisizione di uno screenshot possono rimuovere completamente i metadati C2PA.

SynthID adotta un approccio diverso. Invece di fare affidamento sui metadati che si trovano accanto a un file, la filigrana viene codificata direttamente nei pixel di un'immagine o di un video o nella forma d'onda di una clip audio. Poiché il segnale è intrecciato nel contenuto stesso, Google ha sostenuto che dovrebbe sopravvivere alle trasformazioni, compressione, ritaglio e ricodifica che avvengono naturalmente quando i media vengono trasmessi su Internet.

Uno stress test per il segnale a livello di pixel

Ars Technica ha messo alla prova queste affermazioni utilizzando uno script Python costruito sulla libreria di imaging Pillow. Lo script simulava la perdita di dati dovuta a ripetute condivisioni e download a una velocità notevolmente accelerata, applicando valori di compressione e ridimensionamento casuali a un'immagine di prova e reimmettendo ciascun output come base per l'iterazione successiva. Due immagini generate dall'intelligenza artificiale dal modello Nano Banana Pro di Google, una creata interamente da zero e una foto originale modificata dall'intelligenza artificiale, sono servite come soggetti di prova.

Dopo 300 generazioni di condivisione simulata, durante le quali gli originali nitidi sono stati ridotti a macchie appena riconoscibili, la filigrana SynthID è ancora registrata su entrambe le immagini. La filigrana è sopravvissuta anche agli screenshot completi, perché i pixel marcatori speciali vengono trasferiti nel nuovo file. Ogni 50 generazioni il tester produceva anche versioni ritagliate per indebolire ulteriormente il rilevamento.

Dove SynthID finalmente si rompe

I limiti della tecnologia sono emersi solo in condizioni estreme. Dopo 300 cicli di compressione, la rimozione di una manciata di pixel dal bordo delle immagini di prova degradate ha finalmente rotto SynthID sia sulle immagini completamente generate che su quelle modificate dall'intelligenza artificiale. Poiché il segnale della filigrana è distribuito su tutti i pixel, resiste al ritaglio casuale, ma una volta accumulato un degrado sufficiente, il rilevatore può essere disattivato.

Lo scienziato di Google DeepMind Pushmeet Kohli ha detto ad Ars che il team ha progettato il sistema aspettandosi che sarebbe stato attaccato. "Durante l'intero processo di sviluppo, abbiamo dato per scontato che una tecnologia come questa sarebbe stata attaccata", ha detto Kohli. "Quindi abbiamo svolto molte ricerche per rendere SynthID resistente a diversi tipi di trasformazioni. Sia che le persone aggiungano una sorta di filtro o ritaglino l'immagine, abbiamo utilizzato queste trasformazioni e ci siamo assicurati che il rilevatore fosse robusto contro di loro."

Le filigrane si espandono in tutto il settore

Il test arriva mentre l'adozione di SynthID si sta espandendo oltre i prodotti stessi di Google. L'azienda ha stretto partnership per espandere l'uso della filigrana, con OpenAI, Runway e Nvidia tra coloro che iniziano a integrare la tecnologia nei loro strumenti generativi. Google è stata riluttante a rilasciare molti dettagli tecnici oltre il documento di ricerca originale, motivo per cui i test indipendenti del tipo condotto da Ars sono importanti mentre la filigrana prolifera nel panorama dell’intelligenza artificiale.

Le etichette da sole non bastano

La tensione centrale messa in luce dall’esperimento è che anche una filigrana robusta è utile tanto quanto la volontà delle piattaforme e delle persone di verificarla. Il rilevamento SynthID non è ancora ampiamente integrato nei social network e nelle app di messaggistica in cui si diffondono effettivamente la maggior parte dei media manipolati. Una filigrana che sopravvive a 300 cicli di compressione offre poca protezione se nessuno dal lato ricevente la cerca.

I risultati sulla durabilità sono davvero incoraggianti per il campo dell’autenticità dei contenuti. Suggeriscono che la filigrana invisibile a livello di pixel può fungere da spina dorsale tecnica affidabile per la provenienza. Ma la questione più ampia, ovvero se la società possa creare norme, infrastrutture e incentivi per agire effettivamente in base a tali segnali, rimane irrisolta. Mentre il volume dei media sintetici continua a superare il traguardo dei 100 miliardi di immagini, il divario tra ciò che la tecnologia può segnare e ciò che le piattaforme modereranno sta diventando la sfida decisiva.

Stai al passo con l'intelligenza artificiale

Tieniti aggiornato sulle ultime notizie sull'intelligenza artificiale che plasmano la politica, la ricerca e le piattaforme che rimodellano Internet.

Leggi altre notizie sull'AI