Jak média generovaná umělou inteligencí zaplavují internet, technologie vodoznaků SynthID společnosti Google se stala jedním z nejvýznamnějších nástrojů pro rozlišení autentického obsahu od syntetických snímků. Nový přísný zátěžový test potvrzuje, že neviditelný vodoznak je pozoruhodně odolný, přežije stovky kol komprese, změny velikosti a dokonce i snímky obrazovky, ale výsledky také podtrhují tvrdší pravdu: samotné technické štítky pravděpodobně nevyřeší rostoucí krizi dezinformací AI. Pro průběžné podávání zpráv o [nejnovějším vývoji AI] (https://aibuzzwire.news) jsou zjištění důležitým kontrolním bodem v debatě o obsahu a původu.

Rozsah problému je těžké přeceňovat. Starling Lab, výzkumná spolupráce mezi Stanfordskou univerzitou a Univerzitou v Jižní Kalifornii, odhaduje, že lidstvu trvalo až do roku 1975, 149 let po vynálezu fotoaparátu, než vyrobilo 1,5 miliardy snímků. Generativní AI se tomuto výstupu vyrovnala za pouhých 18 měsíců. Na své letošní I/O konferenci Google oznámil, že jen jeho nástroje byly během několika let použity k vytvoření více než 100 miliard AI obrázků a videí.

Jak SynthID funguje

V současnosti existují dva hlavní přístupy k označování obsahu generovaného umělou inteligencí: neviditelné vodoznaky, jako je SynthID, a schémata metadat, jako je standard Coalition for Content Provenance and Authenticity (C2PA). Google používá obojí. C2PA je kryptograficky zabezpečená a nelze ji zfalšovat, ale její odstranění je triviálně snadné. Jednoduchá úprava a uložení obrázku nebo pořízení snímku obrazovky může metadata C2PA zcela odstranit.

SynthID má jiný přístup. Namísto spoléhání se na metadata, která jsou umístěna vedle souboru, je vodoznak zakódován přímo do pixelů obrázku nebo videa nebo do tvaru vlny zvukového klipu. Vzhledem k tomu, že signál je vetkán do samotného obsahu, Google tvrdil, že by měl přežít transformace, kompresi, ořezávání a překódování, ke kterým přirozeně dochází, když média procházejí internetem.

Zátěžový test pro signál na úrovni pixelů

Ars Technica otestovala tato tvrzení pomocí skriptu Python postaveného na zobrazovací knihovně Pillow. Skript simuloval ztrátu dat při opakovaném sdílení a stahování při značně zrychleném tempu, aplikoval na testovací obrázek náhodnou kompresi a změny velikosti a každý výstup vrátil jako základ pro další iteraci. Jako testovací subjekty posloužily dva obrázky vygenerované umělou inteligencí z modelu Nano Banana Pro od Googlu, jeden vytvořený zcela od začátku a jedna originální fotografie upravená umělou inteligencí.

Po 300 generacích simulovaného sdílení, během kterého byly ostré originály degradovány na sotva rozpoznatelné kuličky, se vodoznak SynthID stále registroval na obou snímcích. Vodoznak dokonce přežil snímky celé obrazovky, protože speciální pixely značky se přenesly do nového souboru. Každých 50 generací tester také vyráběl oříznuté verze, aby detekci dále oslabil.

Kde se SynthID konečně zlomí

Limity technologie se ukázaly až za extrémních podmínek. Po 300 kompresních cyklech odstranění hrstky pixelů z okraje degradovaných testovacích obrázků konečně narušilo SynthID jak na plně vygenerovaných, tak na AI upravených obrázcích. Protože je signál vodoznaku distribuován mezi pixely, odolává náhodnému oříznutí, ale jakmile se nahromadí dostatečná degradace, detektor může být poražen.

Vědec Google DeepMind Pushmeet Kohli řekl Ars, že tým navrhl systém s očekáváním, že bude napaden. "Během celého procesu vývoje jsme tak trochu předpokládali, že technologie jako je tato bude napadena," řekl Kohli. "Provedli jsme tedy mnoho výzkumů, abychom zajistili, že SynthID bude odolný vůči různým druhům transformací. Ať už lidé přidávají nějaký druh filtru nebo ořezávají obrázek, použili jsme tyto transformace a zajistili jsme, aby byl detektor proti nim odolný."

Vodoznaky se rozšiřují napříč průmyslem

Test přichází s tím, jak se přijetí SynthID rozšiřuje mimo vlastní produkty Google. Společnost uzavřela partnerství s cílem rozšířit používání vodoznaku, přičemž OpenAI, Runway a Nvidia mezi těmi, kteří začínají integrovat technologii do svých generativních nástrojů. Google se zdráhal zveřejnit mnoho technických podrobností nad rámec původního výzkumného dokumentu, a proto je důležité nezávislé testování typu Ars, protože se vodoznak šíří napříč prostředím AI.

Samotné štítky nestačí

Ústřední napětí, které experiment odhaluje, spočívá v tom, že i robustní vodoznak je užitečný jen tak, jako je ochota platforem a lidí jej kontrolovat. Detekce SynthID zatím není široce zabudována do sociálních sítí a aplikací pro zasílání zpráv, kde se většina zmanipulovaných médií skutečně šíří. Vodoznak, který přežije 300 kompresních cyklů, nabízí malou ochranu, pokud jej nikdo na přijímací straně nehledá.

Výsledky trvanlivosti jsou v oblasti pravosti obsahu skutečně povzbudivé. Naznačují, že neviditelné vodoznaky na úrovni pixelů mohou sloužit jako spolehlivá technická páteř původu. Ale širší otázka, zda společnost dokáže vybudovat normy, infrastrukturu a pobídky, aby na základě těchto signálů skutečně jednala, zůstává nevyřešena. Vzhledem k tomu, že objem syntetických médií stále překračuje hranici 100 miliard obrázků, propast mezi tím, co může technologie označit, a tím, co bude platforma moderovat, se stává určující výzvou.

Udržujte si náskok před umělou inteligencí

Držte krok s nejnovějšími zprávami o AI utvářejícími politiku, výzkum a platformy přetvářející internet.

Přečtěte si další zprávy o AI