Googles SynthID Watermark överlever brutalt stresstest, men kommer inte att lösa AI-felinformation

När AI-genererad media översvämmar internet har Googles SynthID-vattenmärkningsteknik framstått som ett av de mest framträdande verktygen för att skilja autentiskt innehåll från syntetiska bilder. Ett rigoröst nytt stresstest bekräftar att den osynliga vattenstämpeln är anmärkningsvärt hållbar, överlever hundratals omgångar av komprimering, storleksändring och till och med skärmdumpar, men resultaten understryker också en svårare sanning: tekniska etiketter ensamma är osannolikt att lösa den växande krisen med AI-desinformation. För fortlöpande rapportering om den senaste AI-utvecklingen, markerar resultaten en viktig kontrollpunkt i debatten om innehåll och ursprung.

Omfattningen av problemet är svår att överskatta. Starling Lab, ett forskningssamarbete mellan Stanford University och University of Southern California, uppskattar att det tog fram till 1975, 149 år efter kamerans uppfinning, för mänskligheten att producera 1,5 miljarder bilder. Generativ AI matchade den produktionen på bara 18 månader. På sin I/O-konferens i år meddelade Google att enbart dess verktyg hade använts för att skapa mer än 100 miljarder AI-bilder och videor på ett par år.

Hur SynthID fungerar

Det finns för närvarande två huvudsakliga metoder för att märka AI-genererat innehåll: osynliga vattenstämplar som SynthID och metadatascheman som Coalition for Content Provenance and Authenticity-standarden (C2PA). Google använder båda. C2PA är kryptografiskt säkert och kan inte fejkas, men det är trivialt lätt att ta bort. Att helt enkelt redigera och spara en bild, eller ta en skärmdump, kan ta bort C2PA-metadata helt.

SynthID tar ett annat tillvägagångssätt. Istället för att förlita sig på metadata som sitter bredvid en fil, kodas vattenstämpeln direkt i pixlarna i en bild eller video, eller i vågformen för ett ljudklipp. Eftersom signalen är invävd i själva innehållet, har Google hävdat att den borde överleva de transformationer, komprimering, beskärning och omkodning som sker naturligt när media skickas runt på internet.

Ett stresstest för signalen på pixelnivå

Ars Technica satte dessa påståenden på prov med hjälp av ett Python-skript byggt på Pillow-bildbiblioteket. Skriptet simulerade dataförlust från upprepad delning och nedladdning i en kraftigt accelererad hastighet, tillämpade randomiserad komprimering och storleksändring på en testbild och matade tillbaka varje utdata som grund för nästa iteration. Två AI-genererade bilder från Googles Nano Banana Pro-modell, en skapad helt från grunden och en originalfoto redigerad av AI, fungerade som testpersoner.

Efter 300 generationer av simulerad delning, under vilken de skarpa originalen degraderades till knappt igenkännbara blobbar, registrerades fortfarande SynthID-vattenstämpeln på båda bilderna. Vattenstämpeln överlevde till och med hela skärmdumpar, eftersom de speciella markörpixlarna överförs till den nya filen. Var 50:e generation producerade testaren också beskurna versioner för att försvaga upptäckten ytterligare.

Där SynthID slutligen bryter

Teknikens gränser uppstod endast under extrema förhållanden. Efter 300 komprimeringscykler, tog bort en handfull pixlar från gränsen för de försämrade testbilderna slutligen SynthID på både de fullt genererade och de AI-redigerade bilderna. Eftersom vattenstämpelsignalen är fördelad över pixlarna, motstår den tillfällig beskärning, men när tillräckligt med nedbrytning ackumuleras kan detektorn besegras.

Google DeepMind-forskaren Pushmeet Kohli sa till Ars att teamet designade systemet och förväntade sig att det skulle attackeras. "Genom hela utvecklingsprocessen antog vi typ att en teknik som denna kommer att attackeras," sa Kohli. "Så vi gjorde mycket forskning för att göra SynthID robust för olika typer av transformationer. Oavsett om folk lägger till något slags filter eller beskär bilden, använde vi dessa transformationer och såg till att detektorn var robust mot dem."

Vattenstämplar expanderar över hela branschen

Testet kommer när SynthID-användningen breddar utöver Googles egna produkter. Företaget har ingått partnerskap för att utöka användningen av vattenmärket, med OpenAI, Runway och Nvidia bland dem som börjar integrera tekniken i sina generativa verktyg. Google har varit ovilliga att släppa mycket tekniska detaljer utöver det ursprungliga forskningsdokumentet, vilket är anledningen till att oberoende tester av det slag som Ars genomförde är viktiga när vattenstämpeln sprider sig över AI-landskapet.

Ensamma etiketter räcker inte

Den centrala spänningen som experimentet avslöjar är att även en robust vattenstämpel bara är lika användbar som plattformarnas och människors vilja att leta efter det. SynthID-detektion är ännu inte brett inbyggd i de sociala nätverk och meddelandeappar där de flesta manipulerade medier faktiskt sprids. En vattenstämpel som överlever 300 kompressionscykler ger lite skydd om ingen på den mottagande sidan söker efter det.

Hållbarhetsresultaten är verkligen uppmuntrande för fältet innehållsäkthet. De föreslår att osynlig vattenmärkning på pixelnivå kan fungera som en pålitlig teknisk ryggrad för härkomst. Men den bredare frågan, om samhället kan bygga normerna, infrastrukturen och incitamenten för att faktiskt agera på dessa signaler, förblir olöst. När volymen syntetiska medier fortsätter att klättra förbi milstolpen på 100 miljarder bilder, blir klyftan mellan vad tekniken kan markera och vilka plattformar som kommer att modereras den avgörande utmaningen.

Ligg före AI

Håll dig uppdaterad med de brytande AI-nyheterna som formar policyn, forskningen och plattformarna som omformar internet.

Läs fler AI-nyheter