Google의 SynthID 워터마크는 잔인한 스트레스 테스트를 견뎌냈지만 AI의 잘못된 정보는 해결하지 못했습니다.

Ars Technica 스트레스 테스트에 따르면 Google의 SynthID 워터마크는 300회의 압축 및 스크린샷을 견딜 수 있지만 자르기로 인해 마침내 손상되고 라벨링만으로는 AI 허위 정보를 막을 수 없습니다.

AI 생성 미디어가 인터넷에 넘쳐나면서 Google의 SynthID 워터마킹 기술은 합성 이미지와 실제 콘텐츠를 구별하는 가장 눈에 띄는 도구 중 하나로 부상했습니다. 엄격한 새로운 스트레스 테스트를 통해 보이지 않는 워터마크가 수백 번의 압축, 크기 조정, 심지어 스크린샷까지 견딜 수 있을 정도로 매우 내구성이 있음을 확인했습니다. 그러나 결과는 또한 더 어려운 진실을 강조합니다. 기술 라벨만으로는 커져가는 AI 허위 정보 위기를 해결할 가능성이 낮다는 것입니다. 최신 AI 개발에 대한 지속적인 보고에 있어 이번 조사 결과는 콘텐츠 출처 논쟁에서 중요한 체크포인트가 됩니다.

문제의 규모는 과장하기 어렵습니다. 스탠포드 대학과 서던캘리포니아 대학의 연구 협력인 스탈링 연구소(Starling Lab)는 카메라가 발명된 지 149년이 지난 1975년까지 인류가 15억 개의 이미지를 생성하는 데 걸린 것으로 추정합니다. Generative AI는 단 18개월 만에 그 결과를 달성했습니다. 올해 I/O 컨퍼런스에서 Google은 자사 도구만으로 몇 년 만에 1,000억 개가 넘는 AI 이미지와 동영상을 만드는 데 사용되었다고 발표했습니다.

SynthID 작동 방식

현재 AI 생성 콘텐츠에 레이블을 지정하는 데는 두 가지 주요 접근 방식이 있습니다. SynthID와 같은 보이지 않는 워터마크와 C2PA(콘텐츠 출처 및 진위 연합) 표준과 같은 메타데이터 스키마입니다. Google은 두 가지를 모두 사용합니다. C2PA는 암호학적으로 안전하고 위조할 수 없지만 제거하는 것은 매우 쉽습니다. 단순히 이미지를 편집 및 저장하거나 스크린샷을 찍는 것만으로도 C2PA 메타데이터를 완전히 제거할 수 있습니다.

SynthID는 다른 접근 방식을 취합니다. 파일과 함께 있는 메타데이터에 의존하는 대신 워터마크는 이미지나 비디오의 픽셀이나 오디오 클립의 파형으로 직접 인코딩됩니다. 신호는 콘텐츠 자체에 짜여져 있기 때문에 미디어가 인터넷을 통해 전달될 때 자연스럽게 발생하는 변환, 압축, 자르기 및 재인코딩 후에도 신호가 살아남아야 한다고 Google은 주장해 왔습니다.

픽셀 수준 신호에 대한 스트레스 테스트

Ars Technica는 Pillow 이미징 라이브러리에 구축된 Python 스크립트를 사용하여 이러한 주장을 테스트했습니다. 스크립트는 매우 빠른 속도로 반복적인 공유 및 다운로드로 인한 데이터 손실을 시뮬레이션했으며, 테스트 이미지에 무작위 압축 및 값 크기 조정을 적용하고 각 출력을 다음 반복의 기초로 다시 공급했습니다. Google Nano Banana Pro 모델의 AI 생성 이미지 2개(완전히 처음부터 생성된 이미지 1개와 AI가 편집한 원본 사진 1개)가 테스트 대상으로 사용되었습니다.

선명한 원본이 거의 알아볼 수 없는 얼룩으로 분해되는 300세대의 시뮬레이션된 공유 후에도 SynthID 워터마크는 여전히 두 이미지에 등록되었습니다. 특수 마커 픽셀이 새 파일로 전송되기 때문에 워터마크는 전체 스크린샷에서도 유지됩니다. 50세대마다 테스터는 감지 기능을 더욱 약화시키기 위해 잘린 버전도 생성했습니다.

SynthID가 마침내 중단되는 곳

기술의 한계는 극한 상황에서만 드러났습니다. 300회의 압축 주기 후에 품질이 저하된 테스트 이미지의 경계에서 소수의 픽셀을 제거하면 완전히 생성된 이미지와 AI 편집 이미지 모두에서 SynthID가 손상되었습니다. 워터마크 신호는 픽셀 전체에 분산되므로 일반적인 자르기를 방지하지만 품질 저하가 충분히 축적되면 감지기가 작동하지 않을 수 있습니다.

Google DeepMind 과학자 Pushmeet Kohli는 팀이 공격을 예상하여 시스템을 설계했다고 Ars에 말했습니다. Kohli는 "전체 개발 과정을 통해 이와 같은 기술이 공격을 받을 것이라고 가정했습니다."라고 말했습니다. "그래서 우리는 다양한 종류의 변형에 대해 SynthID를 강력하게 만들기 위해 많은 연구를 했습니다. 사람들이 일종의 필터를 추가하든 이미지를 자르든 우리는 이러한 변형을 사용하고 감지기가 이에 대해 강력한지 확인했습니다."

워터마크는 업계 전반으로 확장됩니다.

SynthID 채택이 Google 자체 제품을 넘어 확대되면서 테스트가 이루어졌습니다. 회사는 워터마크 사용을 확대하기 위해 OpenAI, Runway 및 Nvidia와 파트너십을 체결하여 이 기술을 생성 도구에 통합하기 시작했습니다. Google은 원본 연구 논문 이상의 기술적 세부 사항을 공개하는 것을 꺼려왔습니다. 이것이 AI 환경 전반에 걸쳐 워터마크가 확산됨에 따라 Ars가 수행한 종류의 독립적인 테스트가 중요한 이유입니다.

라벨만으로는 충분하지 않습니다

실험에서 드러난 핵심 긴장은 강력한 워터마크라도 이를 확인하려는 플랫폼과 사람들의 의지만큼만 유용하다는 것입니다. SynthID 탐지는 대부분의 조작된 미디어가 실제로 확산되는 소셜 네트워크 및 메시징 앱에 아직 광범위하게 구축되지 않았습니다. 300번의 압축 주기를 견디는 워터마크는 수신 측에서 검색하는 사람이 없다면 거의 보호되지 않습니다.

내구성 결과는 콘텐츠 신뢰성 분야에서 정말 고무적입니다. 그들은 눈에 보이지 않는 픽셀 수준의 워터마킹이 출처를 위한 신뢰할 수 있는 기술 백본 역할을 할 수 있다고 제안합니다. 그러나 사회가 실제로 그러한 신호에 따라 행동할 수 있는 규범, 인프라 및 인센티브를 구축할 수 있는지 여부에 대한 더 넓은 질문은 아직 해결되지 않은 상태로 남아 있습니다. 합성 미디어의 양이 1,000억 개의 이미지라는 이정표를 넘어서 계속 증가함에 따라 기술이 표시할 수 있는 것과 조정할 플랫폼 간의 격차가 결정적인 과제가 되고 있습니다.