Поскольку средства массовой информации, созданные искусственным интеллектом, наводняют Интернет, технология водяных знаков SynthID от Google стала одним из наиболее известных инструментов, позволяющих отличить подлинный контент от синтетических изображений. Новый строгий стресс-тест подтверждает, что невидимый водяной знак удивительно долговечен, выдерживает сотни раундов сжатия, изменения размера и даже снимков экрана, но результаты также подчеркивают более суровую истину: одни только технические метки вряд ли смогут разрешить растущий кризис дезинформации ИИ. Для постоянных репортажей о [последних разработках в области искусственного интеллекта] (https://aibuzzwire.news) полученные результаты становятся важной контрольной точкой в ​​дебатах о происхождении контента.

Масштаб проблемы сложно переоценить. По оценкам Starling Lab, исследовательского сотрудничества Стэнфордского университета и Университета Южной Калифорнии, человечеству потребовалось до 1975 года, 149 лет после изобретения камеры, чтобы создать 1,5 миллиарда изображений. Генеративный ИИ достиг этого результата всего за 18 месяцев. На своей конференции I/O в этом году Google объявила, что только ее инструменты были использованы для создания более 100 миллиардов изображений и видео с помощью ИИ за пару лет.

Как работает SynthID

В настоящее время существует два основных подхода к маркировке контента, созданного искусственным интеллектом: невидимые водяные знаки, такие как SynthID, и схемы метаданных, такие как стандарт Коалиции за происхождение и подлинность контента (C2PA). Google использует оба. C2PA криптографически безопасен и не может быть подделан, но его легко взломать. Простое редактирование и сохранение изображения или создание снимка экрана могут полностью удалить метаданные C2PA.

SynthID использует другой подход. Вместо того, чтобы полагаться на метаданные, находящиеся рядом с файлом, водяной знак кодируется непосредственно в пикселях изображения или видео или в форме волны аудиоклипа. Поскольку сигнал вплетен в сам контент, Google утверждает, что он должен выдерживать преобразования, сжатие, обрезку и перекодирование, которые происходят естественным образом при распространении медиа в Интернете.

Стресс-тест для сигнала на уровне пикселей

Ars Technica проверила эти утверждения с помощью сценария Python, созданного на основе библиотеки изображений Pillow. Скрипт имитировал потерю данных в результате многократного совместного использования и загрузки со значительно ускоренной скоростью, применяя рандомизированное сжатие и значения изменения размера к тестовому изображению и возвращая каждый результат обратно в качестве основы для следующей итерации. В качестве испытуемых послужили два сгенерированных искусственным интеллектом изображения модели Nano Banana Pro от Google, одно из которых было создано полностью с нуля, а другое — оригинальная фотография, отредактированная искусственным интеллектом.

После 300 поколений имитации совместного использования, в ходе которых четкие оригиналы превратились в едва распознаваемые пятна, водяной знак SynthID все еще присутствовал на обоих изображениях. Водяной знак сохранился даже на полных скриншотах, поскольку пиксели специального маркера переносятся в новый файл. Каждые 50 поколений тестер также выпускал обрезанные версии, чтобы еще больше ослабить обнаружение.

Где SynthID наконец ломается

Ограничения технологии проявляются только в экстремальных условиях. После 300 циклов сжатия удаление нескольких пикселей с границы ухудшенных тестовых изображений окончательно нарушило SynthID как на полностью сгенерированных, так и на отредактированных AI изображениях. Поскольку сигнал водяного знака распределяется по пикселям, он не поддается случайному кадрированию, но как только накапливается достаточное ухудшение, детектор можно вывести из строя.

Ученый Google DeepMind Пушмит Кохли рассказал Ars, что команда разработала систему, ожидая, что она будет атакована. «На протяжении всего процесса разработки мы предполагали, что подобная технология будет атакована», — сказал Кохли. «Поэтому мы провели много исследований, чтобы сделать SynthID устойчивым к различным видам преобразований. Независимо от того, добавляют ли люди какой-то фильтр или обрезают изображение, мы использовали эти преобразования и убедились, что детектор устойчив к ним».

Водяные знаки распространяются по всей отрасли

Тестирование проводится по мере того, как внедрение SynthID выходит за рамки собственных продуктов Google. Компания заключила партнерские отношения с целью расширения использования водяных знаков, причем OpenAI, Runway и Nvidia входят в число тех, кто начинает интегрировать эту технологию в свои генеративные инструменты. Google неохотно раскрывает технические подробности, выходящие за пределы оригинальной исследовательской работы, поэтому независимое тестирование, подобное тому, которое проводила Ars, имеет большое значение, поскольку водяные знаки распространяются по всему ландшафту искусственного интеллекта.

Одних ярлыков недостаточно

Основное противоречие, которое выявляет эксперимент, заключается в том, что даже надежный водяной знак полезен лишь настолько, насколько готовы платформы и люди проверять его. Обнаружение SynthID еще не широко встроено в социальные сети и приложения для обмена сообщениями, где фактически распространяется большинство манипулируемых медиа. Водяной знак, выдерживающий 300 циклов сжатия, не обеспечивает особой защиты, если никто на принимающей стороне не сканирует его.

Результаты долговечности действительно обнадеживают в области аутентичности контента. Они предполагают, что невидимые водяные знаки на уровне пикселей могут служить надежной технической основой для определения происхождения. Но более широкий вопрос: сможет ли общество создать нормы, инфраструктуру и стимулы, чтобы действительно действовать в соответствии с этими сигналами, остается нерешенным. Поскольку объем синтетических медиа продолжает преодолевать отметку в 100 миллиардов изображений, разрыв между тем, что могут отметить технологии, и тем, какие платформы будут модерировать, становится определяющей проблемой.

Будьте впереди ИИ

Следите за последними новостями об искусственном интеллекте, определяющими политику, исследования и платформы, меняющие Интернет.

Читать больше новостей об искусственном интеллекте