Компания Cloudflare, занимающаяся веб-инфраструктурой, представила новый элемент управления, который позволяет издателям веб-сайтов блокировать использование своего контента для обучения моделей ИИ, сохраняя при этом его полную доступность в традиционных результатах поиска — развязка, которую экосистема сканеров никогда раньше полностью не поддерживала.

Эта функция, анонсированная в блоге Cloudflare 15 сентября, появляется вместе с новым статусом «Подотчетный» для операторов сканеров. По данным Cloudflare, Apple, Google и Microsoft — первые компании, чьи сканеры соответствуют критериям. Любой, кто отслеживает последние новости искусственного интеллекта в этом году, знает, что вопрос о том, кто сможет собирать опубликованный контент, стал одним из самых спорных политических споров в Интернете.

Проблема многофункционального сканера

Основная проблема заключается в том, что Cloudflare называет сканерами смешанного назначения: одиночные боты, такие как Googlebot, Bingbot и Applebot, которые извлекают страницы как для создания поисковых индексов, так и для сбора обучающих данных для моделей ИИ. Исторически сложилось так, что владелец сайта, который хотел отказаться от обучения ИИ, имел один грубый инструмент — запрет robots.txt — и его использование рисковало полностью исчезнуть из результатов поиска.

Новый параметр Cloudflare Disallow AI Training назван в честь директивы, которую он публикует в файле robots.txt сайта. Если этот параметр включен, настройка сайта, запрещающая обучение, синхронизируется с файлом robots.txt, сканеры смешанного назначения Accountable по-прежнему разрешены для поиска, а все остальные обучающие сканеры блокируются. Cloudflare отмечает, что блокировка сканеров, предназначенных только для обучения (в нем названы обучающие сканеры, которыми управляют Amazon, Anthropic, Meta и OpenAI), вообще никогда не влияла на поиск.

Что делает сканер «ответственным»

Чтобы получить звание ответственного, оператор бота должен соответствовать или взять на себя обязательство соблюдать ряд требований, изложенных в сообщении блога:

  • Механизм, позволяющий владельцам сайтов отказаться от обучения ИИ через robots.txt или аналогичный стандарт.
  • Механизм отказа от сводок AI, устанавливаемый непосредственно у оператора, а в следующем году через Cloudflare.
  • Видимость на уровне URL-адресов, какие страницы были доступны для обучения, а также показатели, показывающие, как контент появляется в поиске.
  • Гарантия того, что отказ от обучения ИИ не повлияет на традиционные поисковые рейтинги.

Cloudflare заявляет, что Apple, Google и Microsoft в настоящее время демонстрируют, что они соответствуют требованиям, сочетая доступные сегодня возможности с ограниченными по времени обязательствами по функциям, которые все еще находятся в разработке.

Новые настройки, устаревшие инструменты

Это изменение перерабатывает элементы управления ботами Cloudflare, которые теперь классифицируют трафик сканеров по трем типам поведения: поиск, обучение и агент. После добавления «Запретить обучение ИИ» доступны следующие настройки: «Разрешить», «Запретить обучение ИИ», «Блокировать на страницах с рекламой» и «Блокировать».

Два давних инструмента устаревают. Широкая опция «Блокировать ботов AI» уступает место более детальным элементам управления поиском, обучением и агентами, а файл Managed Robots.txt заменяется системой под названием «Синхронизация предпочтений ботов», при этом существующие клиенты переносятся автоматически. Disallow AI Training также станет частью рекомендуемой конфигурации Cloudflare для некоторых новых доменов.

Самый важный переключатель касается самой настройки Блокировки. Ранее функции «Блокировать» и «Блокировать на страницах с рекламой» не применялись к сканерам смешанного назначения, поскольку их блокировка могла ухудшить видимость при поиске. С 15 сентября эти настройки теперь применяются ко всем обучающим сканерам, включая Applebot, Bingbot и Googlebot. Это означает, что сайт, который выбирает «Блокировать», теперь принимает на себя последствия этого выбора для поискового рейтинга.

Нет запрета для агентов — пока

Остается один пробел. Категория «Агент» Cloudflare охватывает агентов, управляемых пользователем, таких как агенты, использующие браузер, и боты для загрузки чата, посещающие страницу от имени человека. Компания пишет, что агенты не обеспечивают такого же компромисса в отношении обнаруживаемости при поиске, как сканеры смешанного использования, и что в Интернете отсутствует четко установленная директива для выражения агентам предпочтений в отношении запрета. На данный момент для агентов нет настройки Disallow, хотя Cloudflare заявляет, что пересмотрит этот подход по мере развития таких стандартов, как ai-prefs.

Почему это важно для издателей

Для новостных организаций и информационных сайтов это объявление является наиболее близким к работоспособному среднему пути в противостоянии между издательской индустрией и разработчиками ИИ. Издатели утверждают, что обучение их работе без оплаты или разрешения является вымогательством; Компании, занимающиеся искусственным интеллектом, утверждают, что сканирование — это стандартная практика и что файл robots.txt никогда не создавался с учетом особенностей эпохи искусственного интеллекта.

Формализуя обозначение для сканеров, которые отделяют поисковую индексацию от использования для обучения, — и применяя это с помощью элементов управления по умолчанию — Cloudflare фактически просит лаборатории искусственного интеллекта и компании-разработчики платформ конкурировать на условиях, удобных для издателей. Три оператора-основателя Accountable оказались компаниями, основной бизнес которых зависит от поисковых и операционных систем, а не от обучения моделей, что вряд ли является совпадением.

Открытым вопросом являются правоприменение и экономика. Cloudflare может классифицировать поведение и синхронизировать предпочтения, но финансовые условия лицензий на обучение остаются частным вопросом между издателями и компаниями, занимающимися искусственным интеллектом. Изменения на этой неделе более приземленные и более значимые: сайт, который говорит «нет» обучению ИИ, теперь может делать это, не жертвуя своим местом в результатах поиска. Для отрасли, наблюдающей за тем, как одновременно разворачиваются споры о реферальном трафике и обучении, такое разделение наступило уже давно.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →