OpenAI объявила в четверг, что будет учитывать общий сигнал в robots.txt, файле, который веб-сайты используют для сообщения о том, как можно получить доступ к их контенту, чтобы операторы сайтов могли выражать одно предпочтение обучения ИИ нескольким поставщикам одновременно вместо того, чтобы поддерживать отдельные правила для каждого сканера. Google и Microsoft также поддерживают эти усилия, согласно сообщению The Verge, а круглый стол по поисковым системам документировал объявления о внедрении от обеих компаний в один и тот же день.

Этот шаг решает давнюю проблему издателей. До сих пор веб-сайт, который хотел исключить свой контент из конвейеров обучения ИИ, должен был идентифицировать каждого сканера ИИ индивидуально и писать отдельные правила для каждого поставщика, а затем поддерживать этот список в актуальном состоянии по мере появления новых сканеров. Общий сигнал сводит бремя обслуживания к одной линии намерений, которую участвующие компании соглашаются соблюдать. Подробнее об этой истории — в нашем больше статей об ИИ.

Что взял на себя OpenAI

В своем объявлении OpenAI назвала эти усилия добровольными и заявила, что намерена реализовать сигнал в ближайшие месяцы, а подробности реализации будут опубликованы в более позднем обновлении, согласно сообщению Unite.AI об объявлении. Компания заявила, что новый сигнал не заменит элементы управления, которые она уже предоставляет через файл robots.txt, который будет продолжать применяться и соблюдаться.

OpenAI охарактеризовала свою работу как опирающуюся на текущие усилия рабочей группы по предпочтениям ИИ Инженерной группы Интернета, органа по стандартизации, который работает над определением того, как веб-сайты могут выражать машиночитаемые предпочтения относительно того, как их контент используется в системах ИИ. Компания заявила, что присоединяется к другим участникам рабочей группы и призвала других поставщиков ИИ также принять во внимание этот сигнал.

Вход в Google и Microsoft

Значимость объявления во многом зависит от того, кто еще примет стандарт, и первые признаки того, что в нем участвуют крупнейшие игроки. Круглый стол поисковых систем сообщил в четверг, что Google принял новый контроль над обучением искусственного интеллекта, и отдельно рассказал о том, как Microsoft Bing объявляет о новых средствах управления обучением искусственного интеллекта, связанных с ее продуктами для заземления поиска с использованием искусственного интеллекта. The Verge сообщила, что OpenAI, Google и Microsoft поддерживают новый стандарт для веб-сайтов, что сделает его первым межотраслевым соглашением такого рода, поддерживаемым компаниями, на чьи сканеры приходится основная часть операций, связанных с ИИ.

Если три компании добьются своего, оператор веб-сайта сможет установить единый отказ от обучения, который будет понятен сканерам, стоящим за ChatGPT, продуктами искусственного интеллекта Google и экосистемой Microsoft Copilot одновременно. Это существенно более простой мир для издателей, чем нынешний, где каждый провайдер документирует свои собственные имена сканеров и токены предпочтений.

Почему издатели этого хотели

Стремление к единому сигналу нарастало в течение многих лет, поскольку обучение ИИ стало горячей точкой между технологической отраслью и людьми, которые создают письменные записи, на которых учатся модели. Новостные организации, в частности, жаловались на то, что ИИ-сканеры собирают их репортажи в больших масштабах, в то время как их бизнес-модели, финансируемые за счет рекламы, разрушаются, а несколько издателей обратились в суд или подписали лицензионные соглашения, чтобы вернуть себе рычаги воздействия.

Временные решения получили широкое распространение. Cloudflare, занимающая значительную часть Интернета, запустила настройку, которая позволяет сайтам блокировать обучающие сканеры ИИ, не теряя при этом видимости поиска Google. Это различие имеет большое значение, поскольку сканирование ИИ и индексирование поиска исторически регулировались одними и теми же правилами robots.txt. Работа над стандартами внутри рабочей группы IETF по предпочтениям искусственного интеллекта направлена ​​на формализацию выражения предпочтений на уровне протокола.

Общий сигнал, принятый основными поставщиками ИИ, стал бы наиболее важным шагом, поскольку он работает через существующий механизм robots.txt, который операторы сайтов уже знают, как использовать.

Вопрос о правоприменении

Стандарт является добровольным, и это слово имеет вес. Предпочтение robots.txt само по себе не имеет силы закона; он является обязательным только для компаний, которые согласились соблюдать его, и соблюдение исторически зависело от собственного обнаружения и обеспечения соблюдения каждым поставщиком. Заявление OpenAI о том, что существующие элементы управления robots.txt будут по-прежнему соблюдаться, предполагает преемственность, а не новый режим, и компания еще не опубликовала технические подробности того, как соответствие будет реализовано или проверено.

Есть также открытые вопросы, которые объявление не решает. Еще неизвестно, охватывает ли сигнал только обучение или распространяется на поиск и заземление — процессы, с помощью которых системы ИИ извлекают живой веб-контент для ответа на вопросы. Это различие важно для издателей, поскольку продукты, основанные на поиске, могут возвращать трафик к источникам, а использование для обучения — нет. То, как ИИ, управляемый поисковыми системами, обрабатывает сигнал в сравнении с общими правилами сканирования, будет определять, будут ли издатели воспринимать внедрение как победу или фиговый листок.

Что посмотреть

Следующие вехи конкретны: обновление реализации OpenAI, техническая спецификация, которую публикуют участвующие компании, и объявят ли о поддержке другие крупные поставщики ИИ, включая крупные китайские лаборатории и независимые компании, занимающиеся логическим выводом. Издатели и правообладатели будут внимательно следить за результатами аудита, то есть за тем, смогут ли операторы убедиться, что их предпочтения действительно соблюдаются в масштабе.

Если стандарт будет соблюдаться, объявление в четверг можно будет запомнить как момент, когда отказ от обучения ИИ перестал быть лоскутным одеялом для каждой компании и стал общесетевым соглашением. Если он застопорится, он присоединится к длинному ряду добровольных веб-стандартов, которым индустрия аплодировала, а затем тихо игнорировала.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →