Firma Cloudflare, zajmująca się infrastrukturą internetową, wprowadziła nową kontrolę, która pozwala wydawcom witryn internetowych blokować wykorzystywanie ich treści do szkolenia modeli sztucznej inteligencji, przy jednoczesnym zachowaniu ich pełnej dostępności w tradycyjnych wynikach wyszukiwania – jest to oddzielenie, którego ekosystem robotów nigdy wcześniej nie wspierał w sposób czysty.

Funkcja, ogłoszona na blogu Cloudflare 15 września, pojawia się wraz z nowym oznaczeniem „Odpowiedzialny” dla operatorów robotów indeksujących. Według Cloudflare Apple, Google i Microsoft to pierwsze firmy, których roboty się do tego kwalifikują. Każdy, kto w tym roku śledzi najświeższe wiadomości o sztucznej inteligencji, wie, że kwestia tego, kto może pobierać opublikowane treści, stała się jedną z najbardziej spornych sporów politycznych w Internecie.

Problem robota gąsienicowego o mieszanym zastosowaniu

Podstawowym problemem jest to, co Cloudflare nazywa robotami indeksującymi o mieszanym zastosowaniu: pojedynczymi botami, takimi jak Googlebot, Bingbot i Applebot, które pobierają strony zarówno w celu tworzenia indeksów wyszukiwania, jak i zbierania danych szkoleniowych dla modeli sztucznej inteligencji. Historycznie rzecz biorąc, właściciel witryny, który chciał zrezygnować ze szkolenia AI, miał jedno tępe narzędzie – plik robots.txt, który nie pozwalał na to – i korzystanie z niego groziło całkowitym zniknięciem z wyników wyszukiwania.

Nazwa nowego ustawienia Disallow AI Training w Cloudflare pochodzi od dyrektywy, którą publikuje w pliku robots.txt witryny. Gdy ta opcja jest włączona, preferencja witryny dotycząca braku szkoleń jest synchronizowana z plikiem robots.txt, rozliczalne roboty wielofunkcyjne pozostają dozwolone do celów wyszukiwania, a wszystkie inne roboty szkoleniowe są blokowane. Cloudflare zauważa, że ​​blokowanie robotów szkoleniowych – tak nazywa się roboty szkoleniowe prowadzone przez Amazon, Anthropic, Meta i OpenAI – przede wszystkim nigdy nie miało wpływu na wyszukiwanie.

Co sprawia, że robot jest „odpowiedzialny”

Aby zdobyć tytuł Odpowiedzialnego, operator bota musi spełnić lub zobowiązać się do spełnienia zestawu wymagań określonych w poście na blogu:

  • Mechanizm umożliwiający właścicielom witryn rezygnację ze szkoleń dotyczących sztucznej inteligencji za pośrednictwem pliku robots.txt lub podobnego standardu
  • Mechanizm rezygnacji z podsumowań AI ustalany bezpośrednio z operatorem, a w przyszłym roku poprzez Cloudflare
  • Widoczność na poziomie adresu URL, które strony zostały udostępnione do celów szkoleniowych, a także wskaźniki pokazujące, jak treść pojawiła się w wyszukiwaniu
  • Pewność, że rezygnacja ze szkolenia AI nie będzie miała wpływu na tradycyjne rankingi wyszukiwania

Cloudflare twierdzi, że Apple, Google i Microsoft obecnie wykazują, że spełniają wymagania, łącząc dostępne obecnie możliwości z określonymi w czasie zobowiązaniami dotyczącymi funkcji, które są wciąż w fazie rozwoju.

Nowe ustawienia, przestarzałe narzędzia

Zmiana zmienia mechanizmy zarządzania botami Cloudflare, które teraz klasyfikują ruch przeszukiwaczy na trzy zachowania: wyszukiwanie, szkolenie i agent. Po dodaniu opcji Nie zezwalaj na szkolenie AI dostępne ustawienia to Zezwalaj, Nie zezwalaj na szkolenie AI, Blokuj na stronach z reklamami i Blokuj.

Dwa istniejące od dawna narzędzia są wycofywane. Szeroka opcja „Blokuj boty AI” ustępuje miejsca bardziej szczegółowej kontroli wyszukiwania, szkoleń i agentów, a plik Managed Robots.txt został zastąpiony systemem o nazwie Bot Preference Sync, a obecni klienci migrują automatycznie. Disallow AI Training stanie się również częścią zalecanej konfiguracji Cloudflare dla niektórych nowych domen.

Najbardziej konsekwentny przełącznik dotyczy samego ustawienia Blokuj. Poprzednio opcje Blokuj i „Blokuj na stronach z reklamami” nie miały zastosowania do robotów indeksujących o różnym przeznaczeniu, ponieważ ich blokowanie mogło spowodować uszkodzenie wykrywalności wyszukiwania. Od 15 września te ustawienia mają teraz zastosowanie do wszystkich robotów szkoleniowych, w tym Applebot, Bingbot i Googlebot, co oznacza, że ​​witryna, która wybierze opcję Blokuj, akceptuje teraz konsekwencje tego wyboru w rankingu wyszukiwania.

Brak opcji „Zabroń” dla agentów — jeszcze

Pozostaje jedna luka. Kategoria Agent w Cloudflare obejmuje agentów kierowanych przez użytkownika, takich jak agenci korzystający z przeglądarki i boty pobierające czat, odwiedzający stronę w imieniu danej osoby. Firma pisze, że agenci nie oferują takiego samego kompromisu w zakresie możliwości wyszukiwania, jak roboty indeksujące o różnym przeznaczeniu oraz że w Internecie brakuje ugruntowanej dyrektywy dotyczącej wyrażania agentom preferencji niedozwolonych. Na razie nie ma ustawienia „Zabroń” agentom, choć Cloudflare twierdzi, że ponownie rozważy to podejście, gdy dojrzeją standardy takie jak preferencje AI.

Dlaczego jest to ważne dla wydawców

W przypadku organizacji informacyjnych i witryn z treścią ogłoszenie jest jak dotąd najbliższą wykonalną środkową ścieżką w sporze między branżą wydawniczą a twórcami sztucznej inteligencji. Wydawcy argumentują, że szkolenie na temat ich pracy bez zapłaty i pozwolenia to ekstrakcja; Firmy zajmujące się sztuczną inteligencją argumentują, że indeksowanie jest standardową praktyką i że plik robots.txt nigdy nie został zaprojektowany z myślą o rozróżnieniu od ery sztucznej inteligencji.

Formalizując oznaczenie robotów, które oddzielają indeksowanie wyszukiwania od celów szkoleniowych – i egzekwując to za pomocą domyślnych mechanizmów kontrolnych – Cloudflare skutecznie zachęca laboratoria sztucznej inteligencji i firmy tworzące platformy do konkurowania na warunkach przyjaznych wydawcom. Tak się składa, że ​​trzej założyciele Odpowiedzialni operatorzy to firmy, których podstawowa działalność opiera się na systemach wyszukiwania i systemach operacyjnych, a nie na szkoleniu modelowym, co raczej nie jest dziełem przypadku.

Otwartą kwestią jest egzekwowanie prawa i ekonomia. Cloudflare może klasyfikować zachowania i preferencje synchronizacji, ale warunki finansowe licencji szkoleniowych pozostają sprawą prywatnego rynku pomiędzy wydawcami i firmami zajmującymi się sztuczną inteligencją. To, co zmieni się w tym tygodniu, jest bardziej przyziemne i bardziej znaczące: witryna, która odmawia szkoleniom AI, może teraz to zrobić, nie rezygnując ze swojego miejsca w wynikach wyszukiwania. Dla branży, która obserwuje jednocześnie rozwój ruchu poleceń i sporów szkoleniowych, separacja była kwestią czasu.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →