W czwartek OpenAI ogłosiło, że będzie honorować wspólny sygnał w pliku robots.txt, pliku używanym przez strony internetowe do komunikowania, w jaki sposób można uzyskać dostęp do ich treści, dzięki czemu operatorzy witryn będą mogli wyrazić jedną preferencję dotyczącą szkolenia w zakresie sztucznej inteligencji wielu dostawcom jednocześnie, zamiast utrzymywać oddzielne reguły dla każdego robota. Jak wynika z doniesień The Verge, Google i Microsoft również wspierają tę akcję, a Search Engine Roundtable dokumentuje ogłoszenia o przyjęciu technologii przez obie firmy tego samego dnia.
Posunięcie to rozwiązuje długotrwały problem wydawców. Do tej pory witryna internetowa, która chciała trzymać swoje treści poza procesami szkoleniowymi AI, musiała indywidualnie identyfikować każdego robota AI i pisać osobne reguły dla każdego dostawcy, a następnie aktualizować tę listę w miarę pojawiania się nowych robotów. Wspólny sygnał skupia obciążenie konserwacyjne w jednym celu, którego uczestniczące firmy zgadzają się przestrzegać. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Do czego zobowiązało się OpenAI
W swoim ogłoszeniu OpenAI określiło przedsięwzięcie jako dobrowolne i stwierdziło, że ma na celu wdrożenie sygnału w nadchodzących miesiącach, a szczegóły wdrożenia zostaną podane w późniejszej aktualizacji, zgodnie z relacją Unite.AI z ogłoszenia. Firma stwierdziła, że nowy sygnał nie zastąpi kontroli, którą już zapewnia w pliku robots.txt, który będzie nadal stosowany i przestrzegany.
OpenAI sformułowało tę pracę jako oparcie się na bieżących wysiłkach grupy roboczej AI Preferences działającej w ramach Internet Engineering Task Force, czyli wysiłku organu normalizacyjnego pracującego nad zdefiniowaniem, w jaki sposób strony internetowe mogą wyrażać czytelne maszynowo preferencje dotyczące sposobu wykorzystania ich treści w systemach AI. Firma oświadczyła, że dołącza do innych uczestników grupy roboczej w ogłaszaniu ogłoszenia i zachęcała innych dostawców sztucznej inteligencji, aby również uhonorowali ten sygnał.
Zaloguj się do Google i Microsoft
Znaczenie ogłoszenia zależy w dużej mierze od tego, kto jeszcze przyjmie standard, a pierwsze oznaki wskazują, że w nim uczestniczą najwięksi gracze. W czwartek Search Engine Roundtable poinformowało, że Google przyjęła nową kontrolę nad szkoleniem AI, a osobno omówiła ogłoszenie przez firmę Microsoft Bing nowych kontroli szkolenia AI powiązanych z jej produktami uziemiającymi wyszukiwanie AI. The Verge poinformował, że OpenAI, Google i Microsoft obsługują nowy standard dla stron internetowych, co uczyniłoby go pierwszą międzybranżową konwencją tego typu wspieraną przez firmy, których roboty pobierają większość plików związanych ze sztuczną inteligencją.
Jeśli te trzy firmy pójdą dalej, operator witryny będzie mógł ustawić pojedynczą opcję rezygnacji ze szkolenia, zrozumiałą jednocześnie dla robotów obsługujących ChatGPT, produkty AI Google i ekosystem Copilot firmy Microsoft. Jest to znacznie prostszy świat dla wydawców niż obecny, w którym każdy dostawca dokumentuje własne nazwy robotów indeksujących i tokeny preferencji.
Dlaczego wydawcy tego chcieli
Nacisk na ujednolicony sygnał narastał od lat, gdy szkolenie w zakresie sztucznej inteligencji stało się punktem zapalnym między branżą technologiczną a ludźmi, którzy tworzą pisemny zapis, z którego uczą się modele. W szczególności organizacje informacyjne skarżyły się, że roboty AI ograniczają swoje raporty na dużą skalę, podczas gdy ich modele biznesowe finansowane z reklam ulegają erozji, a kilku wydawców skierowało sprawę do sądu lub podpisało umowy licencyjne, aby odzyskać przewagę.
Rozprzestrzeniły się rozwiązania tymczasowe. Cloudflare, z którego korzysta duża część sieci, uruchomiło ustawienie, które umożliwia witrynom blokowanie robotów szkolących sztuczną inteligencję bez utraty widoczności w wyszukiwarce Google. To rozróżnienie ma znaczenie, ponieważ przeszukiwanie i indeksowanie wyszukiwania przez sztuczną inteligencję było w przeszłości regulowane tymi samymi regułami w pliku robots.txt. Prace nad standardami w grupie roboczej AI Preferences IETF miały na celu sformalizowanie wyrażania preferencji na poziomie protokołu.
Wspólny sygnał przyjęty przez głównych dostawców sztucznej inteligencji byłby jak dotąd najbardziej konsekwentnym krokiem, ponieważ działa poprzez istniejący mechanizm pliku robots.txt, z którego operatorzy witryn już wiedzą, jak korzystać.
Pytanie dotyczące egzekwowania prawa
Standard jest dobrowolny i to słowo ma wagę. Preferencja pliku robots.txt sama w sobie nie ma mocy prawnej; jest on wiążący tylko dla firm, które zgodzą się go honorować, a zgodność z przepisami w przeszłości zależała od wykrywania i egzekwowania przepisów przez każdego dostawcę. Oświadczenie OpenAI, że istniejące kontrole w pliku robots.txt będą nadal przestrzegane, sugeruje raczej ciągłość niż nowy system, a firma nie opublikowała jeszcze szczegółów technicznych dotyczących wdrażania lub audytu zgodności.
Otwarte są także kwestie, których ogłoszenie nie rozstrzyga. Czas pokaże, czy sygnał obejmuje jedynie szkolenie, czy też pobieranie i uziemianie – czyli procesy, za pomocą których systemy sztucznej inteligencji pobierają na żywo treści internetowe w celu udzielenia odpowiedzi na pytania. To rozróżnienie ma znaczenie dla wydawców, ponieważ produkty oparte na wyszukiwaniu mogą kierować ruch z powrotem do źródeł, podczas gdy korzystanie ze szkoleń nie. Sposób, w jaki sztuczna inteligencja zarządzana przez wyszukiwarki traktuje sygnał w porównaniu z ogólnymi zasadami indeksowania, zadecyduje o tym, czy wydawcy uznają adopcję za wygraną, czy za listek figowy.
Co obejrzeć
Kolejne kamienie milowe są konkretne: aktualizacja wdrożenia OpenAI, specyfikacja techniczna publikowana przez uczestniczące firmy oraz to, czy inni znaczący dostawcy sztucznej inteligencji – w tym duże chińskie laboratoria i niezależne firmy wnioskowujące – ogłoszą wsparcie. Wydawcy i posiadacze praw będą uważnie przyglądać się historii audytu, czyli temu, czy operatorzy mogą zweryfikować, czy ich preferencje są faktycznie respektowane na dużą skalę.
Jeśli standard się utrzyma, czwartkowe ogłoszenie można zapamiętać jako moment, w którym rezygnacja ze szkoleń w zakresie sztucznej inteligencji przestała być patchworkiem obowiązującym w poszczególnych firmach i stała się konwencją obejmującą całą sieć. Jeśli problem utknie, dołączy do długiej listy dobrowolnych standardów sieciowych, które branża pochwaliła, a następnie po cichu zignorowała.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
