Compania de infrastructură web Cloudflare a introdus un nou control care le permite editorilor de site-uri web să-și blocheze conținutul pentru a fi folosit pentru formarea modelelor AI, menținându-l în același timp pe deplin disponibil în rezultatele căutării tradiționale - o decuplare pe care ecosistemul crawler-ului nu a suportat-o ​​niciodată până acum.

Funcția, anunțată pe blogul Cloudflare pe 15 septembrie, vine alături de o nouă desemnare „Accountable” pentru operatorii de crawler. Potrivit Cloudflare, Apple, Google și Microsoft sunt primele companii ale căror crawler-uri se califică. Oricine urmărește știrile de ultimă oră AI în acest an știe că întrebarea cine poate să curețe conținutul publicat a devenit una dintre cele mai contestate lupte politice de pe internet.

Problema crawlerului cu utilizare mixtă

Problema principală este ceea ce Cloudflare numește crawler-uri cu utilizare mixtă: roboți unici, cum ar fi Googlebot, Bingbot și Applebot, care preiau pagini atât pentru a construi indici de căutare, cât și pentru a colecta date de antrenament pentru modelele AI. Din punct de vedere istoric, un proprietar de site care dorea să renunțe la instruirea AI a avut un instrument contondent - robots.txt disallow - și utilizarea acestuia risca să dispară complet din rezultatele căutării.

Noua setare Disallow AI Training a Cloudflare este numită după directiva pe care o publică în fișierul robots.txt al unui site. Când este activată, preferința site-ului fără antrenament este sincronizată în robots.txt, crawlerele responsabile cu utilizare mixtă rămân permise în scopuri de căutare și orice alt crawler de antrenament este blocat. Cloudflare observă că blocarea crawlerelor numai pentru antrenament - numește crawlerele de antrenament conduse de Amazon, Anthropic, Meta și OpenAI - nu a afectat niciodată căutarea în primul rând.

Ce face un crawler „responsabil”

Pentru a obține denumirea de Responsabil, un operator de bot trebuie să îndeplinească sau să se angajeze să îndeplinească un set de cerințe stabilite în postarea de blog:

  • Un mecanism prin care proprietarii de site-uri să renunțe la instruirea AI, prin robots.txt sau un standard similar
  • Un mecanism de renunțare la rezumatele AI, stabilit direct cu operatorul și, anul viitor, prin Cloudflare
  • Vizibilitate la nivel de URL în care paginile au fost puse la dispoziție pentru instruire, plus valori care arată cum a apărut conținutul în căutare
  • Asigurarea că renunțarea la formarea AI nu va afecta clasamentele tradiționale de căutare

Cloudflare spune că Apple, Google și Microsoft demonstrează în prezent că îndeplinesc calificările, combinând capacitățile disponibile astăzi cu angajamente limitate în timp pentru funcțiile încă în dezvoltare.

Setări noi, instrumente învechite

Schimbarea modifică controalele de gestionare a botului Cloudflare, care clasifică acum traficul crawler-ului în trei comportamente: Căutare, Training și Agent. Cu adăugarea „Disallow AI Training”, setările disponibile sunt Permiteți, Disallow AI Training, Blocați în paginile cu anunțuri și Blocați.

Două instrumente vechi sunt depreciate. Opțiunea largă „Blocați botul AI” face loc controalelor mai detaliate de căutare, instruire și agenți, iar Managed Robots.txt este înlocuit cu un sistem numit Bot Preference Sync, cu clienții existenți migrați automat. Disallow AI Training va deveni, de asemenea, parte din configurația recomandată de Cloudflare pentru anumite domenii noi.

Cel mai important comutator se referă la setarea Block în sine. Anterior, Blocarea și „Blocarea în paginile cu reclame” nu se aplicau crawlerelor cu utilizare mixtă, deoarece blocarea acestora putea afecta descoperibilitatea căutării. Începând cu 15 septembrie, acele setări se aplică acum tuturor crawlerelor de antrenament, inclusiv Applebot, Bingbot și Googlebot - ceea ce înseamnă că un site care alege Block acceptă acum consecințele pentru clasarea căutării ale acelei alegeri.

Fără „Disallow” pentru agenți – încă

Rămâne un gol. Categoria Agentului Cloudflare acoperă agenți direcționați de utilizator, cum ar fi agenții de utilizare a browserului și roboții de preluare prin chat, care vizitează o pagină în numele unei persoane. Compania scrie că agenții nu creează același compromis de căutare-descoperire ca crawlerele cu utilizare mixtă și că internetului îi lipsește o directivă bine stabilită pentru exprimarea preferințelor de interzicere a agenților. Deocamdată nu există nicio setare Disallow pentru agenți, deși Cloudflare spune că va revizui abordarea pe măsură ce standardele precum ai-prefs se maturizează.

De ce contează pentru editori

Pentru organizațiile de știri și site-urile de conținut, anunțul este cel mai apropiat lucru până acum de o cale de mijloc viabilă în conflictul dintre industria editorială și dezvoltatorii AI. Editorii au susținut că formarea cu privire la munca lor fără plată sau permisiune este extracție; Companiile AI au susținut că crawling-ul este o practică standard și că robots.txt nu a fost niciodată conceput pentru distincțiile din era AI.

Prin oficializarea unei desemnări pentru crawlerele care separă indexarea căutării de utilizarea instruirii - și prin aplicarea acesteia prin controale implicite - Cloudflare solicită efectiv laboratoarelor de inteligență artificială și companiilor de platformă să concureze în condiții prietenoase pentru editori. Cei trei operatori responsabili fondatori se întâmplă să fie companii ale căror afaceri de bază depind de sistemele de căutare și operare, nu de formarea modelelor, ceea ce este puțin probabil să fie o coincidență.

Întrebarea deschisă este aplicarea legii și economia. Cloudflare poate clasifica comportamentul și preferințele de sincronizare, dar termenii financiari ai licențelor de formare rămân o problemă de piață privată între editori și companiile AI. Ceea ce se schimbă în această săptămână este mai banal și mai semnificativ: un site care spune nu antrenamentului AI poate acum să facă acest lucru fără a-și sacrifica locul în rezultatele căutării. Pentru o industrie care urmărește disputele legate de traficul de recomandare și de formare în același timp, acea separare a durat mult timp.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.

Citiți mai multe știri AI →