OpenAI a anunțat joi că va onora un semnal partajat în robots.txt, fișierele pe care site-urile web le folosesc pentru a comunica cum poate fi accesat conținutul lor, astfel încât operatorii site-ului să poată exprima o singură preferință de instruire AI către mai mulți furnizori simultan, în loc să mențină reguli separate pentru fiecare crawler. Google și Microsoft susțin, de asemenea, efortul, conform rapoartelor The Verge, cu Search Engine Roundtable documentând anunțurile de adoptare de la ambele companii în aceeași zi.
Mișcarea abordează o problemă de lungă durată pentru editori. Până acum, un site web care dorea să-și păstreze conținutul în afara conductelor de instruire AI trebuia să identifice fiecare crawler AI individual și să scrie reguli separate pentru fiecare furnizor, apoi să mențină acea listă actualizată pe măsură ce apăreau noi crawler-uri. Un semnal comun prăbușește această sarcină de întreținere într-o singură linie de intenție, pe care companiile participante sunt de acord să o respecte. For more context on this story, see our ongoing latest AI developments.
Ce s-a angajat OpenAI
În anunțul său, OpenAI a descris efortul ca fiind voluntar și a spus că își propune să implementeze semnalul în următoarele luni, urmând să urmeze detalii de implementare într-o actualizare ulterioară, potrivit relatării Unite.AI despre anunț. Compania a spus că noul semnal nu va înlocui controalele pe care le oferă deja prin robots.txt, care va continua să se aplice și să fie respectate.
OpenAI a încadrat activitatea ca bazându-se pe eforturile continue ale grupului de lucru AI Preferences al Internet Engineering Task Force, efortul organismului de standardizare care a lucrat pentru a defini modul în care site-urile web pot exprima preferințe citibile de mașină cu privire la modul în care conținutul lor este utilizat în sistemele AI. Compania a spus că se alătură altor participanți la grupul de lucru pentru a face anunțul și a încurajat și alți furnizori de AI să onoreze semnalul.
Conectare Google și Microsoft
Semnificația anunțului depinde în mare măsură de cine altcineva adoptă standardul, iar primele semne sunt că cei mai mari jucători sunt implicați. Search Engine Roundtable a raportat joi că Google a adoptat noul control de antrenament AI și a acoperit separat Bing de la Microsoft, anunțând noi controale de antrenament AI conectate la produsele sale de căutare AI. The Verge a raportat că OpenAI, Google și Microsoft susțin noul standard pentru site-uri web, ceea ce ar face din acesta prima convenție inter-industrială de acest gen susținută de companiile ale căror crawler-uri reprezintă cea mai mare parte a preluarii legate de AI.
Dacă cele trei companii vor urma, un operator de site web ar putea seta o singură renunțare la formare, care este înțeleasă de crawlerele din spatele ChatGPT, produsele AI Google și ecosistemul Copilot Microsoft simultan. Aceasta este o lume material mai simplă pentru editori decât cea actuală, în care fiecare furnizor își documentează propriile nume de crawler și simboluri de preferință.
De ce și-au dorit editorii asta
Impingerea pentru un semnal unificat a crescut de ani de zile, pe măsură ce antrenamentul AI a devenit un punct de aprindere între industria tehnologiei și oamenii care produc înregistrările scrise de la care modelele învață. Organizațiile de știri, în special, s-au plâns că crawlerele inteligenței artificiale își strâng rapoartele la scară în timp ce modelele lor de afaceri finanțate de publicitate se erodează, iar mai mulți editori au mers în instanță sau au semnat acorduri de licențiere pentru a-și revendica pârghia.
Soluțiile provizorii au proliferat. Cloudflare, care se află în fața unei mari părți a web, a lansat o setare care permite site-urilor să blocheze crawlerele de antrenament AI fără a pierde vizibilitatea căutării Google, o distincție care contează deoarece accesarea cu crawlere AI și indexarea căutărilor au fost guvernate istoric de aceleași reguli robots.txt. Standardele lucrează în cadrul grupului de lucru Preferințe AI al IETF și-a propus să oficializeze exprimarea preferințelor la nivel de protocol.
Un semnal comun adoptat de principalii furnizori de inteligență artificială ar fi pasul cel mai important de până acum, deoarece funcționează prin mecanismul robots.txt existent pe care operatorii site-ului știu deja să îl folosească.
Întrebarea privind aplicarea
Standardul este voluntar, iar acel cuvânt are greutate. O preferință robots.txt nu are forță de lege în sine; leagă doar companiile care sunt de acord să-l onoreze, iar conformitatea a depins istoric de detectarea și aplicarea fiecărui furnizor. Declarația OpenAI conform căreia controalele robots.txt existente vor continua să fie respectate sugerează mai degrabă continuitate decât un nou regim, iar compania nu a publicat încă detaliile tehnice despre modul în care va fi implementată sau auditată conformitatea.
Există, de asemenea, întrebări deschise pe care anunțul nu le rezolvă. Rămâne de văzut dacă semnalul acoperă doar antrenament sau se extinde la regăsire și împământare, procesele prin care sistemele AI preiau conținut web live pentru a răspunde la întrebări. Distincția contează pentru editori, deoarece produsele bazate pe recuperare pot conduce traficul înapoi la surse, în timp ce utilizarea instruirii nu. Modul în care experiențele AI gestionate de motoarele de căutare tratează semnalul față de regulile lor generale de accesare cu crawlere va determina dacă editorii văd adoptarea ca pe un câștig sau o frunză de smochin.
Ce să urmărești
Următoarele etape sunt concrete: actualizarea implementării OpenAI, specificațiile tehnice pe care companiile participante le publică și dacă alți furnizori importanți de AI, inclusiv marile laboratoare chineze și companiile independente de inferență, anunță sprijin. Editorii și deținătorii de drepturi vor urmări cu cea mai mare atenție povestea auditului, adică dacă operatorii pot verifica dacă preferința lor este de fapt respectată la scară.
Dacă standardul se menține, anunțul de joi poate fi amintit ca momentul în care renunțarea la instruirea AI a încetat să mai fie un patchwork per companie și a devenit o convenție la nivel web. Dacă se blochează, se alătură unui lung șir de standarde web voluntare pe care industria le-a aplaudat și apoi le-a ignorat în liniște.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
