OpenAI ha annunciato giovedì che onorerà un segnale condiviso in robots.txt, il file che i siti web utilizzano per comunicare come è possibile accedere ai loro contenuti, in modo che gli operatori del sito possano esprimere un'unica preferenza di formazione AI a più fornitori contemporaneamente invece di mantenere regole separate per ogni crawler. Anche Google e Microsoft stanno sostenendo lo sforzo, secondo quanto riportato da The Verge, con la tavola rotonda dei motori di ricerca che documenta gli annunci di adozione di entrambe le società lo stesso giorno.
La mossa affronta un punto dolente di lunga data per gli editori. Fino ad ora, un sito web che voleva mantenere i propri contenuti fuori dalle pipeline di formazione dell’IA doveva identificare ciascun crawler AI individualmente e scrivere regole separate per ogni fornitore, quindi mantenere aggiornato l’elenco man mano che apparivano nuovi crawler. Un segnale condiviso riduce l’onere della manutenzione in un’unica linea di intenti, che le aziende partecipanti si impegnano a rispettare. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
In cosa si è impegnata OpenAI
Nel suo annuncio, OpenAI ha descritto lo sforzo come volontario e ha affermato che mira a implementare il segnale nei prossimi mesi, con i dettagli di implementazione che seguiranno in un aggiornamento successivo, secondo il resoconto dell'annuncio di Unite.AI. La società ha affermato che il nuovo segnale non sostituirà i controlli già forniti tramite robots.txt, che continueranno ad applicarsi e ad essere rispettati.
OpenAI ha inquadrato il lavoro attingendo agli sforzi in corso del gruppo di lavoro AI Preferences della Internet Engineering Task Force, l'organismo di standardizzazione che ha lavorato per definire come i siti web possono esprimere preferenze leggibili dalle macchine su come il loro contenuto viene utilizzato nei sistemi di intelligenza artificiale. La società ha affermato che si unirà ad altri partecipanti al gruppo di lavoro nel fare l’annuncio e ha incoraggiato anche altri fornitori di intelligenza artificiale a onorare il segnale.
Accesso a Google e Microsoft
Il significato dell'annuncio dipende in larga misura da chi altro adotta lo standard, e i primi segnali indicano che sono presenti i maggiori player. Search Engine Roundtable ha riferito giovedì che Google ha adottato il nuovo controllo di formazione sull'intelligenza artificiale e ha trattato separatamente l'annuncio di Bing di Microsoft di nuovi controlli di formazione sull'intelligenza artificiale collegati ai suoi prodotti di base per la ricerca sull'intelligenza artificiale. The Verge ha riferito che OpenAI, Google e Microsoft stanno supportando il nuovo standard per i siti Web, il che lo renderebbe la prima convenzione intersettoriale di questo tipo sostenuta dalle aziende i cui crawler rappresentano la maggior parte del recupero relativo all'intelligenza artificiale.
Se le tre società seguissero l'esempio, l'operatore di un sito web sarebbe in grado di impostare un'unica opzione di rinuncia alla formazione che venga compresa simultaneamente dai crawler dietro ChatGPT, i prodotti AI di Google e l'ecosistema Copilot di Microsoft. Si tratta di un mondo materialmente più semplice per gli editori rispetto a quello attuale, in cui ogni fornitore documenta i propri nomi di crawler e token di preferenza.
Perché gli editori lo volevano
La spinta per un segnale unificato è andata sviluppandosi per anni man mano che la formazione sull’intelligenza artificiale è diventata un punto critico tra l’industria tecnologica e le persone che producono la documentazione scritta da cui i modelli apprendono. Le organizzazioni giornalistiche, in particolare, si sono lamentate del fatto che i crawler di intelligenza artificiale raschiano i loro reportage su larga scala mentre i loro modelli di business finanziati dalla pubblicità si erodono, e diversi editori sono andati in tribunale o hanno firmato accordi di licenza per recuperare la propria influenza.
Le soluzioni provvisorie si sono moltiplicate. Cloudflare, che si trova di fronte a gran parte del web, ha lanciato un'impostazione che consente ai siti di bloccare i crawler di addestramento dell'intelligenza artificiale senza perdere la visibilità della ricerca di Google, una distinzione importante perché la scansione dell'intelligenza artificiale e l'indicizzazione della ricerca erano storicamente governate dalle stesse regole del robots.txt. Il lavoro sugli standard all'interno del gruppo di lavoro Preferenze AI dell'IETF ha mirato a formalizzare l'espressione delle preferenze a livello di protocollo.
Un segnale condiviso adottato dai principali fornitori di intelligenza artificiale sarebbe il passo più importante finora, perché funziona attraverso il meccanismo robots.txt esistente che gli operatori dei siti sanno già come utilizzare.
La questione dell'applicazione
Lo standard è volontario e questa parola ha un peso. Una preferenza robots.txt non ha forza di legge di per sé; vincola solo le aziende che accettano di onorarlo e la conformità è storicamente dipesa dal rilevamento e dall'applicazione di ciascun fornitore. La dichiarazione di OpenAI secondo cui i controlli esistenti sul file robots.txt continueranno a essere rispettati suggerisce continuità piuttosto che un nuovo regime, e la società non ha ancora pubblicato i dettagli tecnici su come verrà implementata o verificata la conformità.
Ci sono anche questioni aperte che l'annuncio non risolve. Resta da vedere se il segnale copra solo la formazione, o si estenda al recupero e al grounding, i processi attraverso i quali i sistemi di intelligenza artificiale recuperano contenuti web in tempo reale per rispondere alle domande. La distinzione è importante per gli editori perché i prodotti basati sul recupero possono riportare il traffico alle sorgenti, mentre l'uso della formazione no. Il modo in cui le esperienze di intelligenza artificiale gestite dai motori di ricerca trattano il segnale rispetto alle loro regole generali di scansione determinerà se gli editori vedranno l'adozione come una vittoria o una foglia di fico.
Cosa guardare
I prossimi traguardi sono concreti: l’aggiornamento dell’implementazione di OpenAI, le specifiche tecniche pubblicate dalle società partecipanti e se altri importanti fornitori di intelligenza artificiale – inclusi i grandi laboratori cinesi e le società di inferenza indipendenti – annunciano il supporto. Gli editori e i titolari dei diritti osserveranno con maggiore attenzione la storia dell’audit, vale a dire se gli operatori possono verificare che la loro preferenza venga effettivamente rispettata su larga scala.
Se lo standard è valido, l’annuncio di giovedì potrebbe essere ricordato come il momento in cui la rinuncia alla formazione sull’intelligenza artificiale ha smesso di essere un mosaico aziendale e è diventata una convenzione a livello web. Se si ferma, si aggiunge a una lunga serie di standard web volontari che l’industria ha applaudito e poi silenziosamente ignorato.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
