La società di infrastrutture web Cloudflare ha introdotto un nuovo controllo che consente agli editori di siti Web di impedire che i loro contenuti vengano utilizzati per l'addestramento del modello AI mantenendoli completamente disponibili nei risultati di ricerca tradizionali: un disaccoppiamento che l'ecosistema dei crawler non ha mai supportato in modo pulito prima.

La funzionalità, annunciata sul blog di Cloudflare il 15 settembre, arriva insieme a una nuova designazione "Accountable" per gli operatori di crawler. Secondo Cloudflare, Apple, Google e Microsoft sono le prime aziende i cui crawler si qualificano. Chiunque segua le ultime notizie sull'intelligenza artificiale quest'anno sa che la questione di chi riesce a racimolare i contenuti pubblicati è diventata una delle battaglie politiche più contestate di Internet.

Il problema dei crawler ad uso misto

Il problema principale è ciò che Cloudflare chiama crawler a uso misto: singoli bot, come Googlebot, Bingbot e Applebot, che recuperano pagine sia per creare indici di ricerca sia per raccogliere dati di addestramento per modelli di intelligenza artificiale. Storicamente, il proprietario di un sito che voleva rinunciare alla formazione sull’intelligenza artificiale disponeva di uno strumento brusco, il robots.txt non consentito, e utilizzarlo rischiava di scomparire completamente dai risultati di ricerca.

La nuova impostazione Disallow AI Training di Cloudflare prende il nome dalla direttiva che pubblica nel file robots.txt di un sito. Se abilitata, la preferenza di non formazione del sito viene sincronizzata in robots.txt, i crawler responsabili a uso misto rimangono consentiti per scopi di ricerca e ogni altro crawler di formazione viene bloccato. Cloudflare rileva che il blocco dei crawler di sola formazione (nomina i crawler di formazione gestiti da Amazon, Anthropic, Meta e OpenAI) non ha mai influenzato la ricerca in primo luogo.

Cosa rende un crawler "responsabile"

Per ottenere la designazione Responsabile, un operatore bot deve soddisfare o impegnarsi a soddisfare una serie di requisiti stabiliti nel post del blog:

  • Un meccanismo che consente ai proprietari dei siti di disattivare la formazione sull'intelligenza artificiale, tramite robots.txt o uno standard simile
  • Un meccanismo per disattivare i riepiloghi AI, impostato direttamente con l'operatore e, l'anno prossimo, tramite Cloudflare
  • Visibilità a livello di URL su quali pagine sono state rese disponibili per la formazione, oltre a metriche che mostrano come i contenuti sono apparsi nella ricerca
  • Garanzia che la rinuncia alla formazione sull'intelligenza artificiale non influirà sulle classifiche di ricerca tradizionali

Cloudflare afferma che Apple, Google e Microsoft attualmente dimostrano di soddisfare i requisiti, combinando le funzionalità oggi disponibili con impegni limitati nel tempo per funzionalità ancora in sviluppo.

Nuove impostazioni, strumenti deprecati

La modifica rielabora i controlli di gestione dei bot di Cloudflare, che ora classificano il traffico dei crawler in tre comportamenti: ricerca, formazione e agente. Con l'aggiunta di Non consentire formazione AI, le impostazioni disponibili sono Consenti, Non consentire formazione AI, Blocca su pagine con annunci e Blocca.

Due strumenti di vecchia data verranno deprecati. L'ampia opzione "Blocca bot AI" lascia il posto a controlli più granulari di ricerca, formazione e agente e Managed Robots.txt viene sostituito da un sistema chiamato Bot Preference Sync, con la migrazione automatica dei clienti esistenti. Anche Disallow AI Training diventerà parte della configurazione consigliata da Cloudflare per alcuni nuovi domini.

L'interruttore più importante riguarda l'impostazione del blocco stesso. In precedenza, Blocca e "Blocca su pagine con annunci" non si applicavano ai crawler a uso misto, perché bloccarli poteva danneggiare la rilevabilità della ricerca. A partire dal 15 settembre, tali impostazioni ora si applicano a tutti i crawler di addestramento, inclusi Applebot, Bingbot e Googlebot, il che significa che un sito che sceglie Blocca ora accetta le conseguenze di tale scelta sul ranking di ricerca.

Ancora nessun "Disallow" per gli agenti

Resta una lacuna. La categoria Agente di Cloudflare copre gli agenti diretti dall'utente, come gli agenti per l'utilizzo del browser e i bot di recupero della chat, che visitano una pagina per conto di una persona. L'azienda scrive che gli agenti non creano lo stesso compromesso tra ricerca e reperibilità dei crawler a uso misto e che Internet non dispone di una direttiva ben consolidata per esprimere le preferenze di non autorizzazione agli agenti. Per ora non esiste un'impostazione Disallow per gli agenti, anche se Cloudflare afferma che rivisiterà l'approccio man mano che standard come ai-prefs matureranno.

Perché è importante per gli editori

Per le testate giornalistiche e i siti di contenuti, l’annuncio è la cosa più vicina a una via di mezzo praticabile nella situazione di stallo tra il settore editoriale e gli sviluppatori di intelligenza artificiale. Gli editori hanno sostenuto che la formazione sul proprio lavoro senza pagamento o autorizzazione è estrazione; Le società di intelligenza artificiale hanno sostenuto che la scansione è una pratica standard e che robots.txt non è mai stato progettato per le distinzioni dell’era dell’intelligenza artificiale.

Formalizzando una designazione per i crawler che separa l'indicizzazione della ricerca dall'uso della formazione – e applicandola attraverso controlli predefiniti – Cloudflare sta effettivamente chiedendo ai laboratori di intelligenza artificiale e alle società di piattaforme di competere in termini favorevoli agli editori. Si dà il caso che i tre operatori responsabili fondatori siano aziende il cui core business dipende dai sistemi operativi e di ricerca, non dalla formazione modello, il che difficilmente può essere una coincidenza.

La questione aperta riguarda l’attuazione e l’economia. Cloudflare può classificare il comportamento e sincronizzare le preferenze, ma i termini finanziari delle licenze di formazione rimangono una questione di mercato privato tra editori e società di intelligenza artificiale. Ciò che cambia questa settimana è più banale e più significativo: un sito che dice no alla formazione sull’intelligenza artificiale ora può farlo senza sacrificare il suo posto nei risultati di ricerca. Per un settore che osserva contemporaneamente il traffico dei referral e le controversie sulla formazione, quella separazione è arrivata da molto tempo.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →