Webbinfrastrukturföretaget Cloudflare har introducerat en ny kontroll som låter webbplatspublicister blockera deras innehåll från att användas för AI-modellträning samtidigt som det håller det fullt tillgängligt i traditionella sökresultat – en frikoppling som sökrobotens ekosystem aldrig tidigare har stöttat rent.

Funktionen, som tillkännagavs på Cloudflare-bloggen den 15 september, kommer tillsammans med en ny "Accountable"-beteckning för sökrobotoperatörer. Enligt Cloudflare är Apple, Google och Microsoft de första företagen vars sökrobotar kvalificerar sig. Alla som spårar brytande AI-nyheter i år vet att frågan om vem som får skrapa publicerat innehåll har blivit en av internets mest omtvistade politiska slagsmål.

Sökrobotproblemet för blandad användning

Kärnfrågan är vad Cloudflare kallar sökrobotar för blandad användning: enstaka botar, som Googlebot, Bingbot och Applebot, som hämtar sidor både för att bygga sökindex och för att samla in träningsdata för AI-modeller. Historiskt sett hade en webbplatsägare som ville välja bort AI-utbildning ett trubbigt instrument – ​​robots.txt disallow – och att använda det riskerade att försvinna helt från sökresultaten.

Cloudflares nya Disallow AI Training-inställning är uppkallad efter direktivet som den publicerar i en webbplatss robots.txt-fil. När den är aktiverad synkroniseras webbplatsens inställning utan träning till robots.txt, ansvarsfulla sökrobotar för blandad användning förblir tillåtna för sökändamål och alla andra träningssökrobotar är blockerade. Cloudflare noterar att blockering av enbart träningssökrobotar – det namnger träningssökrobotarna som drivs av Amazon, Anthropic, Meta och OpenAI – aldrig påverkade sökningen i första hand.

Vad gör en sökrobot "ansvarig"

För att få utnämningen Ansvarig måste en botoperatör uppfylla eller förbinda sig att uppfylla en uppsättning krav som anges i blogginlägget:

– En mekanism för webbplatsägare att välja bort AI-utbildning, via robots.txt eller liknande standard

  • En mekanism för att välja bort AI-sammanfattningar, som ställs in direkt med operatören och nästa år via Cloudflare

  • Synlighet på webbadressnivå för vilka sidor som gjordes tillgängliga för utbildning, plus statistik som visar hur innehåll såg ut i sökningar

  • Försäkran om att att välja bort AI-utbildning inte kommer att påverka traditionella sökrankningar

Cloudflare säger att Apple, Google och Microsoft för närvarande visar att de uppfyller kvalifikationerna, och kombinerar kapacitet som är tillgänglig idag med tidsbundna åtaganden för funktioner som fortfarande är under utveckling.

Nya inställningar, föråldrade verktyg

Ändringen omarbetar Cloudflares bothanteringskontroller, som nu klassificerar sökrobottrafik i tre beteenden: Sök, Utbildning och Agent. Med Disallow AI Training lagt till är de tillgängliga inställningarna Tillåt, Disallow AI Training, Blockera på sidor med annonser och Blockera.

Två gamla verktyg fasas ut. Det breda alternativet "Block AI Bots" ger vika för de mer detaljerade sök-, utbildnings- och agentkontrollerna, och Managed Robots.txt ersätts av ett system som kallas Bot Preference Sync, där befintliga kunder migreras automatiskt. Disallow AI Training kommer också att bli en del av Cloudflares rekommenderade konfiguration för vissa nya domäner.

Den mest följdriktiga omkopplaren gäller själva blockinställningen. Tidigare gällde inte Blockera och "Blockera på sidor med annonser" för sökrobotar för blandad användning, eftersom blockering av dem kan skada sökupptäckbarheten. Från och med den 15 september gäller nu dessa inställningar för alla utbildningssökrobotar, inklusive Applebot, Bingbot och Googlebot – vilket innebär att en webbplats som väljer Block nu accepterar sökrankningskonsekvenserna av det valet.

Inget "förbud" för agenter – ännu

En lucka återstår. Cloudflares Agentkategori täcker användarriktade agenter, såsom webbläsaranvändningsagenter och chatthämtningsbotar, som besöker en sida för en persons räkning. Företaget skriver att agenter inte skapar samma kompromiss med sök-upptäckbarhet som sökrobotar för blandad användning, och att internet saknar ett väletablerat direktiv för att uttrycka icke-tillåt-preferenser till agenter. För närvarande finns det ingen Disallow-inställning för agenter, även om Cloudflare säger att det kommer att se över tillvägagångssättet som standarder som ai-prefs mogna.

Varför det är viktigt för utgivare

För nyhetsorganisationer och innehållssajter är tillkännagivandet det närmaste hittills en fungerande medelväg i konflikten mellan förlagsbranschen och AI-utvecklare. Förläggare har hävdat att utbildning om deras arbete utan betalning eller tillstånd är extraktion; AI-företag har hävdat att genomsökning är standardpraxis och att robots.txt aldrig designades för AI-erans distinktioner.

Genom att formalisera en beteckning för sökrobotar som skiljer sökindexering från träningsanvändning – och genom att upprätthålla det genom standardkontroller – ber Cloudflare effektivt AI-labb och plattformsföretag att konkurrera på utgivarvänliga villkor. De tre grundande Accountable operators råkar vara företag vars kärnverksamheter är beroende av sök- och operativsystem, inte modellutbildning, vilket sannolikt inte är en slump.

Den öppna frågan är verkställighet och ekonomi. Cloudflare kan klassificera beteende och synkroniseringspreferenser, men de ekonomiska villkoren för utbildningslicenser förblir en privatmarknadsfråga mellan utgivare och AI-företag. Det som förändras den här veckan är mer vardagligt och mer meningsfullt: en sida som säger nej till AI-träning kan nu göra det utan att offra sin plats i sökresultaten. För en bransch som ser hänvisningstrafik och utbildningskonflikter utvecklas samtidigt, har den separationen legat länge på väg.

---

Stay ahead of AI

Få de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.

Läs mer AI-nyheter →