OpenAI meddelade på torsdagen att de kommer att hedra en delad signal i robots.txt, filwebbplatserna använder för att kommunicera hur deras innehåll kan nås, så att webbplatsoperatörer kan uttrycka en enda AI-träningspreferens till flera leverantörer samtidigt istället för att upprätthålla separata regler för varje sökrobot. Google och Microsoft stöder också ansträngningen, enligt rapporter från The Verge, med Search Engine Roundtable som dokumenterar adoptionsmeddelanden från båda företagen på samma dag.
Flytten tar itu med en långvarig smärtpunkt för förlag. Hittills har en webbplats som ville hålla sitt innehåll borta från AI-träningspipelines behövt identifiera varje AI-sökrobot individuellt och skriva separata regler för varje leverantör, och sedan hålla listan aktuell när nya sökrobotar dök upp. En gemensam signal kollapsar att underhållsbördan till en avsiktslinje, som deltagande företag är överens om att respektera. For more context on this story, see our ongoing more AI stories.
Vad OpenAI har förbundit sig till
I sitt tillkännagivande beskrev OpenAI ansträngningen som frivillig och sa att den syftar till att implementera signalen under de kommande månaderna, med implementeringsdetaljer att följa i en senare uppdatering, enligt Unite.AI:s redogörelse för tillkännagivandet. Företaget sa att den nya signalen inte kommer att ersätta de kontroller som den redan tillhandahåller via robots.txt, som kommer att fortsätta att gälla och respekteras.
OpenAI inramade arbetet med att bygga på de pågående ansträngningarna från Internet Engineering Task Forces arbetsgrupp för AI Preferences, standardinsatsen som har arbetat med att definiera hur webbplatser kan uttrycka maskinläsbara preferenser om hur deras innehåll används i AI-system. Företaget sa att det ansluter sig till andra arbetsgruppsdeltagare för att göra tillkännagivandet och uppmuntrade andra AI-leverantörer att också hedra signalen.
Google och Microsoft loggar in
Betydelsen av tillkännagivandet beror till stor del på vilka andra som antar standarden, och de tidiga tecknen är att de största spelarna är med. Search Engine Roundtable rapporterade på torsdagen att Google har antagit den nya AI-träningskontrollen, och separat täckt Microsofts Bing som tillkännager nya AI-träningskontroller kopplade till deras AI-sökjordningsprodukter. The Verge rapporterade att OpenAI, Google och Microsoft stöder den nya standarden för webbplatser, vilket skulle göra den till den första branschövergripande konventionen i sitt slag som backas upp av företag vars sökrobotar står för huvuddelen av AI-relaterad hämtning.
Om de tre företagen följer igenom skulle en webbplatsoperatör kunna ställa in ett enda utbildningsopt-out som förstås av sökrobotarna bakom ChatGPT, Googles AI-produkter och Microsofts Copilot-ekosystem samtidigt. Det är en väsentligt enklare värld för utgivare än den nuvarande, där varje leverantör dokumenterar sina egna sökrobotnamn och preferenstokens.
Varför utgivare ville ha detta
Strävan efter en enhetlig signal har byggts upp i flera år då AI-träning blev en flampunkt mellan teknikindustrin och de människor som producerar den skriftliga journalen som modellerna lär sig av. Nyhetsorganisationer, i synnerhet, har klagat på att AI-sökrobotar skrapar sin rapportering i stor skala medan deras reklamfinansierade affärsmodeller urholkas, och flera utgivare har gått till domstol eller undertecknat licensavtal för att återta hävstångseffekten.
Interimistiska lösningar har ökat. Cloudflare, som sitter framför en stor del av webben, lanserade en inställning som låter webbplatser blockera AI-träningssökrobotar utan att förlora Googles söksynlighet, en distinktion som är viktig eftersom AI-genomsökning och sökindexering historiskt sett styrdes av samma robots.txt-regler. Standarder fungerar inom IETF:s arbetsgrupp för AI Preferences har syftat till att formalisera preferensuttryck på protokollnivå.
En delad signal som antagits av de stora AI-leverantörerna skulle vara det mest följdriktiga steget hittills, eftersom det fungerar genom den befintliga robots.txt-mekanismen som webbplatsoperatörer redan vet hur man använder.
Verkställighetsfrågan
Standarden är frivillig och det ordet väger tungt. En robots.txt-inställning har ingen lagkraft i sig. det binder endast de företag som går med på att respektera det, och efterlevnaden har historiskt sett varit beroende av varje leverantörs egen upptäckt och efterlevnad. OpenAI:s uttalande att dess befintliga robots.txt-kontroller kommer att fortsätta att respekteras tyder på kontinuitet snarare än en ny regim, och företaget har ännu inte publicerat de tekniska detaljerna för hur efterlevnad kommer att implementeras eller granskas.
Det finns också öppna frågor som tillkännagivandet inte löser. Det återstår att se om signalen endast omfattar utbildning, eller sträcker sig till hämtning och jordning, de processer genom vilka AI-system hämtar live webbinnehåll för att svara på frågor. Skillnaden är viktig för utgivare eftersom hämtningsbaserade produkter kan leda tillbaka trafik till källor, medan träningsanvändning inte gör det. Hur sökmotorhanterade AI-upplevelser behandlar signalen kontra deras allmänna genomsökningsregler kommer att forma om utgivare ser adoption som en vinst eller ett fikonlöv.
Vad du ska titta på
Nästa milstolpar är konkreta: OpenAI:s implementeringsuppdatering, den tekniska specifikationen som de deltagande företagen publicerar och om andra betydande AI-leverantörer – inklusive de stora kinesiska labben och oberoende slutledningsföretagen – tillkännager stöd. Publishers och rättighetsinnehavare kommer att följa revisionsberättelsen noggrant, det vill säga om operatörer kan verifiera att deras preferenser faktiskt respekteras i stor skala.
Om standarden håller, kan torsdagens tillkännagivande komma ihåg som ögonblicket att AI-träningsopt-out slutade vara ett lapptäcke per företag och blev en webbomfattande konvention. Om den stannar ansluter den till en lång rad frivilliga webbstandarder som branschen applåderade och sedan tyst ignorerade.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
