OpenAI heeft donderdag aangekondigd dat het een gedeeld signaal zal honoreren in robots.txt, het bestand dat websites gebruiken om te communiceren hoe hun inhoud toegankelijk is, zodat site-exploitanten één enkele AI-trainingsvoorkeur kunnen uiten aan meerdere aanbieders tegelijk in plaats van afzonderlijke regels te hanteren voor elke crawler. Google en Microsoft ondersteunen deze inspanningen ook, volgens rapportage van The Verge, waarbij Search Engine Roundtable de adoptieaankondigingen van beide bedrijven op dezelfde dag documenteert.

Met deze stap wordt een al lang bestaand pijnpunt voor uitgevers aangepakt. Tot nu toe moest een website die de inhoud buiten de AI-trainingspijplijnen wilde houden, elke AI-crawler afzonderlijk identificeren en voor elke provider afzonderlijke regels schrijven, en die lijst vervolgens actueel houden als er nieuwe crawlers verschenen. Een gedeeld signaal brengt de onderhoudslast samen in één intentielijn, die de deelnemende bedrijven overeenkomen te respecteren. Voor meer context over dit verhaal, zie ons AI-trends.

Waar OpenAI zich aan heeft verbonden

In de aankondiging omschreef OpenAI de inspanning als vrijwillig en zei dat het tot doel heeft het signaal in de komende maanden te implementeren, waarbij implementatiedetails in een latere update zullen volgen, volgens Unite.AI's verslag van de aankondiging. Het bedrijf zei dat het nieuwe signaal de controles die het al biedt via robots.txt niet zal vervangen, wat van toepassing zal blijven en gerespecteerd zal worden.

OpenAI heeft bij het werk voortgebouwd op de voortdurende inspanningen van de AI Preferences-werkgroep van de Internet Engineering Task Force, de normorganisatie die heeft gewerkt aan het definiëren hoe websites machinaal leesbare voorkeuren kunnen uiten over hoe hun inhoud in AI-systemen wordt gebruikt. Het bedrijf zei dat het zich bij de andere werkgroepdeelnemers aansluit bij het doen van de aankondiging en moedigde andere AI-aanbieders aan om het signaal ook te respecteren.

Google en Microsoft melden zich aan

De betekenis van de aankondiging hangt sterk af van wie de standaard nog meer overneemt, en de eerste tekenen zijn dat de grootste spelers meedoen. Search Engine Roundtable meldde donderdag dat Google de nieuwe AI-trainingscontrole heeft aangenomen, en heeft afzonderlijk aandacht besteed aan Microsoft's Bing die nieuwe AI-trainingscontroles aankondigde die verband houden met zijn AI-zoekgrondingsproducten. The Verge meldde dat OpenAI, Google en Microsoft de nieuwe standaard voor websites ondersteunen, waardoor het de eerste brancheoverschrijdende conventie in zijn soort zou worden die wordt ondersteund door bedrijven waarvan de crawlers het grootste deel van het AI-gerelateerde ophalen voor hun rekening nemen.

Als de drie bedrijven dit doorzetten, zou een website-exploitant één enkele opt-out voor trainingen kunnen instellen die tegelijkertijd wordt begrepen door de crawlers achter ChatGPT, de AI-producten van Google en het Copilot-ecosysteem van Microsoft. Dat is een materieel eenvoudiger wereld voor uitgevers dan de huidige, waarin elke provider zijn eigen crawlernamen en voorkeurstokens documenteert.

Waarom uitgevers dit wilden

De drang naar een uniform signaal is al jaren aan het toenemen, nu AI-training een brandpunt werd tussen de technologie-industrie en de mensen die de geschreven documenten produceren waarvan de modellen leren. Vooral nieuwsorganisaties hebben geklaagd dat AI-crawlers hun berichtgeving op grote schaal schrappen, terwijl hun door advertenties gefinancierde bedrijfsmodellen eroderen, en verschillende uitgevers zijn naar de rechter gestapt of hebben licentieovereenkomsten getekend om hun macht terug te winnen.

Tussenoplossingen zijn in opkomst. Cloudflare, dat een groot deel van het internet bedient, heeft een instelling gelanceerd waarmee sites AI-trainingscrawlers kunnen blokkeren zonder de zichtbaarheid van Google-zoekopdrachten te verliezen, een onderscheid dat ertoe doet omdat AI-crawling en zoekindexering historisch gezien door dezelfde robots.txt-regels werden beheerst. Het standaardwerk binnen de AI Preferences-werkgroep van de IETF heeft tot doel de voorkeursuitdrukking op protocolniveau te formaliseren.

Een gedeeld signaal dat door de grote AI-aanbieders wordt overgenomen, zou de meest consequente stap tot nu toe zijn, omdat het werkt via het bestaande robots.txt-mechanisme dat site-exploitanten al weten te gebruiken.

De handhavingsvraag

De norm is vrijwillig, en dat woord heeft gewicht. Een voorkeur voor robots.txt heeft op zichzelf geen kracht van wet; het bindt alleen de bedrijven die ermee instemmen deze na te leven, en de naleving ervan is van oudsher afhankelijk van de eigen detectie en handhaving door elke aanbieder. De verklaring van OpenAI dat de bestaande robots.txt-controles zullen worden gerespecteerd, duidt eerder op continuïteit dan op een nieuw regime, en het bedrijf heeft nog niet de technische details gepubliceerd over hoe de naleving zal worden geïmplementeerd of gecontroleerd.

Er zijn ook open vragen die de aankondiging niet beantwoordt. Het valt nog te bezien of het signaal alleen betrekking heeft op training, of zich uitstrekt tot het ophalen en aarden, de processen waarmee AI-systemen live webinhoud ophalen om vragen te beantwoorden. Het onderscheid is belangrijk voor uitgevers omdat op retrieval gebaseerde producten verkeer terug naar bronnen kunnen leiden, terwijl trainingsgebruik dat niet doet. Hoe door zoekmachines beheerde AI-ervaringen omgaan met het signaal versus hun algemene crawlregels, zal bepalen of uitgevers adoptie als een overwinning of als een vijgenblad beschouwen.

Wat te bekijken

De volgende mijlpalen zijn concreet: de implementatie-update van OpenAI, de technische specificaties die de deelnemende bedrijven publiceren, en of andere belangrijke AI-aanbieders – waaronder de grote Chinese laboratoria en onafhankelijke inferentiebedrijven – ondersteuning aankondigen. Uitgevers en rechthebbenden zullen het auditverhaal nauwlettend in de gaten houden, dat wil zeggen of operators kunnen verifiëren dat hun voorkeur daadwerkelijk op grote schaal wordt gerespecteerd.

Als de norm stand houdt, kan de aankondiging van donderdag herinnerd worden als het moment waarop de opt-outs voor AI-trainingen niet langer een lappendeken per bedrijf waren, maar een webbrede conventie werden. Als het vastloopt, sluit het zich aan bij een lange reeks vrijwillige webstandaarden die de industrie heeft toegejuicht en vervolgens stilletjes heeft genegeerd.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →