OpenAI gab am Donnerstag bekannt, dass es ein gemeinsames Signal in robots.txt berücksichtigen wird, der Datei, die Websites verwenden, um zu kommunizieren, wie auf ihre Inhalte zugegriffen werden kann, sodass Website-Betreiber mehreren Anbietern gleichzeitig eine einzige KI-Trainingspräferenz mitteilen können, anstatt separate Regeln für jeden Crawler zu pflegen. Laut einem Bericht von The Verge unterstützen auch Google und Microsoft die Bemühungen, wobei der Search Engine Roundtable die Einführungsankündigungen beider Unternehmen am selben Tag dokumentiert.
Der Schritt behebt ein seit langem bestehendes Problem für Verlage. Bisher musste eine Website, die ihre Inhalte aus den KI-Trainingspipelines heraushalten wollte, jeden KI-Crawler einzeln identifizieren und separate Regeln für jeden Anbieter schreiben und diese Liste dann auf dem neuesten Stand halten, wenn neue Crawler auftauchten. Ein gemeinsames Signal fasst diesen Wartungsaufwand in einer Absichtslinie zusammen, zu deren Einhaltung sich die teilnehmenden Unternehmen verpflichten. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.
Wozu sich OpenAI verpflichtet hat
In seiner Ankündigung beschrieb OpenAI die Bemühungen als freiwillig und sagte, dass man das Signal in den kommenden Monaten implementieren wolle. Details zur Implementierung sollen in einem späteren Update folgen, so Unite.AIs Bericht über die Ankündigung. Das Unternehmen sagte, das neue Signal werde die bereits über robots.txt bereitgestellten Kontrollen nicht ersetzen, die weiterhin gelten und respektiert würden.
OpenAI begründete die Arbeit so, dass sie sich auf die laufenden Bemühungen der AI Preferences-Arbeitsgruppe der Internet Engineering Task Force stützte, der Normungsorganisation, die daran gearbeitet hat, zu definieren, wie Websites maschinenlesbare Präferenzen darüber ausdrücken können, wie ihre Inhalte in KI-Systemen verwendet werden. Das Unternehmen teilte mit, dass es sich bei der Ankündigung anderen Arbeitsgruppenteilnehmern anschließt und ermutigte andere KI-Anbieter, das Signal ebenfalls zu respektieren.
Google- und Microsoft-Anmeldung
Die Bedeutung der Ankündigung hängt stark davon ab, wer den Standard sonst noch übernimmt, und die ersten Anzeichen deuten darauf hin, dass die größten Akteure dabei sind. Search Engine Roundtable berichtete am Donnerstag, dass Google die neue KI-Trainingskontrolle übernommen hat, und berichtete separat über Microsofts Bing, das neue KI-Trainingskontrollen im Zusammenhang mit seinen KI-Sucherdungsprodukten ankündigt. The Verge berichtete, dass OpenAI, Google und Microsoft den neuen Standard für Websites unterstützen. Damit wäre es die erste branchenübergreifende Konvention dieser Art, die von den Unternehmen unterstützt wird, deren Crawler den Großteil des KI-bezogenen Abrufs ausmachen.
Wenn die drei Unternehmen dem folgen, könnte ein Website-Betreiber ein einziges Schulungs-Opt-out festlegen, das von den Crawlern hinter ChatGPT, den KI-Produkten von Google und dem Copilot-Ökosystem von Microsoft gleichzeitig verstanden wird. Das ist für Publisher eine wesentlich einfachere Welt als die aktuelle, in der jeder Anbieter seine eigenen Crawler-Namen und Präferenz-Tokens dokumentiert.
Warum Verlage das wollten
Der Drang nach einem einheitlichen Signal wächst seit Jahren, da die KI-Ausbildung zu einem Brennpunkt zwischen der Technologiebranche und den Menschen wurde, die die schriftlichen Aufzeichnungen erstellen, aus denen die Modelle lernen. Vor allem Nachrichtenorganisationen haben sich darüber beschwert, dass KI-Crawler ihre Berichterstattung in großem Umfang beeinträchtigen, während ihre werbefinanzierten Geschäftsmodelle erodieren, und mehrere Verlage sind vor Gericht gegangen oder haben Lizenzverträge unterzeichnet, um ihre Hebelwirkung zurückzugewinnen.
Zwischenlösungen haben zugenommen. Cloudflare, das sich an der Spitze eines großen Teils des Webs befindet, hat eine Einstellung eingeführt, die es Websites ermöglicht, KI-Trainingscrawler zu blockieren, ohne die Sichtbarkeit der Google-Suche zu verlieren. Diese Unterscheidung ist wichtig, da KI-Crawling und Suchindizierung in der Vergangenheit denselben robots.txt-Regeln unterliegt. Die Standardarbeit innerhalb der AI Preferences-Arbeitsgruppe der IETF zielt darauf ab, den Präferenzausdruck auf Protokollebene zu formalisieren.
Ein gemeinsames Signal, das von den großen KI-Anbietern übernommen wird, wäre der bislang folgenreichste Schritt, da es über den vorhandenen robots.txt-Mechanismus funktioniert, den Website-Betreiber bereits zu verwenden wissen.
Die Durchsetzungsfrage
Der Standard ist freiwillig, und dieses Wort hat Gewicht. Eine robots.txt-Einstellung hat an sich keine Gesetzeskraft; Es bindet nur die Unternehmen, die sich bereit erklären, es einzuhalten, und die Einhaltung hing in der Vergangenheit von der Erkennung und Durchsetzung durch jeden Anbieter selbst ab. Die Aussage von OpenAI, dass seine bestehenden robots.txt-Kontrollen weiterhin respektiert werden, deutet eher auf Kontinuität als auf ein neues Regime hin, und das Unternehmen hat noch keine technischen Details darüber veröffentlicht, wie die Compliance umgesetzt oder geprüft wird.
Es gibt auch offene Fragen, die die Ankündigung nicht klärt. Es bleibt abzuwarten, ob das Signal nur das Training abdeckt oder sich auf den Abruf und die Erdung der Prozesse erstreckt, mit denen KI-Systeme Live-Webinhalte abrufen, um Fragen zu beantworten. Die Unterscheidung ist für Verlage von Bedeutung, da auf Abruf basierende Produkte den Datenverkehr zurück zu den Quellen lenken können, während dies bei der Nutzung durch Schulungen nicht der Fall ist. Wie suchmaschinengesteuerte KI-Erlebnisse das Signal im Vergleich zu ihren allgemeinen Crawling-Regeln behandeln, wird darüber entscheiden, ob Verlage die Einführung als Gewinn oder als Feigenblatt betrachten.
Was Sie sehen sollten
Die nächsten Meilensteine sind konkret: das Implementierungsupdate von OpenAI, die technischen Spezifikationen, die die teilnehmenden Unternehmen veröffentlichen, und ob andere bedeutende KI-Anbieter – darunter die großen chinesischen Labore und unabhängigen Inferenzunternehmen – Unterstützung ankündigen. Verleger und Rechteinhaber werden am genauesten auf die Audit-Story achten, d. h. darauf, ob die Betreiber nachweisen können, dass ihre Präferenzen tatsächlich in großem Umfang respektiert werden.
Wenn der Standard zutrifft, könnte die Ankündigung vom Donnerstag als der Moment in Erinnerung bleiben, als die Abmeldung von KI-Schulungen nicht länger ein Flickenteppich pro Unternehmen war, sondern zu einer webweiten Konvention wurde. Wenn es ins Stocken gerät, reiht es sich in eine lange Reihe freiwilliger Webstandards ein, die von der Industrie begrüßt und dann stillschweigend ignoriert wurden.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
