Das Web-Infrastrukturunternehmen Cloudflare hat eine neue Kontrolle eingeführt, die es Website-Publishern ermöglicht, die Verwendung ihrer Inhalte für das Training von KI-Modellen zu blockieren und sie gleichzeitig in den herkömmlichen Suchergebnissen vollständig verfügbar zu halten – eine Entkopplung, die das Crawler-Ökosystem noch nie zuvor sauber unterstützt hat.

Die am 15. September im Cloudflare-Blog angekündigte Funktion wird zusammen mit einer neuen „Rechenschaftspflichtigen“ Bezeichnung für Crawler-Betreiber eingeführt. Laut Cloudflare sind Apple, Google und Microsoft die ersten Unternehmen, deren Crawler sich qualifizieren. Jeder, der dieses Jahr [aktuelle KI-Nachrichten] (https://aibuzzwire.news) verfolgt, weiß, dass die Frage, wer veröffentlichte Inhalte löschen darf, zu einem der umstrittensten politischen Auseinandersetzungen im Internet geworden ist.

Das Mixed-Use-Crawler-Problem

Das Kernproblem sind sogenannte Mixed-Use-Crawler, die Cloudflare nennt: einzelne Bots wie Googlebot, Bingbot und Applebot, die Seiten abrufen, um Suchindizes zu erstellen und Trainingsdaten für KI-Modelle zu sammeln. In der Vergangenheit verfügte ein Websitebesitzer, der sich vom KI-Training abmelden wollte, über ein stumpfes Instrument – ​​die robots.txt-Disallow – und bei deren Verwendung bestand die Gefahr, dass er vollständig aus den Suchergebnissen verschwand.

Die neue Einstellung „KI-Training verbieten“ von Cloudflare ist nach der Anweisung benannt, die in der robots.txt-Datei einer Website veröffentlicht wird. Wenn diese Option aktiviert ist, wird die No-Training-Einstellung der Site mit robots.txt synchronisiert, verantwortliche gemischt genutzte Crawler bleiben für Suchzwecke zulässig und jeder andere Trainings-Crawler wird blockiert. Cloudflare weist darauf hin, dass das Blockieren von Nur-Training-Crawlern – hier werden die von Amazon, Anthropic, Meta und OpenAI betriebenen Trainings-Crawler genannt – sich überhaupt nicht auf die Suche ausgewirkt hat.

Was einen Crawler „verantwortlich“ macht

Um die Auszeichnung „Rechenschaftspflichtiger“ zu erhalten, muss ein Bot-Betreiber eine Reihe von Anforderungen erfüllen oder sich dazu verpflichten, sie zu erfüllen, die im Blogbeitrag dargelegt sind:

– Ein Mechanismus für Websitebesitzer, sich über robots.txt oder einen ähnlichen Standard vom KI-Training abzumelden
– Ein Mechanismus zum Deaktivieren von KI-Zusammenfassungen, der direkt beim Betreiber und im nächsten Jahr über Cloudflare festgelegt wird

  • Sichtbarkeit auf URL-Ebene darüber, welche Seiten für Schulungen zur Verfügung gestellt wurden, sowie Metriken, die zeigen, wie Inhalte in der Suche angezeigt wurden

  • Zusicherung, dass die Abmeldung vom KI-Training keine Auswirkungen auf herkömmliche Suchrankings hat

Laut Cloudflare zeigen Apple, Google und Microsoft derzeit, dass sie die Qualifikationen erfüllen, indem sie heute verfügbare Funktionen mit zeitgebundenen Verpflichtungen für Funktionen kombinieren, die sich noch in der Entwicklung befinden.

Neue Einstellungen, veraltete Tools

Durch die Änderung werden die Bot-Verwaltungskontrollen von Cloudflare überarbeitet, die den Crawler-Verkehr nun in drei Verhaltensweisen klassifizieren: Suche, Training und Agent. Wenn „KI-Training nicht zulassen“ hinzugefügt wurde, sind die verfügbaren Einstellungen „Zulassen“, „KI-Training nicht zulassen“, „Auf Seiten mit Anzeigen blockieren“ und „Blockieren“.

Zwei seit langem verwendete Tools werden nicht mehr unterstützt. Die umfassende Option „KI-Bots blockieren“ weicht den detaillierteren Such-, Schulungs- und Agentenkontrollen, und Managed Robots.txt wird durch ein System namens „Bot Preference Sync“ ersetzt, bei dem bestehende Kunden automatisch migriert werden. „KI-Training nicht zulassen“ wird auch Teil der von Cloudflare empfohlenen Konfiguration für bestimmte neue Domänen werden.

Der folgenreichste Wechsel betrifft die Blockeinstellung selbst. Bisher galten „Blockieren“ und „Auf Seiten mit Anzeigen blockieren“ nicht für Crawler mit gemischter Nutzung, da ihre Blockierung die Auffindbarkeit in der Suche beeinträchtigen könnte. Ab dem 15. September gelten diese Einstellungen nun für alle Trainings-Crawler, einschließlich Applebot, Bingbot und Googlebot – das bedeutet, dass eine Website, die sich für „Blockieren“ entscheidet, nun die Folgen dieser Wahl für das Suchranking akzeptiert.

Kein „Disallow“ für Agenten – noch nicht

Eine Lücke bleibt bestehen. Die Agentenkategorie von Cloudflare umfasst benutzergesteuerte Agenten wie Browser-Agenten und Chat-Abrufbots, die im Namen einer Person eine Seite besuchen. Das Unternehmen schreibt, dass Agenten nicht den gleichen Kompromiss hinsichtlich der Suchauffindbarkeit eingehen wie Crawler mit gemischter Nutzung und dass es im Internet an einer etablierten Richtlinie für die Äußerung von Nichtzulassungspräferenzen gegenüber Agenten mangelt. Derzeit gibt es keine Disallow-Einstellung für Agenten, Cloudflare sagt jedoch, dass es den Ansatz überdenken wird, wenn Standards wie AI-Prefs ausgereift sind.

Warum es für Verlage wichtig ist

Für Nachrichtenorganisationen und Content-Sites kommt die Ankündigung einem praktikablen Mittelweg in der Pattsituation zwischen der Verlagsbranche und den KI-Entwicklern bisher am nächsten. Verleger haben argumentiert, dass Schulungen zu ihrer Arbeit ohne Bezahlung oder Genehmigung eine Enteignung darstellen; KI-Unternehmen haben argumentiert, dass Crawling gängige Praxis sei und dass robots.txt nie für Unterscheidungen im KI-Zeitalter konzipiert wurde.

Durch die Formalisierung einer Bezeichnung für Crawler, die die Suchindizierung von der Schulungsnutzung trennt – und durch die Durchsetzung dieser durch Standardkontrollen – fordert Cloudflare KI-Labore und Plattformunternehmen effektiv dazu auf, zu verlegerfreundlichen Bedingungen zu konkurrieren. Bei den drei Gründern von Accountable handelt es sich zufällig um Unternehmen, deren Kerngeschäfte auf Such- und Betriebssystemen und nicht auf Modellschulung basieren, was wahrscheinlich kein Zufall ist.

Die offene Frage ist Durchsetzung und Wirtschaftlichkeit. Cloudflare kann Verhalten klassifizieren und Präferenzen synchronisieren, aber die finanziellen Konditionen von Trainingslizenzen bleiben eine privatwirtschaftliche Angelegenheit zwischen Verlagen und KI-Unternehmen. Was sich diese Woche ändert, ist banaler und bedeutungsvoller: Eine Website, die Nein zum KI-Training sagt, kann dies jetzt tun, ohne ihren Platz in den Suchergebnissen zu verlieren. Für eine Branche, die gleichzeitig beobachten muss, wie sich Empfehlungsverkehr und Schulungsstreitigkeiten entwickeln, hat diese Trennung lange auf sich warten lassen.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →