La société d'infrastructure Web Cloudflare a introduit un nouveau contrôle qui permet aux éditeurs de sites Web d'empêcher l'utilisation de leur contenu pour la formation de modèles d'IA tout en le gardant entièrement disponible dans les résultats de recherche traditionnels – un découplage que l'écosystème des robots d'exploration n'a jamais pris en charge de manière propre auparavant.
La fonctionnalité, annoncée sur le blog Cloudflare le 15 septembre, arrive avec une nouvelle désignation « Responsable » pour les opérateurs de robots d'exploration. Selon Cloudflare, Apple, Google et Microsoft sont les premières entreprises dont les robots d'exploration sont éligibles. Quiconque suit les dernières nouvelles sur l'IA cette année sait que la question de savoir qui peut récupérer le contenu publié est devenue l'un des combats politiques les plus controversés d'Internet.
Le problème du robot d'exploration à usage mixte
Le problème principal est ce que Cloudflare appelle des robots d'exploration à usage mixte : des robots uniques, comme Googlebot, Bingbot et Applebot, qui récupèrent des pages à la fois pour créer des index de recherche et pour collecter des données de formation pour les modèles d'IA. Historiquement, un propriétaire de site qui souhaitait se retirer de la formation en IA disposait d’un instrument brutal – l’interdiction du fichier robots.txt – et son utilisation risquait de disparaître complètement des résultats de recherche.
Le nouveau paramètre Disallow AI Training de Cloudflare doit son nom à la directive qu'il publie dans le fichier robots.txt d'un site. Lorsqu'elle est activée, la préférence d'absence de formation du site est synchronisée dans robots.txt, les robots d'exploration responsables à usage mixte restent autorisés à des fins de recherche et tous les autres robots d'exploration de formation sont bloqués. Cloudflare note que le blocage des robots d'exploration uniquement destinés à la formation (il nomme les robots d'exploration gérés par Amazon, Anthropic, Meta et OpenAI) n'a jamais affecté la recherche en premier lieu.
Qu'est-ce qui rend un robot « responsable »
Pour obtenir le titre de responsable, un opérateur de bot doit satisfaire ou s'engager à respecter un ensemble d'exigences énoncées dans l'article de blog :
- Un mécanisme permettant aux propriétaires de sites de se désinscrire de la formation en IA, via robots.txt ou une norme similaire
- Un mécanisme de désinscription des résumés IA, défini directement avec l'opérateur et, l'année prochaine, via Cloudflare
- Visibilité au niveau de l'URL sur les pages mises à disposition pour la formation, ainsi que des mesures montrant comment le contenu est apparu dans la recherche
- Assurance que la désinscription de la formation en IA n'affectera pas les classements de recherche traditionnels
Cloudflare affirme qu'Apple, Google et Microsoft démontrent actuellement qu'ils satisfont aux qualifications, combinant les capacités disponibles aujourd'hui avec des engagements limités dans le temps pour les fonctionnalités encore en développement.
Nouveaux paramètres, outils obsolètes
Le changement retravaille les contrôles de gestion des robots de Cloudflare, qui classent désormais le trafic des robots en trois comportements : recherche, formation et agent. Avec l'ajout de Disallow AI Training, les paramètres disponibles sont Autoriser, Interdire la formation AI, Bloquer sur les pages contenant des publicités et Bloquer.
Deux outils de longue date sont obsolètes. La large option « Bloquer les robots AI » cède la place à des contrôles plus granulaires de recherche, de formation et d'agent, et Managed Robots.txt est remplacé par un système appelé Bot Preference Sync, avec les clients existants migrés automatiquement. Disallow AI Training fera également partie de la configuration recommandée par Cloudflare pour certains nouveaux domaines.
Le changement le plus conséquent concerne le paramètre Block lui-même. Auparavant, les options Bloquer et "Bloquer sur les pages contenant des annonces" ne s'appliquaient pas aux robots d'exploration à usage mixte, car les bloquer pouvait nuire à la visibilité des recherches. Depuis le 15 septembre, ces paramètres s'appliquent désormais à tous les robots d'exploration, y compris Applebot, Bingbot et Googlebot, ce qui signifie qu'un site qui choisit Bloquer accepte désormais les conséquences de ce choix en termes de classement dans les recherches.
Pas de « refus » pour les agents – pour le moment
Il reste une lacune. La catégorie Agent de Cloudflare couvre les agents dirigés par l'utilisateur, tels que les agents utilisant le navigateur et les robots de récupération de chat, visitant une page au nom d'une personne. La société écrit que les agents ne créent pas le même compromis entre recherche et découverte que les robots d'exploration à usage mixte, et qu'Internet ne dispose pas d'une directive bien établie pour exprimer les préférences d'interdiction aux agents. Pour l’instant, il n’existe pas de paramètre d’interdiction pour les agents, bien que Cloudflare indique qu’il revisitera l’approche à mesure que des normes telles que ai-prefs mûriront.
Pourquoi c'est important pour les éditeurs
Pour les agences de presse et les sites de contenu, cette annonce est ce qui se rapproche le plus d’une voie médiane réalisable dans l’impasse entre l’industrie de l’édition et les développeurs d’IA. Les éditeurs ont fait valoir que la formation sur leur travail sans paiement ni autorisation constitue une extraction ; Les sociétés d’IA ont fait valoir que l’exploration est une pratique courante et que le fichier robots.txt n’a jamais été conçu pour les distinctions de l’ère de l’IA.
En formalisant une désignation pour les robots d'exploration qui sépare l'indexation de recherche de l'utilisation de la formation – et en l'appliquant via des contrôles par défaut – Cloudflare demande effectivement aux laboratoires d'IA et aux sociétés de plateformes de rivaliser sur des termes conviviaux pour les éditeurs. Les trois opérateurs fondateurs de Accountable se trouvent être des sociétés dont les activités principales dépendent des systèmes de recherche et d'exploitation, et non de la formation sur modèles, ce qui n'est probablement pas une coïncidence.
La question ouverte est celle de l’application des règles et de l’économie. Cloudflare peut classer les comportements et synchroniser les préférences, mais les conditions financières des licences de formation restent une affaire de marché privé entre les éditeurs et les sociétés d'IA. Ce qui change cette semaine est plus banal et plus significatif : un site qui dit non à la formation en IA peut désormais le faire sans sacrifier sa place dans les résultats de recherche. Pour une industrie qui surveille en même temps le trafic de références et les conflits de formation, cette séparation a mis du temps à se produire.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
