OpenAI a annoncé jeudi qu'il honorerait un signal partagé dans robots.txt, le fichier utilisé par les sites Web pour communiquer comment leur contenu peut être consulté, afin que les opérateurs de sites puissent exprimer une seule préférence de formation en IA à plusieurs fournisseurs à la fois au lieu de maintenir des règles distinctes pour chaque robot d'exploration. Google et Microsoft soutiennent également cet effort, selon un rapport de The Verge, la Search Engine Roundtable documentant les annonces d'adoption des deux sociétés le même jour.
Cette décision répond à un problème de longue date pour les éditeurs. Jusqu'à présent, un site Web qui souhaitait garder son contenu à l'écart des pipelines de formation en IA devait identifier chaque robot d'exploration d'IA individuellement et rédiger des règles distinctes pour chaque fournisseur, puis tenir cette liste à jour à mesure que de nouveaux robots d'exploration apparaissaient. Un signal partagé réduit cette charge de maintenance en une seule ligne d’intention, que les entreprises participantes acceptent de respecter. Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.
Ce à quoi OpenAI s'est engagé
Dans son annonce, OpenAI a décrit l'effort comme volontaire et a déclaré qu'il visait à mettre en œuvre le signal dans les mois à venir, les détails de mise en œuvre suivront dans une mise à jour ultérieure, selon le compte rendu de l'annonce d'Unite.AI. La société a déclaré que le nouveau signal ne remplacerait pas les contrôles qu'elle propose déjà via le fichier robots.txt, qui continuera à s'appliquer et à être respecté.
OpenAI a conçu le travail comme s'appuyant sur les efforts continus du groupe de travail sur les préférences en IA de l'Internet Engineering Task Force, l'organisme de normalisation qui a travaillé pour définir comment les sites Web peuvent exprimer des préférences lisibles par machine sur la façon dont leur contenu est utilisé dans les systèmes d'IA. La société a déclaré qu'elle se joignait aux autres participants du groupe de travail pour faire cette annonce et a encouragé d'autres fournisseurs d'IA à honorer également le signal.
## Google et Microsoft se connectent
L'importance de l'annonce dépend fortement de qui d'autre adoptera la norme, et les premiers signes indiquent que les plus grands acteurs sont de la partie. La table ronde des moteurs de recherche a rapporté jeudi que Google avait adopté le nouveau contrôle de formation de l'IA, et a couvert séparément l'annonce par Bing de Microsoft de nouveaux contrôles de formation de l'IA connectés à ses produits de recherche d'IA. The Verge a rapporté qu'OpenAI, Google et Microsoft prennent en charge la nouvelle norme pour les sites Web, ce qui en ferait la première convention intersectorielle de ce type soutenue par les entreprises dont les robots d'exploration représentent l'essentiel des recherches liées à l'IA.
Si les trois sociétés donnent suite, un opérateur de site Web serait en mesure de définir une désinscription unique à la formation qui serait comprise simultanément par les robots d'exploration derrière ChatGPT, les produits d'IA de Google et l'écosystème Copilot de Microsoft. Il s’agit d’un monde sensiblement plus simple pour les éditeurs que le monde actuel, où chaque fournisseur documente ses propres noms de robots et jetons de préférence.
Pourquoi les éditeurs voulaient cela
La pression en faveur d’un signal unifié se développe depuis des années, alors que la formation en IA est devenue un point de friction entre l’industrie technologique et les personnes qui produisent les documents écrits dont les modèles apprennent. Les agences de presse, en particulier, se plaignent du fait que les robots d'exploration de l'IA suppriment leurs reportages à grande échelle tandis que leurs modèles commerciaux financés par la publicité s'érodent, et plusieurs éditeurs ont saisi les tribunaux ou signé des accords de licence pour récupérer leur influence.
Les solutions provisoires se sont multipliées. Cloudflare, qui se trouve devant une grande partie du Web, a lancé un paramètre qui permet aux sites de bloquer les robots d'exploration de l'IA sans perdre la visibilité de la recherche Google, une distinction importante car l'exploration de l'IA et l'indexation des recherches étaient historiquement régies par les mêmes règles robots.txt. Le travail de normalisation au sein du groupe de travail sur les préférences AI de l'IETF visait à formaliser l'expression des préférences au niveau du protocole.
Un signal partagé adopté par les principaux fournisseurs d’IA serait l’étape la plus importante à ce jour, car il fonctionne via le mécanisme robots.txt existant que les opérateurs de sites savent déjà utiliser.
La question de l'application
La norme est volontaire et ce mot a du poids. Une préférence robots.txt n’a pas force de loi en soi ; il ne lie que les entreprises qui acceptent de l'honorer, et la conformité dépend depuis toujours de la détection et de l'application de la loi par chaque fournisseur. La déclaration d'OpenAI selon laquelle ses contrôles robots.txt existants continueront d'être respectés suggère une continuité plutôt qu'un nouveau régime, et la société n'a pas encore publié les détails techniques sur la manière dont la conformité sera mise en œuvre ou auditée.
Il y a aussi des questions ouvertes que l'annonce ne règle pas. Il reste à voir si le signal couvre uniquement la formation, ou s'étend à la récupération et à la mise à la terre, les processus par lesquels les systèmes d'IA récupèrent le contenu Web en direct pour répondre aux questions. Cette distinction est importante pour les éditeurs, car les produits basés sur la récupération peuvent rediriger le trafic vers les sources, contrairement à l'utilisation de la formation. La manière dont les expériences d’IA gérées par les moteurs de recherche traitent le signal par rapport à leurs règles générales d’exploration déterminera si les éditeurs considèrent l’adoption comme une victoire ou une feuille de vigne.
Que regarder
Les prochaines étapes sont concrètes : la mise à jour de la mise en œuvre d'OpenAI, les spécifications techniques publiées par les sociétés participantes et la question de savoir si d'autres fournisseurs d'IA importants, notamment les grands laboratoires chinois et les sociétés d'inférence indépendantes, annoncent leur soutien. Les éditeurs et les titulaires de droits surveilleront de très près l’évolution de l’audit, c’est-à-dire si les opérateurs peuvent vérifier que leurs préférences sont réellement respectées à grande échelle.
Si la norme est respectée, l'annonce de jeudi restera peut-être dans les mémoires comme le moment où les désinscriptions à la formation en IA ont cessé d'être un patchwork par entreprise et sont devenues une convention à l'échelle du Web. S’il échoue, il rejoint une longue lignée de normes Web volontaires que l’industrie a applaudies puis discrètement ignorées.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
