A OpenAI anunciou na quinta-feira que honrará um sinal compartilhado no robots.txt, o arquivo que os sites usam para comunicar como seu conteúdo pode ser acessado, para que os operadores do site possam expressar uma única preferência de treinamento de IA para vários provedores ao mesmo tempo, em vez de manter regras separadas para cada rastreador. Google e Microsoft também estão apoiando o esforço, de acordo com reportagem do The Verge, com a Search Engine Roundtable documentando anúncios de adoção de ambas as empresas no mesmo dia.

A mudança aborda um problema de longa data para os editores. Até agora, um site que quisesse manter seu conteúdo fora dos pipelines de treinamento de IA tinha que identificar cada rastreador de IA individualmente e escrever regras separadas para cada provedor e, em seguida, manter essa lista atualizada à medida que novos rastreadores surgissem. Um sinal partilhado resume esse fardo de manutenção numa linha de intenções, que as empresas participantes concordam em respeitar. Para mais contexto sobre esta história, confira nossa tendências de IA.

Com o que a OpenAI se comprometeu

Em seu anúncio, a OpenAI descreveu o esforço como voluntário e disse que pretende implementar o sinal nos próximos meses, com detalhes de implementação a seguir em uma atualização posterior, de acordo com o relato da Unite.AI sobre o anúncio. A empresa disse que o novo sinal não substituirá os controles que já fornece por meio do robots.txt, que continuará a ser aplicado e respeitado.

A OpenAI estruturou o trabalho com base nos esforços contínuos do grupo de trabalho de Preferências de IA da Força-Tarefa de Engenharia da Internet, o esforço do órgão de padronização que tem trabalhado para definir como os sites podem expressar preferências legíveis por máquina sobre como seu conteúdo é usado em sistemas de IA. A empresa disse que está se juntando a outros participantes do grupo de trabalho para fazer o anúncio e encorajou outros fornecedores de IA a honrarem o sinal também.

Login do Google e da Microsoft

A importância do anúncio depende muito de quem mais adota o padrão, e os primeiros sinais são de que os maiores jogadores estão dentro. A Search Engine Roundtable informou na quinta-feira que o Google adotou o novo controle de treinamento de IA e cobriu separadamente o Bing da Microsoft anunciando novos controles de treinamento de IA conectados aos seus produtos de base de pesquisa de IA. The Verge relatou que OpenAI, Google e Microsoft estão apoiando o novo padrão para sites, o que tornaria esta a primeira convenção intersetorial desse tipo apoiada pelas empresas cujos rastreadores são responsáveis ​​pela maior parte da busca relacionada à IA.

Se as três empresas seguirem em frente, um operador de site poderá definir uma única opção de exclusão de treinamento que seja compreendida pelos rastreadores por trás do ChatGPT, dos produtos de IA do Google e do ecossistema Copilot da Microsoft simultaneamente. Esse é um mundo materialmente mais simples para os editores do que o atual, onde cada provedor documenta seus próprios nomes de rastreadores e tokens de preferência.

Por que os editores queriam isso

A pressão por um sinal unificado vem crescendo há anos, à medida que o treinamento em IA se tornou um ponto de conflito entre a indústria de tecnologia e as pessoas que produzem o registro escrito com o qual os modelos aprendem. As organizações noticiosas, em particular, queixaram-se de que os rastreadores de IA prejudicam as suas reportagens em grande escala, enquanto os seus modelos de negócio financiados por publicidade se desgastam, e vários editores recorreram a tribunais ou assinaram acordos de licenciamento para recuperar a vantagem.

As soluções provisórias proliferaram. A Cloudflare, que fica na frente de uma grande parte da web, lançou uma configuração que permite que os sites bloqueiem rastreadores de treinamento de IA sem perder a visibilidade da pesquisa do Google, uma distinção que é importante porque o rastreamento de IA e a indexação de pesquisa eram historicamente regidos pelas mesmas regras do robots.txt. O trabalho de padrões dentro do grupo de trabalho de Preferências de IA da IETF tem como objetivo formalizar a expressão de preferência no nível do protocolo.

Um sinal partilhado adoptado pelos principais fornecedores de IA seria o passo mais importante até agora, porque funciona através do mecanismo robots.txt existente que os operadores do site já sabem como usar.

A questão da aplicação

O padrão é voluntário e essa palavra tem peso. Uma preferência robots.txt não tem força de lei por si só; ela vincula apenas as empresas que concordam em honrá-la, e a conformidade tem dependido historicamente da detecção e fiscalização de cada fornecedor. A declaração da OpenAI de que os seus controlos robots.txt existentes continuarão a ser respeitados sugere continuidade em vez de um novo regime, e a empresa ainda não publicou os detalhes técnicos de como a conformidade será implementada ou auditada.

Há também questões em aberto que o anúncio não resolve. Resta saber se o sinal abrange apenas o treinamento, ou se se estende à recuperação e aterramento, os processos pelos quais os sistemas de IA buscam conteúdo da web ao vivo para responder a perguntas. A distinção é importante para os editores porque os produtos baseados em recuperação podem direcionar o tráfego de volta às fontes, enquanto o uso do treinamento não. A maneira como as experiências de IA gerenciadas por mecanismos de pesquisa tratam o sinal em comparação com suas regras gerais de rastreamento determinará se os editores veem a adoção como uma vitória ou como uma folha de parreira.

O que assistir

Os próximos marcos são concretos: a atualização da implementação da OpenAI, a especificação técnica que as empresas participantes publicam e se outros fornecedores importantes de IA – incluindo os grandes laboratórios chineses e empresas de inferência independentes – anunciam apoio. Os editores e detentores de direitos estarão atentos à história da auditoria, ou seja, se os operadores conseguem verificar se a sua preferência está realmente a ser respeitada em grande escala.

Se o padrão se mantiver, o anúncio de quinta-feira poderá ser lembrado como o momento em que as desativações do treinamento em IA deixaram de ser uma colcha de retalhos por empresa e se tornaram uma convenção em toda a web. Se estagnar, juntar-se-á a uma longa linha de padrões web voluntários que a indústria aplaudiu e depois ignorou silenciosamente.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →