OpenAI anunció el jueves que respetará una señal compartida en robots.txt, el archivo que los sitios web utilizan para comunicar cómo se puede acceder a su contenido, de modo que los operadores del sitio puedan expresar una única preferencia de entrenamiento de IA a múltiples proveedores a la vez en lugar de mantener reglas separadas para cada rastreador. Google y Microsoft también están apoyando el esfuerzo, según un informe de The Verge, y Search Engine Roundtable documenta los anuncios de adopción de ambas compañías el mismo día.
La medida aborda un problema de larga data para los editores. Hasta ahora, un sitio web que quería mantener su contenido fuera de los canales de capacitación de IA tenía que identificar cada rastreador de IA individualmente y escribir reglas separadas para cada proveedor, luego mantener esa lista actualizada a medida que aparecían nuevos rastreadores. Una señal compartida reduce esa carga de mantenimiento a una línea de intención, que las empresas participantes se comprometen a respetar. Para más contexto sobre esta historia, consulta nuestra novedades de IA.
Con qué se comprometió OpenAI
En su anuncio, OpenAI describió el esfuerzo como voluntario y dijo que apunta a implementar la señal en los próximos meses, con detalles de implementación que se publicarán en una actualización posterior, según el relato de Unite.AI sobre el anuncio. La compañía dijo que la nueva señal no reemplazará los controles que ya proporciona a través de robots.txt, que seguirán aplicándose y siendo respetados.
OpenAI enmarcó el trabajo como aprovechando los esfuerzos en curso del grupo de trabajo de Preferencias de IA del Grupo de Trabajo de Ingeniería de Internet, el esfuerzo del organismo de estándares que ha estado trabajando para definir cómo los sitios web pueden expresar preferencias legibles por máquina sobre cómo se usa su contenido en los sistemas de IA. La compañía dijo que se unirá a otros participantes del grupo de trabajo para hacer el anuncio y alentó a otros proveedores de IA a respetar la señal también.
Iniciar sesión en Google y Microsoft
La importancia del anuncio depende en gran medida de quién más adopte el estándar, y las primeras señales son que los jugadores más importantes están dentro. Search Engine Roundtable informó el jueves que Google adoptó el nuevo control de entrenamiento de IA, y cubrió por separado a Bing de Microsoft anunciando nuevos controles de entrenamiento de IA conectados a sus productos de base de búsqueda de IA. The Verge informó que OpenAI, Google y Microsoft están apoyando el nuevo estándar para sitios web, lo que lo convertiría en la primera convención intersectorial de este tipo respaldada por las empresas cuyos rastreadores representan la mayor parte de las búsquedas relacionadas con la IA.
Si las tres empresas siguen adelante, un operador de sitio web podría establecer una única opción de exclusión de capacitación que sea comprendida simultáneamente por los rastreadores detrás de ChatGPT, los productos de inteligencia artificial de Google y el ecosistema Copilot de Microsoft. Se trata de un mundo materialmente más sencillo para los editores que el actual, donde cada proveedor documenta sus propios nombres de rastreadores y tokens de preferencia.
Por qué los editores querían esto
El impulso por una señal unificada se ha ido acumulando durante años a medida que el entrenamiento de IA se convirtió en un punto de tensión entre la industria de la tecnología y las personas que producen el registro escrito del que aprenden los modelos. Las organizaciones de noticias, en particular, se han quejado de que los rastreadores de IA modifican sus informes a gran escala mientras sus modelos de negocios financiados con publicidad se erosionan, y varios editores han acudido a los tribunales o han firmado acuerdos de licencia para recuperar influencia.
Han proliferado las soluciones provisionales. Cloudflare, que se encuentra frente a una gran fracción de la web, lanzó una configuración que permite a los sitios bloquear los rastreadores de entrenamiento de IA sin perder visibilidad de búsqueda en Google, una distinción que importa porque el rastreo de IA y la indexación de búsqueda se regían históricamente por las mismas reglas de robots.txt. El trabajo de estándares dentro del grupo de trabajo de Preferencias de IA del IETF tiene como objetivo formalizar la expresión de preferencias a nivel de protocolo.
Una señal compartida adoptada por los principales proveedores de IA sería el paso más importante hasta el momento, porque funciona a través del mecanismo robots.txt existente que los operadores del sitio ya saben cómo utilizar.
La cuestión de la aplicación de la ley
La norma es voluntaria y esa palabra tiene peso. Una preferencia de robots.txt no tiene fuerza de ley por sí misma; obliga sólo a las empresas que aceptan respetarlo, y el cumplimiento ha dependido históricamente de la detección y aplicación de la ley por parte de cada proveedor. La declaración de OpenAI de que sus controles existentes de robots.txt seguirán siendo respetados sugiere continuidad en lugar de un nuevo régimen, y la compañía aún no ha publicado los detalles técnicos de cómo se implementará o auditará el cumplimiento.
También quedan cuestiones abiertas que el anuncio no resuelve. Queda por ver si la señal cubre solo el entrenamiento o se extiende a la recuperación y conexión a tierra, los procesos mediante los cuales los sistemas de inteligencia artificial obtienen contenido web en vivo para responder preguntas. La distinción es importante para los editores porque los productos basados en la recuperación pueden devolver el tráfico a las fuentes, mientras que el uso de la capacitación no. La forma en que las experiencias de IA administradas por los motores de búsqueda traten la señal en comparación con sus reglas generales de rastreo determinará si los editores ven la adopción como una victoria o una hoja de parra.
Qué mirar
Los próximos hitos son concretos: la actualización de la implementación de OpenAI, las especificaciones técnicas que publican las empresas participantes y si otros proveedores importantes de IA, incluidos los grandes laboratorios chinos y las empresas de inferencia independientes, anuncian su apoyo. Los editores y los titulares de derechos estarán muy atentos a la historia de la auditoría, es decir, a si los operadores pueden verificar que sus preferencias realmente se respetan a escala.
Si el estándar se mantiene, el anuncio del jueves puede ser recordado como el momento en que las opciones de exclusión voluntaria de la capacitación en IA dejaron de ser un mosaico por empresa y se convirtieron en una convención en toda la web. Si se estanca, se unirá a una larga lista de estándares web voluntarios que la industria aplaudió y luego silenciosamente ignoró.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
