OpenAI оголосив у четвер, що буде враховувати спільний сигнал у robots.txt, файлі, який веб-сайти використовують для передачі інформації про те, як можна отримати доступ до їхнього вмісту, щоб оператори сайтів могли висловлювати єдині переваги навчання штучного інтелекту декільком постачальникам одночасно замість того, щоб підтримувати окремі правила для кожного сканера. Згідно з повідомленням The Verge, Google і Microsoft також підтримують ці зусилля, а круглий стіл пошукових систем документує оголошення про впровадження від обох компаній в один день.

Цей крок усуває давню проблему для видавців. До цього часу веб-сайт, який хотів, щоб його вміст не потрапляв у навчальні канали штучного інтелекту, мав ідентифікувати кожного сканера ШІ окремо та писати окремі правила для кожного постачальника, а потім підтримувати цей список у актуальному стані, коли з’являлися нові сканери. Спільний сигнал зводить тягар обслуговування в одну лінію намірів, яку компанії-учасники погоджуються поважати. For more context on this story, see our ongoing AI news.

До чого зобов'язується OpenAI

У своєму оголошенні OpenAI описав ці зусилля як добровільні та заявив, що має на меті реалізувати сигнал у найближчі місяці, а деталі впровадження будуть опубліковані в наступному оновленні, згідно з повідомленням Unite.AI про оголошення. Компанія заявила, що новий сигнал не замінить елементи керування, які він уже надає через robots.txt, який продовжить застосовуватися та поважатися.

OpenAI сформулював свою роботу як спирання на поточні зусилля робочої групи AI Preferences Internet Engineering Task Force, органу стандартизації, який працював над визначенням того, як веб-сайти можуть виражати машинозчитувані переваги щодо того, як їхній вміст використовується в системах AI. Компанія заявила, що приєднується до інших учасників робочої групи, роблячи оголошення, і закликала інших постачальників штучного інтелекту також врахувати сигнал.

Вхід у Google і Microsoft

Важливість оголошення значною мірою залежить від того, хто ще прийме стандарт, і перші ознаки свідчать про те, що в ньому беруть участь найбільші гравці. Круглий стіл пошукових систем повідомив у четвер, що Google прийняв новий контроль навчання штучного інтелекту, а також оголосив про нові елементи керування навчанням штучного інтелекту Microsoft Bing, пов’язані з його продуктами пошуку на базі штучного інтелекту. The Verge повідомило, що OpenAI, Google і Microsoft підтримують новий стандарт для веб-сайтів, що зробить його першою міжгалузевою конвенцією такого роду, підтримуваною компаніями, чиї сканери забезпечують основну частину вилучення, пов’язаної зі штучним інтелектом.

Якщо три компанії виконають це завдання, оператор веб-сайту зможе встановити єдину відмову від навчання, яка буде зрозуміла сканерам ChatGPT, продуктам штучного інтелекту Google і екосистемі Microsoft Copilot одночасно. Це суттєво простіший світ для видавців, ніж поточний, де кожен постачальник документує власні назви сканера та маркери переваг.

Чому видавці цього хотіли

Поштовх до уніфікованого сигналу зростав роками, оскільки навчання ШІ стало точкою спалаху між технологічною індустрією та людьми, які створюють письмові записи, у яких навчаються моделі. Зокрема, новинні організації скаржилися на те, що сканери штучного інтелекту масштабно збирають їхні звіти, а їхні бізнес-моделі, що фінансуються за рахунок реклами, руйнуються, а кілька видавців звернулися до суду або підписали ліцензійні угоди, щоб відновити вплив.

Проміжні рішення поширилися. Cloudflare, яка керує значною частиною Інтернету, запустила налаштування, яке дозволяє сайтам блокувати навчальні сканери штучного інтелекту, не втрачаючи видимості пошуку Google. Це важлива відмінність, оскільки сканування штучним інтелектом та індексація пошуку історично регулювалися тими самими правилами robots.txt. Робота зі стандартів у робочій групі IETF з налаштувань штучного інтелекту спрямована на формалізацію вираження переваг на рівні протоколу.

Спільний сигнал, прийнятий основними постачальниками штучного інтелекту, був би найбільш значущим кроком, оскільки він працює через існуючий механізм robots.txt, який оператори сайту вже знають, як використовувати.

Питання правозастосування

Стандарт є добровільним, і це слово має вагу. Налаштування robots.txt самі по собі не мають законної сили; він зобов’язує лише компанії, які погоджуються його дотримуватися, і відповідність історично залежала від власного виявлення та застосування кожним постачальником. Заява OpenAI про те, що її існуючі елементи керування robots.txt будуть продовжувати поважатися, свідчить про безперервність, а не про новий режим, і компанія ще не опублікувала технічні деталі того, як відповідність буде реалізовано або перевірено.

Є також відкриті питання, які оголошення не вирішує. Залишається з’ясувати, чи сигнал охоплює лише навчання, чи поширюється на пошук і заземлення, процеси, за допомогою яких системи штучного інтелекту отримують живий веб-контент, щоб відповісти на запитання. Розрізнення має значення для видавців, оскільки продукти, засновані на пошуку, можуть повертати трафік до джерел, тоді як використання навчання – ні. Те, як штучний інтелект, яким керує пошукова система, обробляє сигнал у порівнянні з їхніми загальними правилами сканування, визначить, чи сприйматимуть видавці впровадження як перемогу чи фіговий листок.

Що подивитися

Наступні віхи є конкретними: оновлення реалізації OpenAI, технічні характеристики, які публікують компанії-учасники, і те, чи оголосили про підтримку інші значущі постачальники штучного інтелекту, включаючи великі китайські лабораторії та незалежні компанії, що займаються дослідженнями. Видавці та правовласники уважно стежитимуть за розповіддю аудиту, тобто за тим, чи зможуть оператори перевірити, чи їхні переваги дійсно дотримуються в масштабі.

Якщо стандарт витримає, заяву в четвер можна запам’ятати як момент, коли відмова від навчання штучному інтелекту перестала бути клаптиком для кожної компанії, а стала конвенцією для всього Інтернету. Якщо він зупиняється, він приєднується до довгої низки добровільних веб-стандартів, яким галузь аплодувала, а потім тихо ігнорувала.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →