OpenAIは木曜日、robots.txtの共有シグナルを尊重すると発表した。このファイルはWebサイトがコンテンツへのアクセス方法を伝達するために使用するファイルで、サイト運営者はクローラーごとに個別のルールを維持するのではなく、単一のAIトレーニング設定を一度に複数のプロバイダーに表明できる。 The Vergeの報道によると、GoogleとMicrosoftもこの取り組みを支援しており、同じ日に両社からの採用発表がSearch Engine Roundtableに文書化されているという。

この動きは、パブリッシャーにとって長年の問題点に対処するものである。これまで、Web サイトのコンテンツを AI トレーニング パイプラインから遠ざけたい場合は、各 AI クローラーを個別に識別し、プロバイダーごとに個別のルールを作成し、新しいクローラーが出現したときにそのリストを最新の状態に保つ必要がありました。共有シグナルにより、メンテナンスの負担が 1 つの意図に集約され、参加企業はそれを尊重することに同意します。 この件の詳細は、AIの最新動向をご覧ください。

OpenAI が取り組んでいること

Unite.AIの発表説明によると、OpenAIは発表の中で、この取り組みは自主的なものであると説明し、今後数か月以内にシグナルを実装することを目指しており、実装の詳細は後のアップデートで発表されると述べた。同社は、新しい信号はrobots.txtを通じてすでに提供されている制御を置き換えるものではなく、引き続き適用され尊重されると述べた。

OpenAI は、インターネット エンジニアリング タスク フォースの AI 設定ワーキング グループの継続的な取り組みを参考にしてこの作業を組み立てました。この作業グループは、AI システムでコンテンツがどのように使用されるかについて、Web サイトが機械可読な設定をどのように表現できるかを定義する標準化団体の取り組みです。同社は他のワーキンググループ参加者に加わって発表を行うと述べ、他のAIプロバイダーにも同様にシグナルを尊重するよう奨励した。

Google と Microsoft のサインオン

この発表の重要性は、他の誰がこの標準を採用するかに大きく依存しており、初期の兆候としては、大手企業が参加していることが挙げられる。検索エンジンラウンドテーブルは木曜日、Googleが新しいAIトレーニングコントロールを採用したと報じ、またMicrosoftのBingが同社のAI検索グラウンディング製品に接続された新しいAIトレーニングコントロールを発表したことについても別途取り上げた。 The Vergeは、OpenAI、Google、Microsoftがウェブサイトの新しい標準をサポートしており、AI関連の取得の大部分をクローラーが占める企業が後援するこの種の業界初のコンベンションとなると報じた。

3社がこれに従えば、ウェブサイト運営者は、ChatGPT、GoogleのAI製品、MicrosoftのCopilotエコシステムの背後にあるクローラーが同時に理解できる単一のトレーニングオプトアウトを設定できるようになる。これは、各プロバイダーが独自のクローラー名と優先トークンを文書化する現在の世界よりも、パブリッシャーにとって非常に単純な世界です。

出版社がこれを望んだ理由

AI トレーニングがテクノロジー業界と、モデルが学習する文書を作成する人々の間の引火点となったため、統一シグナルを求める動きが何年も高まってきました。特に報道機関は、広告資金によるビジネスモデルが衰退する一方で、AIクローラーが報道を大規模にスクレイピングしていると不満を訴えており、いくつかの出版社は影響力を取り戻すために裁判を起こしたり、ライセンス契約を結んだりしている。

暫定的な解決策は急増しています。ウェブの大部分を占める Cloudflare は、Google 検索の可視性を失わずに、サイトが AI トレーニング クローラーをブロックできる設定を開始しました。これは、AI クロールと検索インデックス作成が歴史的に同じ robots.txt ルールによって管理されていたため、この違いは重要です。 IETF の AI プリファレンス ワーキング グループ内の標準作業は、プロトコル レベルでプリファレンスの表現を形式化することを目的としています。

主要な AI プロバイダーによって採用された共有シグナルは、サイト運営者がすでに使い方を知っている既存の robots.txt メカニズムを通じて機能するため、これまでで最も重要なステップとなるでしょう。

施行に関する質問

この基準は自主的なものであり、その言葉には重みがあります。 robots.txt の設定自体には法的強制力はありません。これは、これを遵守することに同意した企業のみを拘束し、コンプライアンスはこれまで、各プロバイダー自身の検出と施行に依存してきました。既存の robots.txt コントロールは引き続き尊重されるという OpenAI の声明は、新しい体制ではなく継続性を示唆しており、同社はコンプライアンスがどのように実装または監査されるかについての技術的な詳細をまだ公開していません。

この発表では決着がつかない未解決の疑問もある。この信号がトレーニングのみを対象とするのか、それとも AI システムが質問に答えるためにライブ Web コンテンツを取得するプロセスである検索とグラウンディングにまで及ぶのかはまだわかりません。検索ベースの製品はトラフィックをソースに戻す可能性がありますが、トレーニングの使用はそうではないため、この区別はパブリッシャーにとって重要です。検索エンジンが管理する AI エクスペリエンスが一般的なクローリング ルールと比較してシグナルをどのように扱うかによって、パブリッシャーが導入を勝利と見るかイチジクの葉と見るかが決まります。

何を見るべきか

次のマイルストーンは具体的です。OpenAI の実装アップデート、参加企業が公開する技術仕様、そして中国の大手研究所や独立推論会社を含む他の重要な AI プロバイダーがサポートを発表するかどうかです。出版社と権利所有者は、監査の内容、つまり運営者が自分たちの好みが実際に大規模に尊重されているかどうかを検証できるかどうかを最も注意深く監視しているだろう。

この基準が維持されるのであれば、木曜日の発表は、AI トレーニングのオプトアウトが企業ごとのパッチワークではなくなり、ウェブ全体の慣例となった瞬間として記憶されるかもしれない。もしそれが停滞すれば、業界が賞賛し、その後静かに無視してきた自主的なウェブ標準の長い列に加わることになる。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →