CBC Newsの報道によると、世界中の学術図書館は、ウェブサイトの速度を低下させたりクラッシュさせたりする容赦ないAIデータスクレイピングボットの群れと戦っている。このボットは、大規模な言語モデルをトレーニングするためのコンテンツを収集するために AI 企業やサードパーティのサービスによって使用されており、デジタル コレクション全体をオフラインにし、図書館はオープン アクセスかオンラインに留まるかの選択を迫られています。

ターゲットはランダムではありません。図書館、博物館、その他の文化遺​​産機関には、一般にペイウォールやログインの背後に隠されていない、精査された質の高い情報が大量に保管されています。まさに、AI 開発者が Claude、Gemini、ChatGPT などのモデルをトレーニングするために賞賛する、クリーンで権威のあるテキストのようなものです。 この件の詳細は、AIニュースをご覧ください。

オフラインになったコレクション

問題の規模が拡大し、アーカイブ全体にアクセスできなくなるほどになりました。ビクトリア大学図書館のコレクションおよびデジタルインフラストラクチャ担当ディレクター、ディーン・シーマン氏はCBCの報道で、「ボットのトラフィックが非常に悪化して、サイトがしばらくの間完全にダウンしてしまうこともある」と述べた。同氏は、今回の機能停止は公衆アクセスにとって「現実的な問題」を引き起こしていると説明した。図書館のサイトがボットのトラフィックで崩壊すると、学生、研究者、一般市民がマシンとともに締め出されてしまうのだ。

サンノゼ州立大学では、常にプレッシャーにさらされる経験をしています。同大学の目録作成と政府文書の責任者であるジル・ストリコウスキー氏は、「彼らはただインターネット上に存在し、できるだけ多くの資料を入手しようとして私たちを攻撃しているだけだ」と語った。彼女の機関は政府文書やその他の公共資料をデジタル化しており、スクレーパーの主要な餌場となっています。

この報告書では、フィンランド音楽に関する 1 日あたり 11,000 件以上の検索に圧倒されたある学校について説明しています。これは、人間の聴衆が発生させることは考えられないほどのトラフィックであり、自動収集操作に典型的な、ある種の狭い範囲に焦点を当てた大量のクローリングです。

増え続ける問題

この現象を追跡していた研究者らは、この種の攻撃的なスクレイピングの報告が2024年末から北米、ヨーロッパ、オセアニア全域で現れ始めたことを発見し、専門家らはCBCニュースに対し、それ以来問題は悪化し続けていると語った。 AI 企業が高品質のトレーニング データの確保を競う中、またオープン ウェブのパブリッシャーがクローラーのブロックを強化している中、保護されていない高品質のテキストのプールは縮小し続けており、コレクションのロックダウンを拒否する教育機関に対する圧力は高まり続けています。

そのプレッシャーにはコストがかかります。ストリコフスキー氏は、ボットは「デジタル化作業を行うすべての機関、および情報をオープンに利用可能にしようとしているすべての機関にとって、信じられないほどの労力と頭痛の種を引き起こしている」と述べた。図書館は現在、ボット フィルタリング インフラストラクチャを実行し、不正なクローラーを追跡し、機能停止を吸収する必要があり、デジタル化やアクセスではなく防御に乏しい予算を費やしています。

抽出的な関係、批評家は言う

技術的な負担を超えて、このエピソードは、AI企業が公益機関をどのように扱うかについてのおなじみの批判を復活させました。オンタリオ工科大学の信頼できる人工知能のカナダ研究委員長であるピーター・ルイス氏はCBCに対し、このパターンは大規模な民間企業が共通善の機関を「非常に搾取的な方法で」利用していること、つまり公共の資料は無料で入手できると仮定し、それを利用して同じ一般の人々に売り戻される高度に商業的なモデルを構築していることだと語った。

この動きは、AI 開発者とニュース発行者、著者、アーティストの間の以前の対立を反映していますが、さらにひねりが加えられています。図書館には頼るべき法務部門やペイウォールがほとんどないということです。彼らの使命は、情報をオープンに利用できるようにすることであり、そのため、敵対的な交通であっても、交通を遮断することは彼らの使命と直接矛盾しています。

良いボット、悪いボット、そして次に何が起こるか

CBC のレポートでは、すべての自動トラフィックが敵対的であるわけではなく、図書館はレート制限や robots.txt の除外を遵守する行儀の良いクローラーと、アーカイブを攻撃するはるかに礼儀の悪いハーベスターとを区別していると述べています。問題は規模です。個別の料金ルールをすり抜けるほど小さい不正トラフィックの割合であっても、数千のクライアントが ID を調整またはローテーションすると、壊滅的な影響を受けます。

各機関は、レート制限、ボットのフィンガープリンティング、既知のスクレイパー ネットワークのブロック、場合によっては攻撃中にコレクションを完全にオフラインにするなど、さまざまな戦術を組み合わせて対応しています。これらはどれも無料ではなく、図書館が提供するために存在するオープン アクセスを低下させます。

この皮肉を見逃すのは難しい。人類の記録された知識を誰でも無料で読めるように数十年を費やしてデジタル化した同じ機関が、AI システムが一度にすべてを読み取ろうとするため、デジタルの扉を閉じるよう追い込まれているのだ。図書館、資金提供者、AI 企業がその緊張をどのように解決するかは、ライセンス契約、補償付きアクセス、より厳格な技術的執行を通じてであれ、今後何年にもわたって、トレーニング データの質の高い情報のオープン ウェブのあり方を形作ることになるでしょう。

今のところ、真ん中に挟まれている人が読者です。ビクトリア大学での Seeman の経験が示すように、ボットの群れによって障害が発生すると、公共のアクセスもダウンしてしまいます。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →