CBC News tarafından hazırlanan bir rapora göre, dünyanın dört bir yanındaki akademik kütüphaneler, web sitelerini yavaşlatan veya çökerten yapay zeka veri kazıyıcı botların amansız sürüleriyle mücadele ediyor. Yapay zeka şirketleri ve üçüncü taraf hizmetler tarafından büyük dil modellerinin eğitimi için içerik toplamak amacıyla kullanılan botlar, tüm dijital koleksiyonları çevrimdışına alıyor ve kütüphaneleri açık erişim ile çevrimiçi kalma arasında seçim yapmaya zorluyor.

Hedefler rastgele değil. Kütüphaneler, müzeler ve diğer kültürel miras kurumları, genellikle ödeme duvarlarının veya oturum açma bilgilerinin arkasında saklanmayan, büyük miktarda kaliteli, incelenmiş bilgi içerir; bu, tam olarak yapay zeka geliştiricilerinin Claude, Gemini ve ChatGPT gibi eğitim modelleri için ödüllendirdiği türden temiz, yetkili metinlerdir. For more context on this story, see our ongoing latest AI developments.

Koleksiyonlar Çevrimdışına Alındı

Sorunun boyutu arşivlerin tamamına erişilemez hale gelecek kadar büyüdü. CBC raporunda Victoria Üniversitesi Kütüphaneleri koleksiyonları ve dijital altyapı müdürü Dean Seeman, "Bazen bot trafiği o kadar kötüleşiyor ki sitelerin bir süreliğine tamamen kapanmasına neden oluyor" dedi. Kesintilerin kamu erişimi için "gerçek bir sorun" yarattığını ifade etti; bir kütüphanenin sitesi bot trafiği altında çöktüğünde, öğrenciler, araştırmacılar ve sıradan vatandaşlar makinelerle birlikte kilitlendi.

San Jose Eyalet Üniversitesi'nde sürekli bir baskı deneyimi yaşanıyor. Üniversitenin kataloglama ve hükümet belgeleri sorumlusu Jill Strykowski, "İnternette varlar ve mümkün olduğu kadar çok materyal toplamak için bizi bombardımana tutuyorlar" dedi. Kurumu, hükümet belgelerini ve diğer kamuya açık materyalleri dijitalleştirerek kazıyıcılar için birincil bir beslenme alanı haline getiriyor.

Raporda, tek bir günde Fin müziğiyle ilgili 11.000'den fazla aramanın altında ezilen bir okul anlatılıyor; hiçbir insan izleyicinin makul bir şekilde oluşturamayacağı trafik ve otomatik hasat operasyonlarının tipik özelliği olan dar odaklı, yüksek hacimli tarama.

Büyüyen Bir Sorun

Bu olayı takip eden araştırmacılar, bu tür agresif kazımalara ilişkin raporların 2024'ün sonlarında Kuzey Amerika, Avrupa ve Okyanusya'da ortaya çıkmaya başladığını buldu ve uzmanlar, CBC News'e sorunun o zamandan bu yana daha da kötüleşmeye devam ettiğini söyledi. Yapay zeka şirketleri yüksek kaliteli eğitim verilerini güvence altına almak için yarıştıkça ve açık web yayıncıları tarayıcıları giderek daha fazla engelledikçe, korumasız, yüksek kaliteli metin havuzları küçülmeye devam ediyor ve koleksiyonlarını kilitlemeyi reddeden kurumlar üzerindeki baskı artmaya devam ediyor.

Bu baskının bir bedeli var. Strykowski, botların "dijitalleştirme çalışması yapan her kurum ve bilgiyi açık bir şekilde kullanılabilir hale getirmeye çalışan her kurum için inanılmaz miktarda iş ve baş ağrısına neden olduğunu" söyledi. Kütüphaneler artık bot filtreleme altyapısını çalıştırmalı, kötü niyetli tarayıcıları takip etmeli ve kesintileri karşılamalı; kıt bütçeyi dijitalleştirme ve erişim yerine savunmaya harcamalıdır.

Eleştirmenler, Çıkarıcı Bir İlişki diyor

Teknik yükün ötesinde bu olay, yapay zeka şirketlerinin kamu yararına çalışan kurumlara nasıl davrandığına dair tanıdık eleştiriyi yeniden canlandırdı. Ontario Tech Üniversitesi Güvenilir Yapay Zeka Kanada Araştırma Başkanı Peter Lewis, CBC'ye, bu modelin büyük özel şirketlerin kamu yararına olan kurumlardan "çok sömürücü bir şekilde" yararlanmasına yol açtığını söyledi; kamuya ait materyallerin ücretsiz alınabileceğini varsayarak, daha sonra bunu aynı halka geri satılan oldukça ticari modeller oluşturmak için kullanıyorlar.

Dinamik, yapay zeka geliştiricileri ile haber yayıncıları, yazarlar ve sanatçılar arasındaki daha önceki çatışmaları hatırlatıyor, ancak bir farkla: Kütüphaneler nadiren başvurabilecekleri hukuk departmanlarına veya ödeme duvarlarına sahip. Görevleri bilgiyi açıkça erişilebilir kılmaktır; bu da trafiğin engellenmesini, hatta düşmanca trafiği bile misyonlarıyla doğrudan çelişir hale getirir.

İyi Botlar, Kötü Botlar ve Sırada Ne Var?

CBC raporu, tüm otomatik trafiğin düşmanca olmadığını ve kütüphanelerin, hız sınırlarına ve robots.txt hariç tutmalarına saygı duyan iyi huylu tarayıcılar ile arşivlerini işleyen çok daha az kibar toplayıcılar arasında ayrım yaptığını belirtiyor. Zorluk ölçektir: Bireysel ücret kurallarını aşacak kadar küçük bir kötüye kullanım trafiği payı bile, binlerce müşteri kimlikleri koordine ettiğinde veya değiştirdiğinde ezici hale gelir.

Kurumlar, hız sınırlama, bot parmak izi alma, bilinen kazıyıcı ağları engelleme ve bazı durumlarda saldırılar sırasında koleksiyonları tamamen çevrimdışına alma gibi çeşitli taktiklerle yanıt veriyor. Bunların hiçbiri ücretsiz değil ve hepsi kütüphanelerin sağlamak için var olduğu açık erişimi zayıflatıyor.

İroniyi gözden kaçırmak zor: Onlarca yıldır insanlığın kayıtlı bilgisini herkesin ücretsiz olarak okuyabileceği şekilde dijital hale getiren aynı kurumlar, yapay zeka sistemleri her şeyi aynı anda okumak istediğinden artık dijital kapılarını kapatmaya zorlanıyorlar. Kütüphaneler, fon sağlayıcılar ve yapay zeka şirketlerinin bu gerilimi lisans anlaşmaları, ücretli erişim veya daha sıkı teknik uygulama yoluyla nasıl çözeceği, eğitim-veri kalitesindeki bilgilerin açık ağının önümüzdeki yıllarda nasıl görüneceğini şekillendirecek.

Şimdilik ortada kalanlar okuyuculardır. Seeman'ın Victoria Üniversitesi'ndeki deneyiminin gösterdiği gibi, bir bot sürüsünün neden olduğu her kesinti, kamu erişimini de beraberinde getiriyor.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →