Perpustakaan akademisi ing saindenging jagad nglawan segerombolan bot-bot data-scraping AI sing alon-alon utawa nabrak situs web, miturut laporan CBC News. Bot, sing digunakake dening perusahaan AI lan layanan pihak katelu kanggo panen konten kanggo nglatih model basa gedhe, nuthuk kabeh koleksi digital ing offline lan meksa perpustakaan milih antarane akses mbukak lan tetep online.
Target ora acak. Perpustakaan, musium, lan institusi warisan budaya liyane duwe volume gedhe, informasi sing wis ditemtokake sing umume ora didhelikake ing mburi paywalls utawa login - persis jenis teks sing resik lan otoritatif sing dikembangake dening pangembang AI kanggo model latihan kaya Claude, Gemini, lan ChatGPT. For more context on this story, see our ongoing AI trends.
Koleksi Dibuwang Offline
Skala masalah saya tambah nganti kabeh arsip ora bisa diakses. "Kadhangkala lalu lintas bot dadi ala sing nyebabake situs mudhun kanthi cepet," ujare Dean Seeman, direktur koleksi lan infrastruktur digital ing Perpustakaan Universitas Victoria, ing laporan CBC. Dheweke nggambarake gangguan kasebut minangka nggawe "masalah nyata" kanggo akses umum - nalika situs perpustakaan ambruk ing lalu lintas bot, siswa, peneliti, lan warga biasa dikunci bebarengan karo mesin kasebut.
Ing San Jose State University, pengalaman minangka salah sawijining tekanan sing tetep. "Dheweke mung metu ana ing internet, mung bombarding kita karo nyoba kanggo njupuk munggah minangka akeh materi sabisa," ngandika Jill Strykowski, cataloging universitas lan dokumen pemerintah timbal. Institusi dheweke nggawe digitalisasi dokumen pemerintah lan bahan umum liyane, dadi papan pakan utama kanggo scraper.
Laporan kasebut nggambarake salah sawijining sekolah sing kepunjulen karo luwih saka 11.000 telusuran ing musik Finlandia sajrone sedina - lalu lintas ora ana pamirsa manungsa sing bisa ngasilake, lan jinis crawling volume dhuwur sing rada fokus lan khas kanggo operasi panen otomatis.
Masalah Sing Tansah Ngembang
Peneliti nglacak fenomena kasebut nemokake manawa laporan babagan scraping agresif iki wiwit muncul ing pungkasan taun 2024 ing Amerika Utara, Eropa, lan Oseania, lan para ahli ngandhani CBC News manawa masalah kasebut terus saya tambah. Nalika perusahaan AI balapan kanggo ngamanake data latihan sing berkualitas tinggi - lan nalika penerbit web mbukak tambah akeh mblokir crawler - kumpulan teks sing ora dijaga lan kualitase terus nyusut, lan tekanan ing institusi sing ora gelem ngunci koleksine terus mundhak.
Tekanan kasebut duwe biaya. Strykowski ujar manawa bot kasebut "nyebabake jumlah kerja lan sirah sing luar biasa kanggo saben institusi sing nindakake karya digitalisasi lan saben institusi sing nyoba nyedhiyakake informasi kanthi terbuka." Perpustakaan saiki kudu mbukak infrastruktur panyaring bot, ngoyak crawler sing kasar, lan nyerep pemadaman - mbuwang anggaran sing langka kanggo pertahanan tinimbang digitalisasi lan akses.
Hubungan Ekstraktif, Kritikus Ngomong
Ngluwihi beban teknis, episode kasebut nyegerake maneh kritik sing akrab babagan carane perusahaan AI nganggep institusi kapentingan umum. Peter Lewis, Ketua Riset Kanada ing Kecerdasan Artificial sing Dipercaya ing Universitas Tech Ontario, marang CBC pola jumlah perusahaan swasta gedhe sing nggunakake institusi umum-apik "kanthi cara sing banget extractive" - assuming materi umum gratis kanggo njupuk, banjur digunakake kanggo mbangun model Highly komersial sing didol bali menyang umum padha.
Dinamis kasebut nyebabake konflik sadurunge antarane pangembang AI lan penerbit warta, penulis, lan seniman, nanging kanthi corak: perpustakaan arang duwe departemen hukum utawa paywalls kanggo bali maneh. Tugase yaiku nyedhiyakake informasi kanthi terbuka, sing nggawe pamblokiran lalu lintas - malah lalu lintas musuhan - minangka kontradiksi langsung saka misi kasebut.
Bot Apik, Bot Elek, lan Apa Sabanjure
Laporan CBC nyathet yen ora kabeh lalu lintas otomatis dadi musuhan, lan perpustakaan mbedakake antarane crawler sing tumindak apik sing ngormati watesan tarif lan pengecualian robots.txt lan pemanen sing kurang sopan ngrusak arsip. Kesulitan iku ukuran: malah bagean saka lalu lintas kasar cukup cilik kanggo slip liwat aturan tarif individu dadi crushing nalika ewu klien koordinasi utawa muter identitas.
Institusi nanggapi kanthi macem-macem taktik - watesan tarif, sidik jari bot, mblokir jaringan scraper sing dikenal, lan ing sawetara kasus njupuk koleksi offline kabeh sajrone serangan. Ora ana sing gratis, lan kabeh mau ngrusak akses mbukak sing kasedhiya kanggo perpustakaan.
Ironi iku angel dilewati: institusi sing padha ngentekake pirang-pirang dekade digitalisasi kawruh sing direkam manungsa supaya sapa wae sing bisa maca kanthi gratis saiki didorong kanggo nutup lawang digital amarga sistem AI pengin maca kabeh sekaligus. Kepiye perpustakaan, penyandang dana, lan perusahaan AI ngatasi ketegangan kasebut - apa liwat kesepakatan lisensi, akses ganti rugi, utawa penegakan teknis sing luwih ketat - bakal mbentuk web mbukak informasi kualitas data latihan kanggo taun-taun sing bakal teka.
Saiki, wong sing kejiret ing tengah-tengah yaiku sing maca. Minangka pengalaman Seeman ing Universitas Victoria nuduhake, saben gangguan sing disebabake dening grombolan bot njupuk akses umum.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
