Perpustakaan akademik di seluruh dunia sedang melawan segerombolan bot pengikis data AI yang melambatkan atau merosakkan tapak web mereka, menurut laporan oleh CBC News. Bot, yang digunakan oleh syarikat AI dan perkhidmatan pihak ketiga untuk menuai kandungan untuk melatih model bahasa besar, mengetuk keseluruhan koleksi digital ke luar talian dan memaksa perpustakaan memilih antara akses terbuka dan kekal dalam talian sama sekali.
Sasarannya bukan sembarangan. Perpustakaan, muzium dan institusi warisan budaya lain menyimpan sejumlah besar maklumat yang berkualiti dan disemak yang biasanya tidak tersembunyi di sebalik dinding berbayar atau log masuk — persis jenis teks bersih dan berwibawa yang dihadiahkan oleh pembangun AI untuk model latihan seperti Claude, Gemini dan ChatGPT. For more context on this story, see our ongoing AI trends.
Koleksi Ditubuhkan Luar Talian
Skala masalah telah berkembang ke tahap di mana keseluruhan arkib menjadi tidak boleh diakses. "Kadangkala trafik bot menjadi sangat teruk sehingga menyebabkan tapak turun sepenuhnya untuk seketika," kata Dean Seeman, pengarah koleksi dan infrastruktur digital di Perpustakaan Universiti Victoria, dalam laporan CBC. Dia menyifatkan gangguan itu sebagai mewujudkan "masalah sebenar" untuk akses awam — apabila tapak perpustakaan runtuh di bawah trafik bot, pelajar, penyelidik dan rakyat biasa dikunci keluar bersama-sama mesin.
Di San Jose State University, pengalaman adalah salah satu tekanan berterusan. "Mereka hanya di luar sana di internet, hanya membombardir kami dengan cuba merebut sebanyak mungkin bahan," kata Jill Strykowski, ketua pengkatalogan universiti dan dokumen kerajaan. Institusinya mendigitalkan dokumen kerajaan dan bahan awam lain, menjadikannya tempat makan utama untuk pengikis.
Laporan itu menerangkan satu sekolah yang ditimpa lebih 11,000 carian pada muzik Finland dalam satu hari — trafik yang tidak boleh dijana oleh khalayak manusia, dan jenis rangkak berfokus sempit dan volum tinggi yang tipikal dalam operasi penuaian automatik.
Masalah Yang Terus Berkembang
Penyelidik yang menjejaki fenomena itu mendapati bahawa laporan pengikisan agresif jenis ini mula muncul pada akhir 2024 di seluruh Amerika Utara, Eropah dan Oceania, dan pakar memberitahu CBC News masalah itu terus bertambah buruk sejak itu. Ketika syarikat AI berlumba-lumba untuk mendapatkan data latihan berkualiti tinggi — dan apabila penerbit web terbuka semakin menyekat perangkak — kumpulan teks berkualiti tinggi yang tidak dikawal terus mengecut, dan tekanan terhadap institusi yang enggan mengunci koleksi mereka terus meningkat.
Tekanan itu mempunyai kos. Strykowski berkata bot itu "menyebabkan jumlah kerja yang luar biasa dan sakit kepala bagi setiap institusi yang melakukan kerja pendigitalan dan setiap institusi yang cuba menyediakan maklumat secara terbuka." Perpustakaan kini mesti menjalankan infrastruktur penapisan bot, mengejar perangkak yang kesat dan menyerap gangguan — membelanjakan belanjawan yang terhad untuk pertahanan berbanding pendigitalan dan akses.
Hubungan Ekstraktif, Kata Pengkritik
Di sebalik beban teknikal, episod itu telah menghidupkan semula kritikan biasa tentang cara syarikat AI melayan institusi berkepentingan awam. Peter Lewis, Pengerusi Penyelidikan Kanada dalam Kecerdasan Buatan Dipercayai di Universiti Teknologi Ontario, memberitahu CBC bahawa corak itu sama dengan syarikat swasta besar yang menggunakan institusi kebaikan bersama "dengan cara yang sangat ekstraktif" — dengan mengandaikan bahan awam adalah percuma untuk diambil, kemudian menggunakannya untuk membina model yang sangat komersial yang dijual kembali kepada orang ramai yang sama.
Dinamik menggemakan konflik terdahulu antara pembangun AI dan penerbit berita, pengarang dan artis, tetapi dengan kelainan: perpustakaan jarang mempunyai jabatan undang-undang atau paywall untuk digunakan semula. Mandat mereka adalah untuk menyediakan maklumat secara terbuka, yang menjadikan menyekat lalu lintas - malah lalu lintas yang bermusuhan - satu percanggahan langsung terhadap misi mereka.
Bot Baik, Bot Buruk dan Perkara Seterusnya
Laporan CBC menyatakan bahawa tidak semua trafik automatik bermusuhan, dan perpustakaan membezakan antara perangkak berkelakuan baik yang menghormati had kadar dan pengecualian robots.txt dan penuai yang kurang sopan memalu arkib mereka. Kesukarannya adalah berskala: walaupun sebahagian daripada trafik kesat yang cukup kecil untuk melepasi peraturan kadar individu menjadi hancur apabila beribu-ribu pelanggan menyelaraskan atau memutarkan identiti.
Institusi bertindak balas dengan gabungan taktik — mengehadkan kadar, cap jari bot, menyekat rangkaian pengikis yang diketahui dan dalam beberapa kes mengambil koleksi di luar talian sepenuhnya semasa serangan. Tiada satu pun daripada ini percuma, dan kesemuanya merendahkan akses terbuka yang disediakan oleh perpustakaan.
Ironinya sukar untuk dilepaskan: institusi yang sama yang menghabiskan beberapa dekad mendigitalkan pengetahuan manusia yang direkodkan supaya sesiapa sahaja boleh membacanya secara percuma kini didesak untuk menutup pintu digital mereka kerana sistem AI mahu membaca semuanya sekaligus. Cara perpustakaan, pembiaya dan syarikat AI menyelesaikan ketegangan itu - sama ada melalui perjanjian pelesenan, akses berbayar atau penguatkuasaan teknikal yang lebih ketat - akan membentuk rupa web terbuka maklumat kualiti data latihan untuk tahun-tahun akan datang.
Buat masa ini, orang yang terperangkap di tengah-tengah adalah pembaca. Seperti yang ditunjukkan oleh pengalaman Seeman di Universiti Victoria, setiap gangguan yang disebabkan oleh segerombolan bot mengurangkan akses awam dengannya.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
