Perpustakaan akademis di seluruh dunia terus berjuang melawan bot pengikis data AI yang memperlambat atau merusak situs web mereka, menurut laporan CBC News. Bot, yang digunakan oleh perusahaan AI dan layanan pihak ketiga untuk mengumpulkan konten guna melatih model bahasa besar, membuat seluruh koleksi digital menjadi offline dan memaksa perpustakaan untuk memilih antara akses terbuka atau tetap online.
Sasarannya tidak sembarangan. Perpustakaan, museum, dan lembaga warisan budaya lainnya menyimpan sejumlah besar informasi berkualitas dan terverifikasi yang umumnya tidak tersembunyi di balik paywall atau login — jenis teks yang bersih dan otoritatif yang dihargai oleh pengembang AI untuk model pelatihan seperti Claude, Gemini, dan ChatGPT. For more context on this story, see our ongoing AI news.
Koleksi Diketuk Offline
Skala masalahnya telah berkembang hingga seluruh arsip menjadi tidak dapat diakses. “Kadang-kadang lalu lintas bot menjadi sangat buruk sehingga menyebabkan situs-situs tersebut tidak aktif untuk sementara waktu,” kata Dean Seeman, direktur koleksi dan infrastruktur digital di Perpustakaan Universitas Victoria, dalam laporan CBC. Dia menggambarkan pemadaman ini sebagai sebuah "masalah nyata" bagi akses publik - ketika situs perpustakaan runtuh karena lalu lintas bot, mahasiswa, peneliti, dan warga biasa terkunci bersama dengan mesin-mesin tersebut.
Di San Jose State University, pengalaman merupakan salah satu tekanan yang terus-menerus. “Mereka ada di internet, hanya membombardir kita dengan upaya mengambil materi sebanyak mungkin,” kata Jill Strykowski, pimpinan katalogisasi dan dokumen pemerintah di universitas tersebut. Lembaganya mendigitalkan dokumen pemerintah dan materi publik lainnya, menjadikannya tempat utama bagi para pengikis.
Laporan tersebut menggambarkan sebuah sekolah yang kewalahan dengan lebih dari 11.000 penelusuran musik Finlandia dalam satu hari – lalu lintas yang tidak dapat dihasilkan oleh penonton manusia, dan jenis perayapan dengan fokus sempit dan bervolume tinggi yang merupakan tipikal operasi pemanenan otomatis.
Masalah yang Terus Berkembang
Para peneliti yang melacak fenomena tersebut menemukan bahwa laporan mengenai tindakan pengikisan agresif ini mulai muncul pada akhir tahun 2024 di seluruh Amerika Utara, Eropa, dan Oseania, dan para ahli mengatakan kepada CBC News bahwa masalahnya terus bertambah buruk sejak saat itu. Ketika perusahaan-perusahaan AI berlomba untuk mengamankan data pelatihan berkualitas tinggi – dan ketika penerbit web terbuka semakin banyak memblokir crawler – kumpulan teks berkualitas tinggi yang tidak dijaga terus menyusut, dan tekanan terhadap institusi yang menolak untuk mengunci koleksi mereka terus meningkat.
Tekanan itu ada konsekuensinya. Strykowski mengatakan bot tersebut "menyebabkan banyak sekali pekerjaan dan sakit kepala bagi setiap institusi yang melakukan pekerjaan digitalisasi dan setiap institusi yang mencoba membuat informasi tersedia secara terbuka." Perpustakaan kini harus menjalankan infrastruktur pemfilteran bot, mengejar crawler yang melakukan pelanggaran, dan mengatasi pemadaman listrik — menghabiskan anggaran yang terbatas untuk pertahanan dibandingkan digitalisasi dan akses.
Hubungan Ekstraktif, Kata Kritikus
Di luar beban teknis, episode ini telah menghidupkan kembali kritik yang sudah lazim mengenai cara perusahaan AI memperlakukan lembaga-lembaga kepentingan publik. Peter Lewis, Ketua Riset Kecerdasan Buatan yang Dapat Dipercaya Kanada di Ontario Tech University, mengatakan kepada CBC bahwa pola tersebut sama dengan perusahaan swasta besar yang memanfaatkan lembaga-lembaga yang memiliki kepentingan bersama "dengan cara yang sangat ekstraktif" - dengan asumsi materi publik bebas untuk diambil, kemudian menggunakannya untuk membangun model yang sangat komersial yang dijual kembali ke publik yang sama.
Dinamika ini mirip dengan konflik yang terjadi sebelumnya antara pengembang AI dan penerbit berita, penulis, dan artis, namun dengan hal yang berbeda: perpustakaan jarang memiliki departemen hukum atau paywall sebagai sandaran. Mandat mereka adalah untuk membuat informasi tersedia secara terbuka, yang menjadikan pemblokiran lalu lintas – bahkan lalu lintas yang tidak bersahabat – merupakan kontradiksi langsung dengan misi mereka.
Bot Baik, Bot Buruk, dan Yang Berikutnya
Laporan CBC mencatat bahwa tidak semua lalu lintas otomatis bersifat bermusuhan, dan perpustakaan membedakan antara perayap yang berperilaku baik yang menghormati batas kecepatan dan pengecualian robots.txt, dan perayap yang kurang sopan yang membobol arsip mereka. Kesulitannya terletak pada skala: bahkan sebagian kecil lalu lintas yang melanggar peraturan tarif individual akan menjadi sangat buruk ketika ribuan klien mengoordinasikan atau merotasi identitas.
Institusi-institusi merespons dengan berbagai taktik – pembatasan tarif, sidik jari bot, pemblokiran jaringan scraper yang dikenal, dan dalam beberapa kasus menjadikan koleksi offline seluruhnya selama serangan. Tidak ada satupun yang gratis, dan semuanya menurunkan akses terbuka yang disediakan oleh perpustakaan.
Ironisnya, lembaga-lembaga yang telah menghabiskan puluhan tahun mendigitalkan pengetahuan umat manusia sehingga siapa pun dapat membacanya secara gratis kini terpaksa menutup pintu digital mereka karena sistem AI ingin membaca semuanya sekaligus. Cara perpustakaan, penyandang dana, dan perusahaan AI mengatasi ketegangan tersebut – baik melalui kesepakatan lisensi, akses berkompensasi, atau penegakan teknis yang lebih ketat – akan membentuk jaringan terbuka informasi berkualitas data pelatihan di tahun-tahun mendatang.
Untuk saat ini, orang-orang yang berada di tengah-tengah adalah para pembaca. Seperti yang ditunjukkan oleh pengalaman Seeman di Universitas Victoria, setiap pemadaman listrik yang disebabkan oleh gerombolan bot akan mengakibatkan akses publik ikut terhenti.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
