Bibliotecile academice din întreaga lume luptă împotriva roiurilor necruțătoare de roboți de răzuire a datelor AI care încetinesc sau blochează site-urile lor, potrivit unui raport al CBC News. Boții, utilizați de companiile de inteligență artificială și de servicii terțe pentru a colecta conținut pentru formarea modelelor de limbi mari, scot offline colecții digitale întregi și forțează bibliotecile să aleagă între acces deschis și rămâne online.
Țintele nu sunt aleatorii. Bibliotecile, muzeele și alte instituții de patrimoniu cultural dețin volume mari de informații de calitate, verificate, care, în general, nu sunt ascunse în spatele pereților de plată sau a autentificărilor - exact tipul de text curat și autorizat pe care dezvoltatorii AI îl premiază pentru modele de formare precum Claude, Gemini și ChatGPT. For more context on this story, see our ongoing breaking AI news.
Colecții eliminate offline
Amploarea problemei a crescut până la punctul în care arhive întregi devin inaccesibile. „Uneori, traficul de bot devine atât de rău încât face ca site-urile să cadă complet pentru o perioadă de timp”, a declarat Dean Seeman, director de colecții și infrastructură digitală la University of Victoria Libraries, în raportul CBC. El a descris întreruperile ca creând o „problemă reală” pentru accesul public - atunci când site-ul unei biblioteci se prăbușește sub traficul bot, studenții, cercetătorii și cetățenii obișnuiți sunt blocați împreună cu mașinile.
La Universitatea de Stat din San Jose, experiența este una de presiune constantă. „Sunt doar acolo pe internet, doar ne bombardează încercând să obținem cât mai mult material posibil”, a spus Jill Strykowski, directorul de catalogare și documente guvernamentale a universității. Instituția ei digitalizează documente guvernamentale și alte materiale publice, făcându-l un loc de alimentare excelent pentru raclete.
Raportul descrie o școală care a fost copleșită de peste 11.000 de căutări pe muzică finlandeză într-o singură zi – trafic pe care niciun public uman nu l-ar putea genera în mod plauzibil și tipul de accesare îngust, de volum mare, tipic operațiunilor de recoltare automată.
O problemă care continuă să crească
Cercetătorii care urmăresc fenomenul au descoperit că rapoartele despre acest tip de răzuire agresivă au început să apară la sfârșitul anului 2024 în America de Nord, Europa și Oceania, iar experții au declarat pentru CBC News că problema a continuat să se agraveze de atunci. Pe măsură ce companiile de inteligență artificială se întrec pentru a securiza date de formare de înaltă calitate – și pe măsură ce editorii de pe web deschisă blochează din ce în ce mai mult crawlerele – fondurile de text nepăzite, de înaltă calitate, continuă să se micșoreze, iar presiunea asupra instituțiilor care refuză să-și blocheze colecțiile continuă să crească.
Acea presiune are un cost. Strykowski a spus că roboții „provoacă o cantitate incredibilă de muncă și dureri de cap pentru fiecare instituție care face lucrări de digitalizare și pentru fiecare instituție care încearcă să facă informațiile disponibile în mod deschis”. Bibliotecile trebuie acum să ruleze infrastructură de filtrare a bot-ului, să urmărească crawlerele abuzive și să absoarbă întreruperi - cheltuind bugetul limitat pentru apărare, mai degrabă decât pentru digitalizare și acces.
O relație extractivă, spun criticii
Dincolo de povara tehnică, episodul a reînviat o critică familiară asupra modului în care companiile de inteligență artificială tratează instituțiile de interes public. Peter Lewis, Catedra de Cercetare Canada în Inteligență Artificială de încredere la Universitatea Tech Ontario, a declarat pentru CBC că modelul echivalează cu marile companii private care folosesc instituții de bun comun „într-un mod foarte extractiv” – presupunând că materialul public este gratuit pentru a fi preluat, apoi îl folosesc pentru a construi modele foarte comerciale care sunt vândute înapoi aceluiași public.
Dinamica reflectă conflictele anterioare dintre dezvoltatorii AI și editorii de știri, autori și artiști, dar cu o întorsătură: bibliotecile rareori au departamente juridice sau wallwall-uri la care să se întoarcă. Mandatul lor este de a face informațiile disponibile în mod deschis, ceea ce face ca blocarea traficului – chiar și a traficului ostil – o contradicție directă a misiunii lor.
Boți buni, boți răi și ce urmează
Raportul CBC notează că nu tot traficul automatizat este ostil, iar bibliotecile fac distincția între crawlerele bine comportate, care respectă limitele de rată și excluderile robots.txt și recoltatorii mult mai puțin politicoși care își bat arhivele. Dificultatea este de amploare: chiar și o parte a traficului abuziv suficient de mică pentru a trece peste regulile individuale ale tarifelor devine zdrobitoare atunci când mii de clienți coordonează sau rotesc identitățile.
Instituțiile răspund printr-o combinație de tactici - limitarea ratei, amprentarea botului, blocarea rețelelor scraper cunoscute și, în unele cazuri, scoaterea completă a colecțiilor offline în timpul atacurilor. Niciuna dintre acestea nu este gratuită și toate degradează accesul deschis pe care bibliotecile există pentru a-l oferi.
Ironia este greu de ratat: aceleași instituții care au petrecut zeci de ani digitalizând cunoștințele înregistrate ale umanității, astfel încât oricine să le poată citi gratuit, sunt acum forțate să-și închidă ușile digitale, deoarece sistemele AI vor să citească totul deodată. Modul în care bibliotecile, finanțatorii și companiile de inteligență artificială rezolvă această tensiune – fie prin acorduri de licență, acces compensat sau aplicare tehnică mai strictă – va modela modul în care va arăta rețeaua deschisă de informații de calitate a datelor de formare pentru anii următori.
Deocamdată, oamenii prinși la mijloc sunt cititorii. După cum arată experiența lui Seeman de la Universitatea Victoria, fiecare întrerupere cauzată de un roi de roboți reduce accesul publicului.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
