ספריות אקדמיות ברחבי העולם נלחמות נגד נחילים בלתי פוסקים של בוטים לגירוד נתונים בינה מלאכותית שמאטים או קורסים את אתרי האינטרנט שלהם, לפי דיווח של CBC News. הבוטים, המשמשים חברות בינה מלאכותית ושירותי צד שלישי לקצירת תוכן לאימון מודלים של שפות גדולות, דופקים אוספים דיגיטליים שלמים במצב לא מקוון ומאלצים את הספריות לבחור בין גישה פתוחה לבין הישארות מקוונת בכלל.
המטרות אינן אקראיות. ספריות, מוזיאונים ומוסדות מורשת תרבותית אחרים מחזיקים בכמויות גדולות של מידע איכותי ומסודר, שבדרך כלל אינו מוסתר מאחורי חומות תשלום או כניסות - בדיוק מסוג הטקסט הנקי והסמכותי שמפתחי בינה מלאכותית מעניקים פרס עבור אימון מודלים כמו קלוד, ג'מיני ו-ChatGPT. For more context on this story, see our ongoing AI news.
אוספים נפלו במצב לא מקוון
היקף הבעיה גדל עד לנקודה שבה ארכיונים שלמים הפכו לבלתי נגישים. "לפעמים תעבורת הבוטים נעשית כל כך גרועה שהיא גורמת לאתרים לרדת לחלוטין לזמן קצר", אמר דין סימן, מנהל אוספים ותשתיות דיגיטליות בספריות אוניברסיטת ויקטוריה, בדו"ח CBC. הוא תיאר את ההפסקות כיוצרות "בעיה אמיתית" עבור גישה ציבורית - כאשר אתר של ספרייה קורס תחת תעבורת בוטים, סטודנטים, חוקרים ואזרחים רגילים ננעלים בחוץ יחד עם המכונות.
באוניברסיטת סן חוזה סטייט, החוויה היא של לחץ מתמיד. "הם פשוט נמצאים שם באינטרנט, פשוט מפציצים אותנו בניסיון לתפוס כמה שיותר חומר", אמרה ג'יל סטריקובסקי, מובילת הקטלוג והמסמכים הממשלתיים של האוניברסיטה. המוסד שלה עושה דיגיטציה של מסמכים ממשלתיים וחומרים ציבוריים אחרים, מה שהופך אותו לשטח האכלה מעולה למגרדים.
הדו"ח מתאר בית ספר אחד שהוצף על ידי יותר מ-11,000 חיפושים על מוזיקה פינית ביום אחד - תנועה שאף קהל אנושי לא הצליח ליצור באופן סביר, וסוג של זחילה ממוקדת בנפח גבוה אופייני לפעולות קציר אוטומטיות.
בעיה שממשיכה לגדול
חוקרים שעקבו אחר התופעה גילו שדיווחים על סוג זה של גרידה אגרסיבית החלו להופיע בסוף 2024 ברחבי צפון אמריקה, אירופה ואוקיאניה, ומומחים אמרו ל-CBC News כי הבעיה המשיכה להחמיר מאז. ככל שחברות בינה מלאכותית דוהרות לאבטח נתוני הכשרה באיכות גבוהה - וככל שהמפרסמים של הרשת הפתוחה חוסמים יותר ויותר סורקים - מאגרי הטקסט האיכותי והלא מאובטח ממשיכים להתכווץ, והלחץ על מוסדות שמסרבים לנעול את האוספים שלהם ממשיך לעלות.
ללחץ הזה יש מחיר. סטריקובסקי אמר שהבוטים "גורמים לכמות מדהימה של עבודה וכאב ראש לכל מוסד שעושה עבודת דיגיטציה ולכל מוסד שמנסה להפוך מידע לזמין בגלוי". ספריות חייבות כעת להפעיל תשתית לסינון בוטים, לרדוף אחרי סורקים פוגעניים ולספוג הפסקות - להוציא תקציב דל על הגנה ולא על דיגיטציה וגישה.
מערכת יחסים מוחצת, אומרים המבקרים
מעבר לנטל הטכני, הפרק עורר מחדש ביקורת מוכרת על האופן שבו חברות בינה מלאכותית מתייחסות למוסדות בעלי אינטרס ציבורי. פיטר לואיס, יו"ר מחקר קנדה לבינה מלאכותית מהימנה באוניברסיטת אונטריו טק, אמר ל-CBC שהדפוס מסתכם בכך שחברות פרטיות גדולות עושות שימוש במוסדות של טוב משותף "באופן שהוא מאוד מחלץ" - בהנחה שחומר ציבורי בחינם, ואז משתמש בו כדי לבנות מודלים מסחריים מאוד שנמכרים בחזרה לאותו ציבור.
הדינמיקה מהדהדת קונפליקטים קודמים בין מפתחי בינה מלאכותית לבין מפרסמי חדשות, סופרים ואמנים, אבל עם טוויסט: לספריות יש רק לעתים רחוקות מחלקות משפטיות או חומות תשלום שאפשר לחזור עליהן. המנדט שלהם הוא להפוך מידע לזמין בגלוי, מה שהופך חסימת תנועה - אפילו תנועה עוינת - לסתירה ישירה למשימתם.
בוטים טובים, בוטים רעים ומה שיבוא אחר כך
הדו"ח של CBC מציין שלא כל התעבורה האוטומטית היא עוינת, וספריות אכן מבחינות בין סורקים מתנהגים היטב שמכבדים את מגבלות הקצב והחרגות של robots.txt לבין הקוצרים הפחות מנומסים שפוגעים בארכיונים שלהם. הקושי הוא בקנה מידה: אפילו נתח של תנועה פוגענית קטן מספיק כדי לחמוק מעבר לכללי תעריפים בודדים הופך למוחץ כאשר אלפי לקוחות מתאמים או מחליפים זהויות.
מוסדות מגיבים בשילוב של טקטיקות - הגבלת קצב, טביעת אצבע של בוט, חסימת רשתות מגרד ידועות, ובמקרים מסוימים הוצאת אוספים באופן לא מקוון לחלוטין במהלך התקפות. אף אחד מאלה אינו חינמי, וכולם פוגעים בגישה הפתוחה שקיימות ספריות כדי לספק.
קשה לפספס את האירוניה: אותם מוסדות שהשקיעו עשרות שנים בדיגיטציה של הידע המוקלט של האנושות כך שכל אחד יוכל לקרוא אותו בחינם, נדחפים כעת לסגור את הדלתות הדיגיטליות שלהם, כי מערכות בינה מלאכותית רוצות לקרוא הכל בבת אחת. האופן שבו ספריות, מממנים וחברות בינה מלאכותית יפתרו את המתח הזה - בין אם באמצעות עסקאות רישוי, גישה מתוגמלת או אכיפה טכנית מחמירה יותר - יעצבו כיצד ייראה הרשת הפתוחה של מידע באיכות אימון-נתונים לשנים הבאות.
לעת עתה, האנשים שנתפסו באמצע הם הקוראים. כפי שמראה הניסיון של סימן באוניברסיטת ויקטוריה, כל הפסקה הנגרמת על ידי נחיל בוטים מורידה את הגישה הציבורית איתו.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
