ห้องสมุดวิชาการทั่วโลกกำลังต่อสู้กับบอทขูดข้อมูล AI จำนวนมากที่ทำให้เว็บไซต์ช้าลงหรือพัง ตามรายงานของ CBC News บอทที่ใช้โดยบริษัท AI และบริการของบุคคลที่สามเพื่อรวบรวมเนื้อหาสำหรับการฝึกโมเดลภาษาขนาดใหญ่ กำลังทำให้คอลเลกชันดิจิทัลทั้งหมดออฟไลน์ และบังคับให้ห้องสมุดเลือกระหว่างการเข้าถึงแบบเปิดและการออนไลน์อยู่เลย

เป้าหมายไม่ได้สุ่ม ห้องสมุด พิพิธภัณฑ์ และสถาบันมรดกทางวัฒนธรรมอื่นๆ เก็บข้อมูลคุณภาพที่ผ่านการตรวจสอบแล้วจำนวนมาก ซึ่งโดยทั่วไปไม่ได้ซ่อนอยู่หลังเพย์วอลล์หรือการเข้าสู่ระบบ ซึ่งเป็นข้อความที่ดูสะอาดตาและเชื่อถือได้ซึ่งนักพัฒนา AI ให้รางวัลสำหรับโมเดลการฝึกอบรม เช่น Claude, Gemini และ ChatGPT For more context on this story, see our ongoing breaking AI news.

คอลเลกชันล้มออฟไลน์

ขนาดของปัญหาขยายใหญ่ขึ้นจนไม่สามารถเข้าถึงเอกสารสำคัญทั้งหมดได้ “บางครั้งปริมาณการใช้บอทก็แย่มากจนทำให้ไซต์ล่มอย่างสมบูรณ์ชั่วระยะเวลาหนึ่ง” Dean Seeman ผู้อำนวยการฝ่ายคอลเลกชันและโครงสร้างพื้นฐานดิจิทัลของห้องสมุดมหาวิทยาลัย Victoria กล่าวในรายงานของ CBC เขาอธิบายว่าการหยุดทำงานดังกล่าวเป็นการสร้าง "ปัญหาที่แท้จริง" สำหรับการเข้าถึงของสาธารณะ เมื่อไซต์ของห้องสมุดพังทลายลงเนื่องจากการรับส่งข้อมูลของบอท นักศึกษา นักวิจัย และประชาชนทั่วไปจะถูกล็อคพร้อมกับเครื่องจักร

ที่ San Jose State University ประสบการณ์ถือเป็นความกดดันอย่างต่อเนื่อง “พวกเขาแค่ออกไปข้างนอกบนอินเทอร์เน็ต แค่โจมตีพวกเราด้วยการพยายามหยิบเอกสารให้ได้มากที่สุด” จิลล์ สไตรโคว์สกี้ หัวหน้าฝ่ายบัญชีรายชื่อและเอกสารของรัฐบาลของมหาวิทยาลัยกล่าว สถาบันของเธอแปลงเอกสารของรัฐบาลและสื่อสาธารณะอื่นๆ ให้เป็นดิจิทัล ทำให้เป็นแหล่งป้อนอาหารที่สำคัญสำหรับผู้ขูด

รายงานนี้อธิบายถึงโรงเรียนแห่งหนึ่งที่เต็มไปด้วยการค้นหาเพลงฟินแลนด์มากกว่า 11,000 ครั้งในวันเดียว การเข้าชมที่ไม่มีผู้ฟังคนใดสามารถสร้างขึ้นได้ และการรวบรวมข้อมูลปริมาณมากที่เน้นแคบและปริมาณมากตามแบบฉบับของการดำเนินการเก็บเกี่ยวอัตโนมัติ

ปัญหาที่เพิ่มมากขึ้นเรื่อยๆ

นักวิจัยที่ติดตามปรากฏการณ์นี้พบว่ารายงานของการขูดอย่างรุนแรงประเภทนี้เริ่มปรากฏขึ้นในช่วงปลายปี 2024 ทั่วทั้งอเมริกาเหนือ ยุโรป และโอเชียเนีย และผู้เชี่ยวชาญบอกกับ CBC News ว่าปัญหายังคงแย่ลงเรื่อยๆ นับตั้งแต่นั้นเป็นต้นมา ในขณะที่บริษัท AI แข่งขันกันเพื่อรักษาความปลอดภัยข้อมูลการฝึกอบรมคุณภาพสูง และในขณะที่ผู้เผยแพร่เว็บแบบเปิดบล็อกโปรแกรมรวบรวมข้อมูลมากขึ้น กลุ่มของข้อความคุณภาพสูงที่ไม่มีการรักษาความปลอดภัยก็ลดน้อยลง และความกดดันต่อสถาบันที่ปฏิเสธที่จะล็อคคอลเลกชันของพวกเขาก็เพิ่มขึ้นเรื่อยๆ

ความกดดันนั้นมีค่าใช้จ่าย Strykowski กล่าวว่าบอทกำลัง "ทำให้เกิดงานและความปวดหัวอย่างไม่น่าเชื่อสำหรับทุกสถาบันที่ทำงานด้านดิจิทัลและทุกสถาบันที่พยายามเปิดเผยข้อมูลอย่างเปิดเผย" ขณะนี้ห้องสมุดต้องใช้โครงสร้างพื้นฐานที่กรองบอท ติดตามโปรแกรมรวบรวมข้อมูลที่ไม่เหมาะสม และดูดซับการขัดข้อง โดยใช้งบประมาณที่จำกัดในการป้องกัน แทนที่จะแปลงเป็นดิจิทัลและการเข้าถึง

ความสัมพันธ์ที่ลึกซึ้ง นักวิจารณ์กล่าว

นอกเหนือจากภาระด้านเทคนิคแล้ว ตอนนี้ยังได้รื้อฟื้นคำวิพากษ์วิจารณ์ที่คุ้นเคยเกี่ยวกับวิธีที่บริษัท AI ปฏิบัติต่อสถาบันเพื่อสาธารณประโยชน์ Peter Lewis ประธานฝ่ายวิจัยของแคนาดาด้านปัญญาประดิษฐ์ที่น่าเชื่อถือที่มหาวิทยาลัยเทคโนโลยีออนแทรีโอ บอกกับ CBC ว่ารูปแบบนี้เหมือนกับบริษัทเอกชนขนาดใหญ่ที่ใช้สถาบันที่มีผลประโยชน์ร่วมกัน "ในลักษณะที่ใช้ประโยชน์ได้มาก" โดยสมมติว่าสื่อสาธารณะนั้นฟรีสำหรับนำไปใช้ จากนั้นจึงใช้มันเพื่อสร้างโมเดลเชิงพาณิชย์ระดับสูงที่ขายคืนสู่สาธารณะกลุ่มเดียวกัน

การเปลี่ยนแปลงดังกล่าวสะท้อนถึงความขัดแย้งก่อนหน้านี้ระหว่างนักพัฒนา AI และผู้เผยแพร่ข่าว ผู้เขียน และศิลปิน แต่มีข้อแตกต่างคือ ห้องสมุดแทบจะไม่มีแผนกกฎหมายหรือ paywall ที่จะถอยกลับ หน้าที่ของพวกเขาคือการเผยแพร่ข้อมูลอย่างเปิดเผย ซึ่งทำให้การปิดกั้นการจราจร แม้กระทั่งการจราจรที่ไม่เป็นมิตร ถือเป็นความขัดแย้งโดยตรงต่อภารกิจของพวกเขา

บอทที่ดี บอทที่ไม่ดี และอะไรจะเกิดขึ้นต่อไป

รายงานของ CBC ตั้งข้อสังเกตว่าการรับส่งข้อมูลอัตโนมัติบางประเภทไม่เป็นมิตร และห้องสมุดก็แยกความแตกต่างระหว่างโปรแกรมรวบรวมข้อมูลที่มีพฤติกรรมดีซึ่งเคารพขีดจำกัดอัตราและการยกเว้นของ robots.txt และผู้เก็บเกี่ยวที่สุภาพน้อยกว่ามากที่ทุบไฟล์เก็บถาวรของตน ความยากอยู่ที่ขนาด: แม้แต่ส่วนแบ่งของการรับส่งข้อมูลที่ไม่เหมาะสมซึ่งน้อยพอที่จะผ่านกฎอัตราส่วนบุคคลจะถูกทำลายลงเมื่อลูกค้าหลายพันรายประสานงานหรือหมุนเวียนข้อมูลระบุตัวตน

สถาบันต่างๆ ตอบสนองด้วยกลวิธีต่างๆ มากมาย เช่น การจำกัดอัตรา การพิมพ์ลายนิ้วมือของบอท การบล็อกเครือข่ายสเครปเปอร์ที่รู้จัก และในบางกรณีทำให้คอลเลกชันออฟไลน์โดยสิ้นเชิงระหว่างการโจมตี สิ่งเหล่านี้ไม่ได้ฟรี และทั้งหมดนี้ลดระดับการเข้าถึงแบบเปิดที่ห้องสมุดมีอยู่

การเหน็บแนมนั้นยากที่จะพลาด: สถาบันเดียวกับที่ใช้เวลาหลายทศวรรษในการแปลงความรู้ที่บันทึกไว้ของมนุษยชาติให้เป็นดิจิทัล เพื่อให้ใครก็ตามสามารถอ่านได้ฟรี ขณะนี้ถูกผลักดันให้ปิดประตูดิจิทัลของตน เนื่องจากระบบ AI ต้องการอ่านทุกอย่างในคราวเดียว วิธีที่ห้องสมุด ผู้ให้ทุน และบริษัท AI แก้ไขความตึงเครียดนั้น ไม่ว่าจะผ่านข้อตกลงใบอนุญาต การเข้าถึงที่มีการชดเชย หรือการบังคับใช้ทางเทคนิคที่เข้มงวดมากขึ้น จะกำหนดรูปแบบเว็บเปิดของข้อมูลคุณภาพข้อมูลการฝึกอบรมในปีต่อ ๆ ไป

สำหรับตอนนี้คนที่ติดอยู่ตรงกลางคือผู้อ่าน ดังที่ประสบการณ์ของ Seeman ที่มหาวิทยาลัย Victoria แสดงให้เห็น การหยุดทำงานทุกครั้งที่เกิดจากฝูงบอทจะทำให้การเข้าถึงของสาธารณะลดลงไปด้วย

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →