CBC News의 보고서에 따르면 전 세계 학술 도서관은 웹 사이트 속도를 늦추거나 충돌시키는 끊임없는 AI 데이터 수집 봇 떼와 싸우고 있습니다. AI 회사와 제3자 서비스가 대규모 언어 모델 훈련을 위한 콘텐츠를 수집하는 데 사용하는 봇은 전체 디지털 컬렉션을 오프라인으로 전환하고 도서관이 공개 액세스와 온라인 유지 중 하나를 선택하도록 강요하고 있습니다.

대상은 무작위가 아닙니다. 도서관, 박물관 및 기타 문화유산 기관은 일반적으로 페이월이나 로그인 뒤에 숨겨져 있지 않은 고품질의 검증된 정보를 대량으로 보유하고 있습니다. 이는 AI 개발자가 Claude, Gemini 및 ChatGPT와 같은 훈련 모델을 위해 높이 평가하는 깨끗하고 권위 있는 텍스트와 정확히 같습니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

오프라인 컬렉션이 중단되었습니다.

전체 아카이브에 접근할 수 없을 정도로 문제의 규모가 커졌습니다. CBC 보고서에서 빅토리아 대학 도서관의 컬렉션 및 디지털 인프라 책임자인 Dean Seeman은 "때때로 봇 트래픽이 너무 심해 사이트가 잠시 동안 완전히 다운되는 경우가 있습니다"라고 말했습니다. 그는 정전이 대중 접근에 "실제 문제"를 야기한다고 설명했습니다. 도서관 사이트가 봇 트래픽으로 인해 붕괴되면 학생, 연구원 및 일반 시민이 기계와 함께 폐쇄됩니다.

San Jose State University에서의 경험은 끊임없는 압박감 중 하나입니다. 대학의 목록 작성 및 정부 문서 책임자인 Jill Strykowski는 "그들은 인터넷에 존재하며 가능한 한 많은 자료를 확보하려고 우리에게 공격을 가하고 있습니다."라고 말했습니다. 그녀의 기관은 정부 문서 및 기타 공공 자료를 디지털화하여 스크레이퍼의 주요 공급처로 만듭니다.

보고서는 하루에 11,000건이 넘는 핀란드 음악 검색으로 압도된 한 학교에 대해 설명합니다. 이는 인간 청중이 생성할 수 없는 트래픽과 자동화된 수확 작업의 전형적인 좁은 초점의 대량 크롤링입니다.

계속해서 커지는 문제

이 현상을 추적한 연구자들은 이러한 종류의 공격적인 스크래핑에 대한 보고가 2024년 후반부터 북미, 유럽, 오세아니아 전역에서 나타나기 시작했다는 사실을 발견했으며, 전문가들은 CBC 뉴스에 그 이후로 문제가 계속 악화되고 있다고 말했습니다. AI 기업이 고품질 교육 데이터를 확보하기 위해 경쟁하고 개방형 웹 게시자가 점점 더 크롤러를 차단함에 따라 보호되지 않은 고품질 텍스트 풀은 계속 줄어들고 컬렉션 잠금을 거부하는 기관에 대한 압력은 계속 높아지고 있습니다.

그 압력에는 비용이 듭니다. Strykowski는 봇이 "디지털화 작업을 수행하는 모든 기관과 정보를 공개적으로 제공하려는 모든 기관에 엄청난 양의 작업과 골치 아픈 일을 야기하고 있다"고 말했습니다. 도서관은 이제 봇 필터링 인프라를 실행하고 악의적인 크롤러를 추적하며 중단을 흡수해야 합니다. 디지털화 및 액세스보다는 방어에 부족한 예산을 지출해야 합니다.

추출적인 관계, 비평가들의 말

기술적인 부담을 넘어서, 이 에피소드는 AI 기업이 공익 기관을 대하는 방식에 대한 친숙한 비판을 되살렸습니다. 온타리오 공과대학의 신뢰할 수 있는 인공 지능 캐나다 연구 의장인 피터 루이스는 CBC에 이러한 패턴은 대규모 민간 기업이 "매우 추출적인 방식으로" 공익 기관을 활용하는 것과 같다고 말했습니다. 즉, 공공 자료를 무료로 가져갈 수 있다고 가정한 다음 이를 사용하여 동일한 대중에게 다시 판매되는 고도로 상업적인 모델을 구축하는 것입니다.

이러한 역동성은 AI 개발자와 뉴스 출판사, 작가, 예술가 사이의 초기 갈등을 반영하지만 반전이 있습니다. 도서관에는 의지할 법률 부서나 유료 벽이 거의 없습니다. 그들의 임무는 정보를 공개적으로 제공하는 것인데, 이는 트래픽을 차단하는 것, 심지어 적대적인 트래픽일지라도 그들의 임무에 정면으로 모순되는 것입니다.

좋은 봇, 나쁜 봇, 그리고 미래

CBC 보고서는 모든 자동화된 트래픽이 적대적인 것은 아니며 도서관은 속도 제한과 robots.txt 제외를 존중하는 선의로 행동하는 크롤러와 아카이브를 망치는 훨씬 덜 정중한 수확기를 구별한다고 지적합니다. 문제는 규모입니다. 개별 요금 규칙을 통과할 만큼 작은 악의적인 트래픽의 공유라도 수천 명의 클라이언트가 ID를 조정하거나 교체하면 큰 타격을 입게 됩니다.

기관에서는 속도 제한, 봇 핑거프린팅, 알려진 스크래퍼 네트워크 차단, 경우에 따라 공격 중에 컬렉션을 완전히 오프라인으로 전환하는 등 다양한 전술을 사용하여 대응하고 있습니다. 이들 중 어느 것도 무료가 아니며, 모두 도서관이 제공하는 오픈 액세스를 저하시킵니다.

아이러니는 놓치기 어렵습니다. 인류의 기록된 지식을 디지털화하여 누구나 무료로 읽을 수 있도록 수십 년을 보낸 동일한 기관이 이제 AI 시스템이 모든 것을 한 번에 읽고 싶어하기 때문에 디지털 문을 닫도록 강요받고 있습니다. 도서관, 자금 제공자 및 AI 회사가 라이센스 거래, 보상된 액세스 또는 보다 엄격한 기술 시행을 통해 이러한 긴장을 해결하는 방법은 앞으로 수년 동안 교육 데이터 품질 정보의 개방형 웹의 모습을 형성할 것입니다.

지금은 가운데에 갇힌 사람들이 바로 독자들이다. 빅토리아 대학교에서의 Seeman의 경험에서 알 수 있듯이 봇 떼로 인해 발생하는 모든 중단으로 인해 대중의 액세스가 중단됩니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →