훈련 데이터에 대한 AI 업계의 끝없는 욕구에 대한 보다 독창적인 조사 중 하나에서 404 Media의 언론인들은 AI 훈련을 위해 구입할 것으로 의심되는 희귀 도서 선적 안에 추적 장치를 배치했습니다. 그리고 이를 추적하여 전국에 걸쳐 라스베거스에 있는 Amazon 시설로 이동했으며, 아울렛 보고서에 따르면 서적은 스캔되고 파기되었습니다.

404 Media 창립 편집자 Emanuel Maiberg가 월요일에 발표한 이 기사에서는 목적지가 라스베이거스에 있는 Amazon의 VGT3 시설이라고 밝혔습니다. 조사에 따르면 아마존은 대량의 책을 구입해 AI 훈련 데이터를 스캔하고 그 과정에서 물리적 볼륨을 파괴해 왔다. 이 작업은 이전에 보고된 적이 없다고 아울렛은 전했다.

이번 연구 결과는 몇 달 동안 조용히 서점과 기록 보관소를 괴롭혀온 관행에 새로운 이름을 추가했으며, 대중의 관심이 AI 기업이 실제로 데이터를 얻는 곳으로 점점 더 쏠리면서 도착했습니다. AI Buzz Wire에서 훈련-데이터 전쟁에 대한 지속적인 보도를 팔로우하세요.

책 상자 속 추적 장치

조사의 방법론이 주목할만한 점입니다. 404 미디어는 문서나 인터뷰에 의존하는 대신 해당 매장이 AI 회사에 인수될 것으로 의심되는 희귀 도서 선적에 GPS 추적기를 내장한 다음 패키지가 최종 목적지까지 이동하는 과정을 모니터링했습니다.

해당 목적지(Amazon의 VGT3 시설)는 보고서에서 Amazon이 책에서 AI 훈련 데이터를 검색하는 사이트로 설명되어 있습니다. 구매 작업 및 규모를 자세히 설명하는 전체 조사는 404 미디어 구독자에게 제공됩니다.

이 이야기는 월요일 Hacker News의 첫 페이지에 게재된 후 개발자 및 기술 정책계를 통해 빠르게 퍼졌습니다. 그곳에서 논평자들은 상용 AI 시스템을 훈련하기 위해 희귀 도서를 파기하는 것의 문화적, 법적 의미에 대해 토론했습니다.

Amazon이 성장하는 목록에 합류

이 보고서는 AI 시대 실제 책의 운명을 둘러싼 광범위한 논란의 최신 장이다. 올 여름 초, 서점과 연구원들은 AI 회사들이 수십만 권의 골동품 및 절판 도서를 구매하여 훈련 데이터 세트에 입력하고 실제 사본을 파기하는 방법을 문서화했습니다. 실무 비평가들은 이를 산업 규모의 문화 유산 삭제라고 설명합니다.

새로운 보고의 차별점은 특정 시설, 특정 회사, 특정 공급망을 명명한다는 것입니다. 지금까지 대부분의 논의는 서점의 총체적인 주장과 법원 서류에 의존했습니다. 추적된 배송은 희귀 도서 상자, 구매자 및 건물 등 구체적인 데이터 포인트를 제공합니다.

훈련 데이터 수요가 계속 증가하는 이유

이러한 관행의 경제성은 간단합니다. Frontier AI 모델은 공개 웹에서 쉽게 사용할 수 있는 고품질 텍스트의 대부분을 소비한 것으로 널리 보고되어 기업은 도서, 아카이브, 라이센스가 있는 말뭉치 등 접근하기 어려운 소스를 찾도록 유도합니다. 희귀하고 절판된 책은 웹에서 스크랩한 표준 데이터 세트에 나타날 가능성이 거의 없기 때문에 매력적입니다.

비평가들에게 수요를 충족시키기 위해 실제 서적을 파괴하는 것은 업계와 인간 문화의 추출적 관계, 즉 프로세스에서 손실되는 내용에 관계없이 채굴할 자원으로서의 데이터의 상징이 되었습니다. 관련 회사의 경우, 디지털화된 책은 특히 훈련 데이터에 대한 저작권 소송이 여러 관할권을 통해 진행되고 있기 때문에 법원과 입법자가 여전히 분류하고 있는 법적 회색 지대를 나타냅니다.

스캐닝이나 디지털화 자체는 파괴를 필요로 하지 않습니다. 출판사와 기록 보관인은 파괴가 비용 절감 조치인 것으로 보인다고 말합니다. 왜냐하면 물리적 볼륨을 저장하는 것이 콘텐츠가 캡처된 후 펄프화하는 것보다 더 비싸기 때문입니다.

보존 문제

기록 보관인들은 오랫동안 디지털화가 보존이 아니라고 주장해 왔습니다. 스캔은 책의 텍스트를 캡처하지만 책의 여백, 바인딩 역사, 물질적 특성, 즉 희귀한 책을 단어의 컨테이너가 아닌 역사적인 유물로 만드는 기능은 캡처하지 않습니다. 스캔 후 실제 사본을 파기하면 향후 검토가 불가능하며, 디지털 파일과 달리 펄프 도서는 이미징 기술이 발전함에 따라 다시 스캔할 수 없습니다.

도서 거래의 경제성으로 인해 손실이 더욱 가중되었습니다. 희귀하고 절판된 책은 소수로 남아 있습니다. AI 규모의 예산을 가진 구매자가 시장에 진입하면 남은 사본에 대해 도서관과 수집가보다 높은 가격을 제시할 수 있습니다. 그리고 해당 사본이 스캔 후 폐기되면 특정 에디션의 생존 인구가 몇 달 내에 영구적으로 줄어들 수 있습니다.

유럽의 서점 협회는 이러한 관행에 대해 가장 큰 목소리를 내는 비판자 중 하나였으며, 404 미디어 조사는 그들의 경고에 시설, 공급망 및 지명된 기업 구매자와 같은 구체적인 발자국을 제공합니다.

다음에 나올 내용

이번 조사로 AI 데이터 공급망에서 아마존의 역할(클라우드 비즈니스가 지배하는 위치)에 대한 조사가 강화될 가능성이 높습니다. 또한 유럽과 미국에서는 AI 훈련에 사용되는 문화 자료의 보존을 요구하는 규칙에 대한 요구를 다시 제기할 수도 있습니다. 이는 도서 구매 규모가 명확해짐에 따라 서점 협회와 일부 정책 입안자들이 제기한 아이디어입니다.

현재 조사의 가장 구체적인 결과는 정보 제공입니다. 즉, 명명된 시설, 문서화된 여행, 도서 거래의 경고가 추상적이지 않았다는 공개 기록 등입니다. 추적된 배송에 포함된 희귀 도서는 라스베거스에서 여행을 마쳤습니다. 아마도 그 내용은 훈련 자료에 남아 있을 것입니다.

AI 데이터 전쟁을 따라가세요

교육 데이터, 저작권 싸움, 대규모 AI 윤리 등이 AI Buzz Wire에서 매일 다루어집니다.

AI 뉴스 자세히 보기 →