웹 인프라 회사인 Cloudflare는 웹 사이트 게시자가 자신의 콘텐츠가 AI 모델 교육에 사용되는 것을 차단하는 동시에 기존 검색 결과에서 콘텐츠를 완전히 사용할 수 있도록 하는 새로운 컨트롤을 도입했습니다. 이는 크롤러 생태계가 이전에 완전히 지원한 적이 없는 분리입니다.

9월 15일 Cloudflare 블로그에 발표된 이 기능은 크롤러 운영자를 위한 새로운 "책임" 지정과 함께 제공됩니다. Cloudflare에 따르면 Apple, Google 및 Microsoft는 크롤러가 자격을 갖춘 최초의 회사입니다. 올해 AI 속보를 추적하는 사람이라면 누가 게시된 콘텐츠를 스크랩할 수 있는지에 대한 문제가 인터넷에서 가장 논란이 많은 정책 싸움 중 하나가 되었다는 점을 알고 있을 것입니다.

혼합 사용 크롤러 문제

핵심 문제는 Cloudflare가 혼합 사용 크롤러라고 부르는 것입니다. Googlebot, Bingbot, Applebot과 같은 단일 봇은 검색 인덱스를 구축하고 AI 모델에 대한 훈련 데이터를 수집하기 위해 페이지를 가져옵니다. 역사적으로 AI 교육을 거부하려는 사이트 소유자는 robots.txt가 허용되지 않는 무딘 도구를 사용했으며 이를 사용하면 검색 결과에서 완전히 사라질 위험이 있었습니다.

Cloudflare의 새로운 AI 훈련 금지 설정은 사이트의 robots.txt 파일에 게시하는 지시문의 이름을 따서 명명되었습니다. 활성화되면 사이트의 학습 없음 기본 설정이 robots.txt에 동기화되고 책임 있는 혼합 사용 크롤러는 검색 목적으로 계속 허용되며 다른 모든 학습 크롤러는 차단됩니다. Cloudflare는 교육 전용 크롤러(Amazon, Anthropic, Meta 및 OpenAI에서 실행하는 교육 크롤러 이름)를 차단하는 것이 애초에 검색에 영향을 미치지 않았다고 지적합니다.

크롤러를 '책임감 있게' 만드는 요소

책임 지정을 받으려면 봇 운영자가 블로그 게시물에 제시된 일련의 요구 사항을 충족하거나 충족하기 위해 노력해야 합니다.

  • 사이트 소유자가 robots.txt 또는 유사한 표준을 통해 AI 교육을 거부할 수 있는 메커니즘
  • 운영자와 직접 설정하고 내년에는 Cloudflare를 통해 AI 요약을 옵트아웃하는 메커니즘
  • 교육에 사용할 수 있는 페이지에 대한 URL 수준의 가시성과 콘텐츠가 검색에 어떻게 나타나는지 보여주는 측정항목
  • AI 훈련을 거부해도 기존 검색 순위에 영향을 미치지 않는다는 보장

Cloudflare에 따르면 Apple, Google 및 Microsoft는 현재 사용 가능한 기능과 아직 개발 중인 기능에 대한 시간 제한이 있는 약속을 결합하여 자격을 충족함을 입증하고 있습니다.

새로운 설정, 더 이상 사용되지 않는 도구

이번 변경으로 Cloudflare의 봇 관리 제어 기능이 재작업되어 이제 크롤러 트래픽을 검색, 훈련, 에이전트의 세 가지 동작으로 분류합니다. AI 훈련 허용 안 함을 추가하면 사용 가능한 설정은 허용, AI 훈련 허용 안 함, 광고가 있는 페이지에서 차단 및 차단입니다.

오랫동안 사용되어 온 두 가지 도구가 더 이상 사용되지 않습니다. 광범위한 "AI 봇 차단" 옵션은 보다 세부적인 검색, 훈련 및 에이전트 제어로 대체되며, Managed Robots.txt는 기존 고객이 자동으로 마이그레이션되는 Bot Preference Sync라는 시스템으로 대체됩니다. Disallow AI Training은 특정 새 도메인에 대한 Cloudflare 권장 구성의 일부가 될 것입니다.

가장 중요한 스위치는 차단 설정 자체와 관련이 있습니다. 이전에는 차단 및 '광고가 있는 페이지에서 차단'이 혼합 용도 크롤러에 적용되지 않았습니다. 차단하면 검색 가능성이 손상될 수 있었기 때문입니다. 9월 15일부터 이러한 설정은 이제 Applebot, Bingbot 및 Googlebot을 포함한 모든 훈련용 크롤러에 적용됩니다. 즉, 차단을 선택한 사이트는 이제 해당 선택에 따른 검색 순위 결과를 받아들입니다.

에이전트에 대한 '허용 안 함'은 없습니다 — 아직

공백이 하나 남아있습니다. Cloudflare의 에이전트 범주에는 브라우저 사용 에이전트, 채팅 가져오기 봇 등 사용자를 대신하여 페이지를 방문하는 사용자 지향 에이전트가 포함됩니다. 회사는 에이전트가 혼합 사용 크롤러와 동일한 검색-발견 가능성 절충안을 생성하지 않으며 인터넷에는 에이전트에 대한 금지 기본 설정을 표현하기 위한 확립된 지침이 부족하다고 썼습니다. 현재로서는 에이전트에 대한 허용 안 함 설정이 없지만 Cloudflare는 ai-prefs와 같은 표준이 성숙해짐에 따라 접근 방식을 다시 검토할 것이라고 말합니다.

게시자에게 중요한 이유

언론사 및 콘텐츠 사이트의 경우 이번 발표는 출판 업계와 AI 개발자 간의 대립에서 실행 가능한 중도에 가장 가까운 것입니다. 출판사에서는 비용이나 허가 없이 자신의 저작물을 교육하는 것은 추출이라고 주장해 왔습니다. AI 회사들은 크롤링이 표준 관행이며 robots.txt는 결코 AI 시대의 구별을 위해 설계되지 않았다고 주장해 왔습니다.

검색 인덱싱을 학습 사용과 분리하는 크롤러 지정을 공식화하고 기본 제어를 통해 이를 시행함으로써 Cloudflare는 AI 연구실과 플랫폼 회사에 게시자 친화적인 조건으로 경쟁할 것을 효과적으로 요청하고 있습니다. 창립 회계사 3명은 모델 교육이 아닌 검색 및 운영 체제에 핵심 비즈니스를 의존하는 회사로, 이는 우연이 아닐 것입니다.

열린 질문은 집행과 경제입니다. Cloudflare는 동작을 분류하고 기본 설정을 동기화할 수 있지만 교육 라이선스의 재정적 조건은 게시자와 AI 회사 간의 비공개 시장 문제로 남아 있습니다. 이번 주 변경 사항은 더 평범하고 더 의미가 있습니다. AI 교육을 거부하는 사이트는 이제 검색 결과에서의 위치를 ​​희생하지 않고도 AI 교육을 거부할 수 있습니다. 추천 트래픽과 교육 분쟁이 동시에 전개되는 것을 지켜보는 업계의 경우 이러한 분리는 오랜 시간이 걸렸습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →