OpenAI는 목요일에 웹사이트가 콘텐츠에 액세스하는 방법을 전달하는 데 사용하는 파일인 robots.txt의 공유 신호를 존중하여 사이트 운영자가 모든 크롤러에 대해 별도의 규칙을 유지하는 대신 단일 AI 훈련 기본 설정을 여러 공급자에게 동시에 표현할 수 있다고 발표했습니다. The Verge의 보고에 따르면 Google과 Microsoft는 같은 날 두 회사의 채택 발표를 문서화한 Search Engine Roundtable을 통해 이러한 노력을 지원하고 있습니다.

이번 조치는 출판사의 오랜 고충을 해결합니다. 지금까지 콘텐츠를 AI 훈련 파이프라인에서 제외하려는 웹사이트는 각 AI 크롤러를 개별적으로 식별하고 모든 공급자에 대해 별도의 규칙을 작성한 다음 새로운 크롤러가 나타날 때 해당 목록을 최신 상태로 유지해야 했습니다. 공유된 신호는 유지 관리 부담을 참여 기업이 존중하기로 합의한 하나의 의도로 축소합니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

OpenAI가 약속하는 것

OpenAI는 이번 발표에서 이러한 노력이 자발적이라고 설명했으며, 발표에 대한 Unite.AI의 설명에 따르면 앞으로 몇 달 안에 신호를 구현하는 것을 목표로 하며 구현 세부 사항은 이후 업데이트에서 따를 것이라고 밝혔습니다. 회사는 새로운 신호가 robots.txt를 통해 이미 제공하는 제어를 대체하지 않을 것이며 계속해서 적용되고 존중될 것이라고 말했습니다.

OpenAI는 웹사이트가 AI 시스템에서 콘텐츠가 사용되는 방식에 대해 기계가 읽을 수 있는 기본 설정을 웹 사이트에서 표현할 수 있는 방법을 정의하기 위해 노력해 온 표준 기관인 인터넷 엔지니어링 태스크 포스(Internet Engineering Task Force)의 AI 기본 설정 작업 그룹의 지속적인 노력을 바탕으로 작업을 구성했습니다. 회사는 발표에 다른 실무 그룹 참가자들과 합류하고 있으며 다른 AI 제공업체들도 이 신호를 존중하도록 장려했다고 밝혔습니다.

Google 및 Microsoft 로그온

발표의 중요성은 누가 표준을 채택하느냐에 따라 크게 달라지며, 초기 징후는 가장 큰 플레이어가 참여한다는 것입니다. Search Engine Roundtable은 목요일에 Google이 새로운 AI 훈련 컨트롤을 채택했다고 보고했으며, Microsoft의 Bing이 AI 검색 기반 제품과 연결된 새로운 AI 훈련 컨트롤을 발표하는 내용을 별도로 다루었습니다. The Verge는 OpenAI, Google, Microsoft가 웹사이트에 대한 새로운 표준을 지원하고 있다고 보도했습니다. 이는 크롤러가 AI 관련 가져오기의 대부분을 담당하는 회사가 지원하는 최초의 업계 간 협약이 될 것입니다.

세 회사가 이를 따르면 웹 사이트 운영자는 ChatGPT, Google의 AI 제품 및 Microsoft의 Copilot 생태계 뒤에 있는 크롤러가 동시에 이해할 수 있는 단일 교육 거부를 설정할 수 있습니다. 이는 각 공급자가 자신의 크롤러 이름과 기본 설정 토큰을 문서화하는 현재의 세상보다 게시자에게 훨씬 더 간단한 세상입니다.

출판사가 이것을 원하는 이유

AI 교육이 기술 산업과 모델이 학습한 서면 기록을 생성하는 사람들 사이의 인화점이 되면서 통합 신호에 대한 추진은 수년 동안 구축되어 왔습니다. 특히 언론 기관에서는 광고 자금을 지원받는 비즈니스 모델이 약화되는 동안 AI 크롤러가 보도를 대규모로 스크랩한다고 불평했으며 여러 게시자가 레버리지를 되찾기 위해 법원에 갔거나 라이센스 계약에 서명했습니다.

임시 솔루션이 확산되었습니다. 웹의 상당 부분을 차지하고 있는 Cloudflare는 Google 검색 가시성을 잃지 않고 사이트에서 AI 훈련 크롤러를 차단할 수 있는 설정을 출시했습니다. 이는 AI 크롤링 및 검색 인덱싱이 역사적으로 동일한 robots.txt 규칙에 의해 관리되었기 때문에 중요한 차이점입니다. IETF의 AI 기본 설정 작업 그룹 내부 표준 작업은 프로토콜 수준에서 기본 설정 표현을 공식화하는 것을 목표로 했습니다.

주요 AI 제공업체가 채택한 공유 신호는 사이트 운영자가 이미 사용법을 알고 있는 기존 robots.txt 메커니즘을 통해 작동하기 때문에 가장 중요한 단계가 될 것입니다.

집행 질문

표준은 자발적이며 그 단어에는 무게가 있습니다. robots.txt 기본 설정 자체에는 법적 효력이 없습니다. 이는 이를 존중하기로 동의한 회사에만 구속력을 가지며, 규정 준수는 역사적으로 각 제공업체의 자체 탐지 및 시행에 따라 달라졌습니다. 기존 robots.txt 컨트롤이 계속해서 존중될 것이라는 OpenAI의 진술은 새로운 제도라기보다는 연속성을 의미하며 회사는 규정 준수 구현 또는 감사 방법에 대한 기술적 세부 사항을 아직 발표하지 않았습니다.

발표가 해결되지 않는 미해결 질문도 있습니다. 신호가 훈련에만 적용되는지, 아니면 AI 시스템이 질문에 답하기 위해 실시간 웹 콘텐츠를 가져오는 프로세스인 검색 및 접지까지 확장되는지는 아직 알 수 없습니다. 검색 기반 제품은 트래픽을 소스로 다시 유도할 수 있지만 교육용으로는 그렇지 않기 때문에 게시자에게는 이러한 차이가 중요합니다. 검색 엔진 관리 AI 경험이 신호를 처리하는 방법과 일반적인 크롤링 규칙에 따라 게시자가 채택을 승리로 볼 것인지 무화과 잎으로 볼 것인지가 결정됩니다.

볼만한 동영상

다음 이정표는 구체적입니다. OpenAI의 구현 업데이트, 참여 기업이 게시하는 기술 사양, 대규모 중국 연구소 및 독립 추론 회사를 포함한 기타 주요 AI 제공업체의 지원 발표 여부입니다. 게시자와 권리 보유자는 감사 사례, 즉 운영자가 자신의 선호도가 실제로 대규모로 존중되는지 확인할 수 있는지 가장 면밀히 관찰할 것입니다.

기준이 유지된다면 목요일 발표는 AI 훈련 거부가 기업별 패치워크에서 벗어나 웹 전체의 관례가 된 순간으로 기억될 수 있습니다. 만약 정체된다면, 업계에서 박수를 보내다가 조용히 무시했던 자발적인 웹 표준의 긴 줄에 합류하게 됩니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →