OpenAI, EU의 ChatGPT 및 Codex 텍스트에 보이지 않는 textGrain 워터마크 출시

OpenAI는 textGrain 시스템에 따라 EU의 ChatGPT 및 Codex 텍스트 출력에 보이지 않는 워터마크를 추가할 예정이며, 전 세계 API 개발자는 지금부터 선택할 수 있습니다.

OpenAI는 EU AI Act의 텍스트 출처 규칙에 대한 구체적인 대응으로 유럽 연합 사용자를 위해 ChatGPT 및 Codex에서 생성된 텍스트에 보이지 않는 워터마크를 추가하기 시작할 것이라고 10월 5일 발표했습니다. "EU 텍스트 출처 규칙에 대한 우리의 접근 방식"이라는 제목의 블로그 게시물에서 회사는 워터마킹이 블록의 적격 출력에 대해 "향후 몇 주에 걸쳐" 출시될 것이라고 밝혔으며, 같은 날 TechCrunch, The Verge, BleepingComputer, Engadget 및 기타 매장에서 이 계획을 보고했습니다.

이러한 변화를 뒷받침하는 기술은 textGrain입니다. textGrain은 시각적 표시를 삽입하는 대신 모델의 단어 선택을 미묘하게 조정하여 결과 텍스트가 나중에 감지할 수 있는 통계 패턴을 전달하도록 작동합니다. 독자는 AI 생성 텍스트를 소비하거나 복사할 때 아무 것도 알아차리지 못할 것입니다. 탐지를 위해서는 일반 대중이 사용할 수 없는 OpenAI 탐지기에 대한 액세스가 필요합니다. AI 규칙을 놓고 규제 기관과 연구소가 어떻게 충돌하는지 더 폭넓게 살펴보려면 현재 진행 중인 AI 정책 범위를 따르세요.

textGrain 워터마킹 작동 방식

OpenAI의 접근 방식은 생성 중 토큰 선택 프로세스를 수정합니다. BleepingComputer의 보고에 따르면 이 회사는 textGrain이 "나중에 감지할 수 있는 통계적 패턴을 생성하기 위해 모델의 단어 선택을 약간 변경"한다고 말합니다. 텍스트를 읽거나 복사할 때 워터마크는 보이지 않으며 OpenAI는 출력 품질을 저하시키지 않는다고 주장합니다.

감지 측은 의도적으로 제한됩니다. 워터마크 출시와 함께 OpenAI는 워터마크 감지기를 위한 애플리케이션을 공개하고 있지만 처음에는 승인된 연구원 및 전문가 조직으로 액세스가 제한됩니다. 이러한 설계는 탐지 기능을 무기화하려는 모든 사람의 손에 들어가지 못하게 하지만 출판사, 교사 및 고용주가 텍스트에 워터마크가 있는지 여부를 독립적으로 확인할 수 없다는 의미이기도 합니다.

API 액세스는 전 세계적으로 선택 가능합니다.

EU 명령은 블록의 ChatGPT 및 Codex 출력에 적용되지만 OpenAI는 동시에 모든 곳의 개발자에게 선택권을 제공합니다. 10월 5일부터 전 세계 API 개발자는 지원되는 모델에 대해 텍스트 워터마킹을 선택할 수 있습니다. 이 기능은 API에서 기본적으로 비활성화되어 있으며, New Stack은 올해 초 동일한 규칙에 대한 자체 응답으로 EU 트래픽에 대한 출처 표시를 활성화한 Anthropic의 접근 방식과 대조되는 결정으로 강조했습니다.

이러한 동의 자세는 예상치 못한 부작용에 대해 걱정하는 개발자를 안심시킬 것입니다. 통계적 워터마킹은 토큰이 샘플링되는 방식을 변경하며 생성에 대한 모든 수정은 최소한 극단적인 경우 동작이 바뀔 수 있는 이론적 위험을 수반합니다. OpenAI는 워터마킹을 기본값이 아닌 플래그로 설정하여 해당 모델을 기반으로 하는 회사에 규정 준수 결정을 전달합니다.

EU AI법이 이를 강제한 이유

EU AI법의 투명성 조항은 AI 생성 텍스트를 기계 생성 텍스트로 식별할 수 있도록 요구하며, 이는 OpenAI와 Anthropic 모두를 통계적 워터마킹 체계로 추진하는 의무입니다. OpenAI의 블로그 게시물은 textGrain을 이러한 출처 요구 사항의 구현으로 구성하고 있으며 PYMNTS는 OpenAI가 "EU AI Act 규정"을 직접 충족하면서 출시를 보고했습니다.

타이밍이 주목할 만하다. 워터마크 발표는 OpenAI의 대외 태도가 유난히 격동하는 가운데 이루어졌습니다. 같은 뉴스 주기로 인해 안전 리더인 David Robinson이 떠나고, 주요 AI 연구소의 소비자 위험에 대한 FTC의 조사가 이루어졌으며, OpenAI를 감시받는 주주 소송 분위기가 이어졌습니다. 워터마킹은 OpenAI가 제품 변경이 아닌 인프라를 통해 완전히 충족할 수 있는 몇 안 되는 규제 요구 사항 중 하나이며, 이것이 먼저 출시된 이유를 설명할 수 있습니다.

주의 사항: 워터마크가 편집 중 중단됨

OpenAI 자체는 근본적인 한계를 인정합니다. 회사는 텍스트가 편집되면 워터마크가 사라질 수 있음을 인정하고 언어 스테가노그래피에 대한 수십 년간의 연구를 통해 이러한 우려를 뒷받침합니다. 즉, 의역, 번역 또는 약간의 재작성도 통계적 워터마크를 파괴할 수 있습니다. "인간화 도구"를 통해 AI 텍스트를 세탁하기로 결정한 사람은 누구나 성공할 가능성이 높습니다.

이러한 약점으로 인해 규제 당국이 워터마킹을 요구하는 것을 막지 못했고 연구실에서 워터마킹을 배송하는 것도 막지 못했습니다. 현실적인 목표는 변조 방지 출처를 밝히는 것이 아니라 통화 워터마크를 관리하는 것과 동일한 논리인 우발적인 사기 비용을 대규모로 늘리는 것입니다. 업계의 자발적인 조치에 회의적인 일부 AI 안전 그룹을 포함한 비평가들은 승인된 조직만 액세스할 수 있는 감지기가 자체 AI 콘텐츠 정책을 시행하려는 교사, 편집자 또는 플랫폼에 거의 도움이 되지 않는다고 주장합니다.

사용자와 개발자에게 미치는 영향

EU 내 ChatGPT 및 Codex 사용자의 경우 눈에 띄게 변경되는 사항은 없습니다. 텍스트는 모양과 느낌이 동일하며 출력에 레이블이 표시되지 않습니다. 워터마크는 원칙적으로 OpenAI의 승인된 파트너가 감지할 수 있도록 존재합니다.

개발자의 경우 API 플래그가 즉시 도착하므로 신중하게 평가할 가치가 있습니다. API 설정이 전역적이므로 이를 켜는 것은 비 EU 사용자의 경우에도 완료될 때마다 토큰 샘플링에 대한 미묘한 변경 사항을 허용한다는 의미입니다. 대기 시간이나 품질 예산이 엄격한 팀은 스위치를 전환하기 전에 현재 설정에 대해 워터마크 생성을 벤치마킹할 수 있습니다.

OpenAI는 적격 모델에 대한 자세한 내용과 감지기 적용 프로세스가 앞으로 몇 주 안에 도착할 것이라고 말합니다. 다른 연구실도 동일한 EU 의무에 직면하고 있기 때문에 textGrain이 올해 업계에서 배포하는 마지막 워터마킹 방식이 될 가능성은 낮습니다.