Anthropic은 프론티어 AI 모델을 평가하는 비영리 단체인 METR의 팀에 내부 시스템(회사 하드웨어, 사무실 공간 및 자체 위험 평가 팀이 사용하는 도구와 대략 비슷한 수준)에 대한 "직원과 같은 액세스"를 제공하기 시작했습니다. 따라서 외부 그룹은 Anthropic의 프론티어 모델의 위험을 독립적으로 평가하고 발견한 내용을 게시할 수 있습니다.

수요일 Anthropic의 블로그에 발표된 이 합의는 AI 회사가 일반적으로 용인했던 감사 스타일의 관계보다 더 발전했으며 눈에 띄는 조항이 함께 제공됩니다. METR은 위험 평가 결과를 게시하고 Anthropic은 게시를 거부할 수 없습니다.

"직원과 유사한 액세스"가 실제로 의미하는 것

6명의 METR 직원은 회사 하드웨어, 사무실 공간, Anthropic이 설명하는 내부 도구 및 시스템에 대한 액세스 권한을 보유하고 있으며 이는 자체 위험 평가 팀이 받는 것과 거의 같습니다. 고객에 대한 데이터, 변호사-클라이언트 권한 정보 및 모델 아키텍처에 대한 정보 등 명확하게 정의된 소수의 범주 외에 Anthropic은 자사 직원이 정렬 위험에 대해 작업하는 동료 직원과 마찬가지로 METR 팀과 정보를 공유하도록 권장한다고 말합니다.

약혼은 의도적으로 좁습니다. 이는 집행 가능한 계약에 따라 운영되는 소규모 팀을 다루며, 다른 프로젝트에서 Anthropic과 협력하는 연구원을 포함하여 다른 METR 직원은 해당 팀의 작업에서 격리됩니다. Anthropic은 이 설정을 통해 Anthropic의 보안 표준에 따라 작업하는 소수의 자격을 갖춘 사람들에게 회사 운영 방식에 대한 면밀한 시각을 제공한다고 지적합니다. 이는 다른 조직이 Anthropic의 정보나 고객의 정보를 얻는 채널이 아닙니다.

출판권, 가드레일 포함

계약에 따라 METR은 Anthropic의 위험 수준, 사건 또는 관행에 대한 분석을 발표할 것입니다. Anthropic은 출판을 차단할 수 없지만 정보가 위에서 설명한 사전 정의된 범주에 속할 경우 수정을 요구할 수 있으며 Anthropic 자체가 해당 범주에 속하는 항목과 포함되지 않는 항목을 결정합니다. METR은 편집 권한이 음소거 버튼이 되지 않도록 설계된 균형추인 액세스 수준과 수신된 정보에 대해 특정 진술을 할 권리를 보유합니다.

Anthropic이 열리는 이유

이러한 움직임은 지난 달 Anthropic이 자사의 모델과 안전 관행에 대한 보다 강력한 독립적인 제3자 평가를 약속하고, AI 기업이 독립적인 외부 감사자 또는 평가자와 협력하겠다고 약속한 슈퍼 인텔리전스에 관한 백악관 협정에 서명한 데 따른 것입니다. 이는 또한 기존 관계를 확장합니다. 지난 1년 동안 Anthropic은 위험 보고서에 대한 여러 검토를 위해 METR과 협력했습니다.

METR은 포트폴리오에 혼자가 아닙니다. Anthropic은 또한 평가자로서 SecureBio 및 Accenture와 협력하고 있으며 Accenture의 교수진은 9월에 회사의 첫 번째 임베디드 평가자로 선정되었으며 Hugging Face를 포함한 다른 여러 조직과 초기 논의를 진행 중이라고 밝혔습니다. 이러한 초기 단계 파트너십에는 정보 액세스 및 출판 권한이 더 제한적으로 제공되는 반면 회사는 어떤 종류의 파트너십이 작동하는지 배웁니다.

은행-감독 비유

Anthropic의 자체 프레임은 금융에서 차용됩니다. 은행은 외부인보다 자신의 위험 상황에 대해 더 많이 알고 있으므로 규제 당국은 상주 조사관을 지정하여 대형 은행 내부에서 일하게 합니다. 은행의 위험 감수가 대중을 위협할 수 있다면 제3자는 이를 미리 확인하려고 노력합니다. 회사는 임베디드 평가를 해당 논리의 AI 산업 버전으로 지정합니다. 이는 제작자가 항상 감시자보다 더 많은 것을 알고 있는 분야에서 강력한 안전 감독을 향한 한 단계입니다.

이 모든 것의 기본에는 명시된 목표가 있습니다. 독립 평가자가 선도적인 AI 회사의 시스템에 대해 이해하는 것과 회사 자체가 이해하는 것 사이의 격차를 줄이는 것입니다.

평가자에게 필요한 것

이 발표는 또한 Anthropic이 의미 있는 평가에 필요하다고 생각하는 사항을 제시합니다. 정렬 위조와 같은 현상을 통해 평가가 어떻게 잘못될 수 있는지 이해하는 것을 포함하여 프론티어 모델 기능을 평가하는 전문 지식; 독립성이란 평가 대상 회사에 대한 지분이나 재무 또는 운영상의 의존성이 없음을 의미합니다. 위험을 의미있게 평가할 수 있는 충분한 접근 권한, 최신 모델을 넘어 훈련 방법 및 보호 장치 작동 방법까지 확장 모델이나 프로세스에 대한 관찰과 평가를 출판할 자유.

전체 산업을 위한 테스트 사례

배열은 출력에 따라 판단됩니다. 새로운 액세스 체제에 따라 METR이 처음으로 공개한 평가에서는 직원과 같은 액세스가 실제 치아를 사용한 결과를 생성하는지 아니면 회사 자체가 정의하는 편집 범주에 따라 다듬어진 보고서를 생성하는지 보여줄 것입니다. 회의론자들은 Anthropic이 카테고리 경계를 제어하고 파일럿 팀이 작다는 점에 주목합니다. 지지자들은 Anthropic이 거부권을 행사할 수 없는 출판권이 프론티어 연구소에서는 정말 새로운 것이라는 사실을 주목할 것입니다.

어쨌든 업계에서는 지켜보고 있다. METR의 내장형 액세스가 중요한 결과를 표면화하고 이를 손상 없이 게시한다면 이 모델은 백악관 협정에 서명한 모든 연구소의 확실한 템플릿이 되며 자발적인 감독이 의무적인 감사를 대체할 수 있는지 여부를 평가하는 정책 입안자를 위한 벤치마크가 됩니다. AI 안전 정책과 이를 형성하는 AI 산업 뉴스를 지속적으로 보도하기 위해 AI Buzz Wire는 각 개발 상황을 추적합니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →