Anthropic, Frontier Lab Pace Measurements를 발표하고 회사 내부에서 일하는 30,000명의 AI 에이전트 공개

Anthropic은 AI 개발 속도에 대한 세 가지 새로운 측정 방법인 R&D 자동화 지수, 에이전트 감독 지표 및 컴퓨팅 할당을 공유했습니다.

Anthropic은 토요일에 대중, 언론인 및 정부가 AI가 실제로 얼마나 빨리 개발되고 있는지 추적할 수 있도록 하기 위한 상세한 자체 측정 세트를 발표했습니다. 여기에는 회사 자체 연구 중 현재 얼마나 많은 부분이 AI에 의해 수행되는지에 대한 최초의 지수와 약 30,000명의 AI 에이전트가 특정 순간에 회사 내부에서 연구 및 엔지니어링 작업을 수행하고 있다는 공개가 포함됩니다.

"프론티어 연구소 내부의 AI 개발 속도를 이해하기 위한 측정"이라는 제목의 이 게시물은 업계에서 가장 중요한 논쟁의 중심에 도달합니다. 즉, 프론티어 개발을 의도적으로 느리게 해야 하는지 여부입니다. 다리오 아모데이(Dario Amodei)는 시장을 뒤흔든 제안인 "프론티어 속도 조절"을 위한 조정을 촉구했으며, 주요 연구소 간의 속도 조절 공모를 주장하는 소비자 소송을 제기했으며, 트럼프 대통령이 경기 둔화 방지를 전담하는 "AI 포스"를 발표하도록 촉구했습니다. Anthropic의 프레이밍은 이러한 맥락에 대해 명시적입니다. "세계가 최첨단 AI 개발 속도를 늦추는 것을 고려함에 따라 대중은 더 많은 정보가 필요합니다."

AI 진행 상황 추적을 위한 세 가지 측정

회사는 어떤 개척 연구실이라도 정기적으로 발표할 수 있다고 주장하는 세 가지 측정 영역을 제시했습니다.

1. AI R&D 중 AI 자체가 차지하는 비중 Anthropic은 회사에서 수행되는 모든 종류의 AI 연구 및 개발 작업을 목록화하고 각 작업이 현재 얼마나 자동화되어 있는지 평가하고 그 결과를 집계하여 프로토타입 "Anthropic R&D 자동화 지수"를 구축했습니다. 등급은 AL0(AI 개입 없음)부터 AL5(AI가 루프에 사람 없이 완전히 자율적으로 작동함)까지 실행되는 Epoch AI의 공개 "자동화 수준" 척도를 사용합니다. 이 규모에서 AL3는 AI가 인간의 긴밀한 지시에 따라 대규모 작업을 수행하는 "협력"을 의미하는 반면, AL4는 AI가 인간이 감독하는 동안 높은 수준의 프롬프트에서 엔드투엔드 작업의 대부분을 완료하는 "리드"를 의미합니다.

지수의 요점은 모든 연구실이 재귀적 자기 개선, 즉 완전히 자율적으로 후속 모델을 구축하는 모델에 얼마나 가까워졌는지 측정하는 것입니다. Anthropic은 AI 개발을 가속화하는 모델이 "인간이 이러한 시스템을 이해하거나 제어하는 것을 더욱 어렵게 만들 수 있다"고 지적합니다.

2. AI 에이전트의 행동이 얼마나 잘 감독되는지. 여기에 30,000이라는 숫자가 나타납니다. 2026년 8월 현재 약 30,000명의 에이전트가 Anthropic의 가장 많이 사용되는 내부 플랫폼 내에서 언제든지 연구 및 엔지니어링 작업을 수행하고 작업을 서로 위임하고 오랫동안 반자율적으로 작업하고 있었습니다. 회사는 해당 에이전트의 감독에 대해 세 가지 항목을 측정합니다. 적용 범위(실행 전후에 모니터를 통과하는 에이전트 작업의 비율), 검토 대기 시간(플래그가 지정된 작업이 얼마나 빨리 자동 모니터에 의해 검토되고 그 다음에는 사람에 의해 검토되는지), 에스컬레이션 비율(검토를 위해 차단되거나 리디렉션되거나 플래그가 지정된 활동의 비율)입니다.

지금까지 Anthropic의 모니터링 데이터에 따르면 개별 에이전트가 잘못된 행동을 하는 경우는 거의 없습니다. 그러나 회사는 "경제에서 수백만 또는 수십억 명의 에이전트가 작동하는 경우 드문 이벤트도 정기적으로 발생할 수 있다"고 경고합니다.

3. 컴퓨팅이 할당되는 방식. 세 번째 측정에서는 연구실의 컴퓨팅 리소스가 분산되는 방식, 즉 모델 기능과 상관 관계가 있는 원시 입력을 추적합니다. Anthropic은 다른 두 측정항목과 함께 이것이 외부인에게 모델 입력과 모델 출력의 상관관계를 설명하는 방법을 제공하여 회사가 책임 있는 확장 정책 위험 보고서를 통해 이미 게시한 기능 평가를 보완한다고 주장합니다.

숫자는 둔화되면서 움직일 것입니다

게시물에서 가장 정치적으로 뾰족한 라인은 속도 논쟁을 직접 겨냥한 것입니다. Anthropic은 "Anthropic CEO Dario Amodei가 요청한 대로 국경 속도에 대한 조정이 있다면 이 숫자가 바뀔 것으로 예상할 것"이라고 말합니다. 즉, 업계가 진정으로 둔화된다면 이러한 지표를 통해 대중이 이를 확인할 수 있습니다. 기업이 숫자가 계속 증가하는 동안 속도를 유지하고 있다고 주장한다면 측정을 통해 그 사실도 드러날 것입니다.

독립적인 검증이 누락된 부분입니다

Anthropic은 자체 보고 측정항목의 주요 약점을 인정합니다. 자체 시스템을 평가하기 위해 자체 모델을 사용하고 있습니다. 이는 "판단" 모델이 확인 중인 모델의 맹점을 공유할 수 있음을 의미합니다. 또한 회사는 실험실 전체에 걸쳐 공통된 방법론이 부족하여 비교가 어렵다는 점도 지적했습니다.

제안된 해결책은 Anthropic 내부에 여러 조직의 독립적인 제3자 평가자를 포함시켜 내부 위험 평가 팀이 보는 것과 유사한 내부 프로세스, 시스템 및 데이터에 대한 액세스를 제공하는 것입니다. 이러한 제3자는 안전 관행을 확인하고, 사고를 보고하고, 새로운 지표를 모니터링합니다. 이 회사는 평가 비영리 단체인 METR이 이전에 오프라인 모니터링 플랫폼을 독립적으로 레드팀으로 구성했으며 이러한 측정값을 다른 사람들이 확인할 수 있는 형식으로 정기적으로 게시할 계획이라고 밝혔습니다.

이 측정은 표준화된 위험 보고서와 같이 정부가 요구할 수 있는 투명성 의무를 포함하여 개척 모델 출시에 대한 "도로의 규칙"을 제시하는 Anthropic의 광범위한 고급 AI 프레임워크 제안과 연결됩니다.

산업 전체를 위한 테스트

게시물의 더 깊은 의미는 경쟁적일 수 있습니다. Anthropic은 "모든 개척자 개발자가 공개 방법론을 사용하여 이러한 측정값을 정기적으로 게시할 수 있다"고 주장하면서 모든 개척 연구소에 동일한 수치를 게시하도록 사실상 도전하고 있습니다. 경쟁사가 쇠퇴하면 대조는 안전성 논쟁에서 그 자체의 데이터 포인트가 됩니다. 그들이 동의한다면 업계는 AI가 실제로 얼마나 빠르게 발전하는지에 대한 첫 번째 공통 척도를 얻게 됩니다.

현재로서는 속도 대화에 분명한 관심을 갖고 있는 회사가 자체 보고한 수치입니다. 그러나 이는 논쟁에서 부족한 부분을 나타냅니다. 즉, 국경이 가속화되고 있는지, 안정적으로 유지되고 있는지, 실제로 둔화되고 있는지를 보여주는 구체적이고 반복 가능한 측정입니다.