비영리 평가 그룹 METR이 목요일 발표한 독립적인 분석에 따르면 Anthropic은 AI 모델의 기능을 1년 전보다 약 두 배 빠른 속도로 개선하고 있으며, 이러한 속도 향상의 대부분은 자체 후속 모델을 구축하는 데 도움이 되는 AI 시스템에서 비롯된 것으로 보입니다.

Associated Press가 보고한 이번 조사 결과는 METR이 Anthropic의 내부 데이터에 대한 "전례 없는 접근"이라고 설명한 것에 기반을 두고 있기 때문에 특별한 비중을 차지합니다. 캘리포니아 버클리에 본사를 둔 그룹(전체 이름은 모델 평가 및 위협 연구)의 연구원들은 8월 중순부터 10월 말까지 약 11주 동안 회사 내부에 초대되어 내부 연구 데이터를 분석하고 직원과 인터뷰했습니다.

첨단 연구실을 둘러싼 안전 논쟁을 추적하는 독자들은 AI 속보 보도를 참조하세요.

핵심 발견: 진전이 복잡해지고 있습니다

METR의 주요 추정치는 Anthropic이 잘 지정된 작업에 대한 모델 성능을 1년 전보다 약 2배 빠르게 향상시키고 있다는 것입니다. 보고서는 이를 다음과 같이 단호하게 표현했습니다. "Anthropic은 2023년 10월부터 2025년 10월 사이에 그랬던 것처럼 지난 1년 동안 벤치마크에서 많은 진전을 이룬 것으로 보입니다."

더 중요한 것은 METR이 가속도를 주도하고 있다고 믿는 것입니다. 연구원들은 컴퓨팅 성능의 증가가 전통적으로 모델 성능과 가장 밀접하게 연결된 변수인 원인을 "자신있게" 배제할 수 있었다고 말했습니다. 결론: 개선은 주로 AI 자체를 사용하여 AI 연구를 수행하는 데 달려 있습니다.

Anthropic은 자사의 Claude 챗봇이 회사가 더욱 새롭고 발전된 버전을 개발하는 데 점점 더 많은 도움을 주고 있음을 인정했습니다. METR의 보고서는 해당 프로세스를 방해하는 컴퓨팅 또는 데이터 제한과 같은 "병목 현상"을 발견하지 못했고, AI가 아직 모델 훈련의 가장 중요한 부분에 "매우 중요하고 완전히 자율적인 기여"를 하고 있지는 않지만 Anthropic 연구자들은 곧 바뀔 수 있음을 암시하는 중요한 "생명의 징후"를 설명했습니다.

결과는 경기 둔화 토론 중반에 도달했습니다.

최고경영자(CEO)가 자제 로비를 벌이고 있는 회사로서는 시기가 애매하다. Anthropic CEO Dario Amodei가 9월 12일 에세이를 발표하여 AI 업계에 "AI 모델의 기능 개선 속도를 늦춰 안전 조치가 따라잡을 수 있도록" 촉구한 것은 METR의 평가 기간이었습니다.

METR은 또한 8월에 발표된 Anthropic의 공개 위험 보고서와 비공개 버전을 모두 검토하고 공개 문서가 "전반적으로 발생하고 있는 가속화 수준을 과소평가하고 있다"고 결론지었습니다.

Anthropic의 대응: 부분적인 동의, 과도한 편집

Anthropic의 공동 창립자이자 회사의 수석 설계자인 Sam McCandlish는 목요일 X에 대한 긴 게시물을 통해 보고서에 응답하면서 METR의 결론 중 많은 부분이 자신의 견해와 일치한다고 썼습니다.

그는 "AI가 우리 연구 속도를 높이고 있지만 정확히 얼마나 되는지 말하기는 어렵다"고 썼으며, Anthropic은 앞으로 몇 주 안에 회사 내부에서 AI 진행 속도에 대한 자체 분석을 발표할 계획이라고 덧붙였습니다.

McCandlish는 또한 METR이 가속 추정치를 얼마나 정확하게 전달할 수 있는지를 제한하는 보고서의 많은 부분을 수정하려는 회사의 결정을 옹호했습니다. 그는 정보가 상업적으로 민감하고 "다른 사람들이 더 빨리 진행할 수 있도록 로드맵을 배포하는 위험"이 있기 때문에 "속도 향상을 촉진하는 것이 정확히 무엇인지 공유하는 것은 올바른 일이 아니다"라고 말했습니다. 이는 METR이 걱정하는 위험을 더욱 악화시킬 것이라고 주장했습니다. "그건 절충안입니다"라고 그는 썼습니다.

중요한 주의사항

METR의 설명에 따르면 이 보고서에는 주의 사항이 가득했습니다. 그룹은 헤드라인 결과가 문제를 과장할 수 있다고 말했습니다. 측정된 가속도는 개척 연구를 정의하는 더 복잡하고 개방형 작업이 아니라 자동으로 등급이 매겨질 수 있는 잘 지정된 작업에만 적용될 수 있습니다. 또는 Anthropic은 단순히 초기 기준을 과소평가하여 최신 점프를 실제보다 더 크게 보이게 만들었을 수도 있습니다.

METR의 입장은 투명성 이유로도 주목할 가치가 있습니다. 비영리 단체는 기부금을 통해 자금을 조달하고 평가에 대한 보상을 받지 않으며 수년 동안 Anthropic, OpenAI 및 기타 연구소에 대한 역량 평가를 수행해 왔습니다. 하지만 파트너 회사는 연구를 실행하는 데 필요한 모델 액세스 및 토큰을 제공합니다.

지금이 중요한 이유

이 분석은 Anthropic이 역사상 최대 규모의 기업 공개를 기대하기 몇 주 전에 이루어졌으며, 점점 더 능력이 향상되는 AI 모델이 인간의 통제를 피할 수 있는지 여부에 대한 논쟁이 소용돌이치고 있습니다. 안전 옹호자들은 실험실 자체 보고가 아닌 독립적인 검증이 국경이 얼마나 빨리 움직이는지를 보여주는 유일하고 신뢰할 수 있는 척도라고 오랫동안 주장해 왔습니다. 특히 트럼프 행정부가 기업들에게 스스로 단속을 하도록 장려했기 때문입니다.

METR은 마지막 우려 사항을 지적했습니다. AI 지원 AI 연구가 복합화되기 시작하면 가속화 자체가 가속화될 수 있으며, 관찰자가 쉽게 추적할 수 없는 속도로 증가하는 고급 모델의 위험이 있습니다. 그룹의 보고서에 따르면 적어도 한 선도적인 연구실에서는 현장에서 걱정했던 피드백 루프가 더 이상 가상이 아니며 벤치마크 데이터에 나타나고 있습니다.

나머지 업계가 얼마나 빨리 따라갈지는 규제 당국, 투자자 및 회사 경영진이 이제 지켜볼 문제입니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →