Anthropic의 수정된 IPO 서류는 월요일 재무 부문에서 헤드라인을 장식했습니다. 이는 컴퓨팅 약속 8,954억 달러 대비 3분기 매출 약 170억 달러입니다. 그러나 개정된 S-1A의 위험 요소에는 더 중대한 것으로 판명될 수 있는 공개가 묻혀 있습니다. 회사는 AI 시스템이 자체 개발을 가속화할 수 있게 되는 지점인 반복적 자기 개선을 위한 자체 임계값을 넘을 수 있다고 말합니다.
TechCrunch는 이 서류가 Anthropic이 일반적으로 RSI라고 알려진 재귀적 자기 개선이 가능한 모델을 만드는 단계에 있음을 경고하는 것으로 보인다고 보고했습니다. RSI는 AI가 AI를 개선하는 데 매우 능숙해져서 능력 향상이 극적으로 복합되기 시작하는 단계입니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.
서류가 실제로 말하는 것
Anthropic은 이미 AI를 사용하여 자체 연구 개발을 가속화하고 있습니다. 수정된 파일에서 회사는 이 관행이 두 가지 방식을 모두 단축한다고 경고합니다. "보다 유능한 AI를 구축하기 위해 AI를 사용하는 것은 특히 진행 속도를 급격히 가속화하는 경우 상당한 안전 위험을 초래할 수 있습니다. 이는 소위 '반복적 자기 개선'에 접근할 때 위험을 모니터링하고 완화하려는 계획을 제시하는 책임 있는 확장 정책이 적용되는 영역 중 하나입니다."
새로운 위험 요소 언어는 Anthropic이 이전에 공개 문서에서 언급한 것보다 더 발전했습니다. 회사는 과거에 큰 역량 도약이 일어났을 때 그것을 인식하지 못했다고 밝혔습니다. "우리는 그것이 일어날 때까지 개발 속도의 상당한 가속을 과거에도 확인하지 못했고 앞으로도 확인하지 못할 수도 있습니다."
이어 업계의 이목을 끄는 발언이 나왔다. 서류에 따르면 "현재 모델이 아닌 미래 모델에 대한 우리의 내부 추정치와 기대치는 'AI로 인해 극적으로 가속화된 발전'이라는 책임 있는 확장 정책의 정의를 즉시 충족할 수 있음을 나타냅니다."
Anthropic은 "현재 모델 중 어느 것도 이 임계값을 초과하는 것으로 지정하지 않았습니다"라고 덧붙이고 기본 데이터를 계속 평가하고 있습니다. 즉, 현재 Claude 모델에는 적합하지 않지만 회사 내부 예측에 따르면 차세대 모델에는 적합할 수 있습니다.
사람을 계속해서 파악하기
경고와 함께 Anthropic은 사람들이 모델 개발을 통제할 수 있도록 최선을 다하고 있습니다. "우리는 기술적으로 가능하다면 인간의 의미 있는 감독이나 이해 없이 클로드를 안전하게 사용하여 연속적인 세대의 프론티어 모델을 완전히 자율적으로 설계하고 구축할 수 있을 것으로 기대하지 않습니다."라고 서류에는 명시되어 있습니다. "따라서 우리는 인간이 Anthropic의 최전선 모델 개발을 통제할 수 있도록 책임 있는 확장 정책 업데이트를 고려하고 있습니다."
Anthropic의 자체 연구에서 AI의 역할 규모가 빠르게 성장하고 있습니다. Business Insider는 AI가 이제 Anthropic 내부 R&D 작업의 약 4분의 1을 주도하고 있다고 보고했습니다. 이는 업계 내부자가 AI에서 가장 중요한 차트 중 하나라고 부르는 차트로, 3월의 1%에서 증가한 수치입니다.
담론의 변화: 전문 용어에서 대차대조표로
올해 초 RSI라는 용어가 인기를 얻었을 때 업계의 많은 사람들은 이를 전문 용어 또는 기껏해야 달성, 증명 또는 규제하기에는 너무 잘못 정의된 목표로 일축했습니다. 회사가 주식을 대중에게 판매하기 전에 SEC에 법적으로 제출해야 하는 문서에 정확한 내부 정의와 함께 개념이 나타나기 때문에 이러한 회의론을 유지하기가 더 어렵습니다.
Anthropic은 또한 자기 개선을 단기 계획 가정으로 취급하는 데 혼자가 아닙니다. Google 공동 창립자 Sergey Brin은 업계가 모델이 후속 모델을 구축하는 데 도움이 되는 "RSI 런닝머신"을 향해 경주하고 있다고 설명했으며, 전 OpenAI 공동 창립자 John Schulman은 대략 3~4년 내에 반복적인 자기 개선이 기대된다고 말했습니다. Anthropic의 공개를 구별하는 것은 형식성입니다. 정의된 임계값, 내부 측정 프로세스, 회사가 이를 초과할 것으로 예상되는 시기에 대한 공개 성명입니다.
RSI가 두 캠프 모두가 주목하는 Tripwire인 이유
RSI는 설명하는 사람에 따라 다른 의미를 갖습니다. AI 안전 연구자들에게 이는 돌아올 수 없는 지점, 즉 AI 시스템이 인간이 이해하고 검증하거나 개입할 수 있는 것보다 더 빠르게 스스로를 개선하여 잠재적으로 인간의 통제를 벗어나는 시나리오를 나타냅니다. AI 낙관론자에게는 동일한 역동성이 상입니다. 즉, 스스로를 안정적으로 개선하는 시스템은 놀라운 생산성과 과학적 발견을 낳을 것입니다.
Anthropic의 프레이밍은 두 가지 가능성을 모두 인정합니다. 이 공개 내용은 주요 청중이 투자자인 문서에 포함되어 있으며 회의론자들은 S-1이 공개 및 마케팅 기능을 모두 수행한다는 점에 주목합니다. 회사가 자체 개선 AI 구축에 가까워졌다는 주장은 가치 평가에 대한 주장만큼이나 쉽게 읽을 수 있습니다.
그러나 이 주장에는 구체적인 근거가 있습니다. 코딩, 수학 및 사이버 보안 분야에서 Claude의 역량은 2026년까지 급격히 발전했으며 Anthropic의 자체 책임 있는 확장 정책은 회사가 이제 곧 충족할 수 있다고 말하는 "AI로 인해 극적으로 가속화된 발전" 표준을 정의합니다.
AI 거버넌스 테스트
이번 공개는 백악관의 프론티어 모델 검토 프레임워크부터 컴퓨팅 거버넌스에 대한 국제적 논의에 이르기까지 프론티어 AI 감독에 대한 정책 논쟁이 심화되는 가운데 이루어졌습니다. 선도적인 AI 연구소가 자체 가속 진행 임계값을 충족하는 모델을 공식적으로 지정하면 Anthropic의 책임 있는 확장 정책에 따른 의무가 촉발될 것이며, 그러한 업계 프레임워크가 실제로 역량 경쟁을 늦추거나 형성할 수 있는지 여부에 대한 최초의 실제 테스트가 될 것입니다.
현재 Anthropic은 어떤 모델도 선을 넘지 않았다고 말합니다. 서류에는 회사가 곧 그 선을 넘을 것으로 예상하고 있으며 투자자들에게 이에 대해 무엇을 할 계획인지 미리 이해하도록 요청하고 있음이 나와 있습니다.
---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →
