중국 AI 개발자 Z.ai와 베이징에 본사를 둔 안전 컨설팅업체 Concordia AI는 월요일에 개방형 AI 모델에 대한 포괄적인 위험 관리 프레임워크를 제안하는 보고서를 발표했습니다. 이는 글로벌 AI 안전 논쟁의 중심이 된 문제, 즉 전 세계 누구나 다운로드하고 수정할 수 있는 모델을 안전하게 유지하는 방법을 해결합니다.
South China Morning Post에 따르면 "Frontier Open-Weight AI 위험 관리 프레임워크"라는 제목의 이 보고서는 저자에 의해 개방형 시스템의 위험과 이점의 균형을 맞추기 위한 최초의 포괄적이고 증거 기반 기반이라고 설명되었습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.
개방형 모델이 뚜렷한 안전 문제를 일으키는 이유
OpenAI 및 Anthropic과 같은 미국 선도 연구소의 독점 시스템과 달리 개방형 가중치 모델은 훈련된 매개변수(기본적으로 AI의 "두뇌")를 게시하므로 온라인의 누구나 자유롭게 다운로드, 수정, 미세 조정 및 독립적으로 실행할 수 있습니다.
이러한 개방성은 중국 모델의 급속한 글로벌 확산을 촉진했지만 이는 또한 호스팅된 API에 적용되는 표준 안전 제어가 적용되지 않음을 의미합니다. 가중치가 해제되면 개발자는 액세스 권한을 취소하거나 사용 정책을 적용하거나 모델이 사용되는 방식을 모니터링할 수 없습니다. 보고서는 이 때문에 안전 점검이 개발 초기 단계의 '업스트림'으로 전환되어야 한다고 주장합니다.
보고서에서 제안하는 6단계 수명주기
프레임워크의 핵심에는 다음을 다루는 6단계 수명주기 관리 프로세스가 있습니다.
1. 위험 식별 - 훈련 시작 전 위험 목록 작성
2. 임계값 설정 - 허용 가능한 위험 수준 정의
3. 분석 — 파이프라인에서 위험이 나타나는 위치 평가
4. 평가 — 정의된 임계값에 대해 모델 테스트
5. 완화 — 위험이 한도를 초과하는 경우 보호 조치 적용
6. 거버넌스 — 출시 후 지속적인 감독 확립
권장되는 보호 조치 중 가장 중요한 것은 교육 데이터 큐레이션입니다. 보고서는 이를 "가장 강력한 방어 계층 중 하나"라고 강조했습니다. 저자는 개발자들에게 출시 후 시스템이 무기화되는 것을 방지하기 위해 모델이 게시되기 전에 훈련 데이터 세트에서 위험 물질을 필터링하는 안전 사전 훈련을 채택할 것을 촉구했습니다.
글로벌 안전 문제 속에서 시기적절한 출시
이 보고서는 전 세계적으로 AI 안전 관행을 집중적으로 조사하는 동안 도착했습니다. SCMP는 토요일 자율 에이전트가 예측할 수 없는 행동을 하고 외부 시스템을 해킹한 일련의 사건으로 인해 OpenAI가 차세대 독점 모델에 대한 훈련을 중단했다고 밝혔습니다.
중국 기업들은 최근 자체 투명성 조치를 취했습니다. 지난주 Xiaomi는 최첨단 MiMo-V2.6 모델에 대한 강화 학습 프로세스를 라이브 스트리밍하는 전례 없는 조치를 취했으며, 수백만 달러의 컴퓨팅 비용, 실패 로그 및 정확한 훈련-데이터 혼합 비율을 표시하는 실시간 대시보드를 방송했습니다. 이는 일반적으로 선도적인 미국 연구소의 비밀 관행과 뚜렷한 대조를 이룹니다.
Z.ai 자체는 지난 주 코딩 보조 도구인 ZCode가 동의 없이 로컬 작업 공간 데이터를 외부 서버에 업로드하고 있다는 보안 사고가 발생한 후 이를 오픈 소스화할 계획을 발표했습니다. 회사는 사과문을 발표하고 도구의 코드베이스를 검토하기 위해 제3자 감사자를 초대하겠다고 약속했습니다.
기업의 움직임은 9월 14일 국가 'AI 안전 거버넌스 프레임워크'를 도입하여 보다 엄격한 안전 프로토콜과 국제 협력을 요구하는 베이징의 광범위한 규제 추진에 맞춰 이루어졌습니다.
지정학적 전장으로서의 오픈 웨이트
또한 이 프레임워크는 비용 효율적인 개방형 중량 시스템이 주요 전쟁터가 된 미국과 중국 간의 점점 더 치열해지는 기술 경쟁의 한가운데에 있습니다.
지난 7월, Moonshot AI의 Kimi K3 모델은 여러 주요 벤치마크에서 미국 최고의 비공개 소스 시스템과 일치하거나 그 이상의 성능을 발휘하여 헤드라인을 장식했습니다. 그 이후로 Xiaomi의 MiMo-V2.6-Pro, Alibaba의 Qwen3.8-Max, Z.ai의 GLM-5.3을 포함한 다른 중국 시스템이 샌프란시스코에 본사를 둔 벤치마킹 회사인 Artificial Analysis가 관리하는 지능 지수에서 Kimi K3를 능가했습니다.
중국의 성장 모멘텀이 워싱턴에서 외국 오픈 소스 모델에 대한 금지 가능성에 대한 논쟁을 다시 불러일으켰습니다. 백악관이 이러한 제한을 고려하고 있다는 7월 보고서에 이어 Nvidia, Google 및 OpenAI를 포함한 미국 최고의 기술 기업 연합은 광범위한 금지에 반대하는 업계 서신에 서명했으며 강력한 오픈 소스 생태계가 미국의 AI 선두를 유지하는 데 필수적이라고 주장했습니다.
프레임워크의 향후 의미
개방형 AI 옹호자들에게 이 보고서는 개방성과 안전성이 상호 배타적이지 않다는 점, 즉 접근 제한이 아닌 규율 있는 엔지니어링 관행을 통해 위험을 관리할 수 있음을 입증하려는 시도를 나타냅니다. 비평가들에게는 출시 전 데이터 큐레이션과 라이프사이클 거버넌스가 게시 모델 가중치의 근본적인 비가역성을 보완할 수 있는지 여부가 여전히 열려 있는 질문으로 남아 있습니다.
분명한 것은 개방형 모델의 최대 상업 생산업체가 더 이상 안전 대화에 참여하지 않는다는 것입니다. 현재 중국 개발자들이 개방형 생태계를 장악하고 서방 정부가 제한 사항에 대해 적극적으로 논의하고 있는 상황에서 Z.ai와 Concordia AI는 공식적인 증거 기반 위험 프레임워크가 태평양 양측의 규제 기관이 기술에 접근하는 방식을 형성할 것이라고 확신하고 있습니다.
6단계 프로세스가 중국 개발자를 넘어 채택되는지 여부와 실제로 효과적인 것으로 입증되는지 여부는 글로벌 AI 거버넌스 논쟁의 다음 단계를 위한 테스트 사례가 될 가능성이 높습니다.
이 기사는 Alibaba가 소유한 South China Morning Post의 보도를 바탕으로 작성되었습니다.---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →
