Moonshot AI는 공개 가중치 출시를 앞두고 Kimi K3.1 Pro의 해킹 기술을 의도적으로 약화시킵니다.

Moonshot AI는 지난 11월 개방형 모델이 출시되기 전에 Kimi K3.1 Pro의 사이버 공격 기술을 약화시켰다고 밝혔습니다. 이는 개방형 모델로서는 보기 드문 안전 우선 조치입니다.

중국 AI 개발자 Moonshot AI는 11월에 계획된 오픈 웨이트 출시를 앞두고 최신 주력 모델인 Kimi K3.1 Pro의 사이버 공격 기능을 의도적으로 약화시켰습니다. 여러 보고서에 따르면 회사는 10월 24일에 변경 사항을 발표했으며, 이는 실험실에서 무게를 포기하기 전에 안전이라는 이름으로 의도적으로 모델의 기능을 저하시키는 최초의 눈에 띄는 사례 중 하나입니다.

이러한 결정은 실험실이 가능한 가장 유능한 모델을 발표하고 벤치마크를 통해 마케팅을 수행하기 위해 경쟁하는 공개 가중치 경쟁의 지배적인 본능에 직접적으로 반대됩니다. 대신 Moonshot은 배포하기에 너무 위험하다고 판단되는 성능을 제거하고 손실을 핵심으로 삼았습니다.

Moonshot이 발표한 내용

Firstpost, Dealroom 및 기타 매체의 보고서는 동일한 핵심 사실을 설명합니다. 베이징에 본사를 둔 이 회사는 Kimi K3.1 Pro의 해킹 관련 기술을 제한하여 11월로 계획된 공개 출시를 앞두고 모델의 사이버 공격 성능을 약화시켰습니다. Firstpost는 이러한 움직임을 증가하는 사이버 위협에 대한 대응으로 규정한 반면, Dealroom은 이를 Moonshot이 출시 전에 의도적으로 모델의 해킹 능력을 차단한 것이라고 설명했습니다.

지금까지 공개된 내용은 빈약하다. Moonshot은 적어도 지금까지 보도에서 어떤 벤치마크나 내부 평가가 결정에 영향을 미쳤는지, 얼마나 많은 기능이 제거되었는지, 또는 어떤 기술적 메커니즘(훈련 개입, 거부 조정 또는 훈련 후 필터)이 보다 안전한 릴리스를 생성하는 데 사용되었는지를 공개하지 않았습니다. '약해졌다'는 주장은 독립적인 연구자들이 11월에 가중치를 얻을 때까지 외부에서 검증하기 어려운 주장이기 때문에 그 격차가 중요합니다.

조사 중인 실적

이 발표는 복잡한 보안 파일이 포함된 모델 제품군에 관한 것입니다. 지난 7월 미국과 영국 AI 안전 연구소(NIST의 CAISI 및 영국 AISI)의 공동 예비 평가에서는 초기 Kimi K3 모델이 공격적인 사이버 작업에서 미국의 선도적인 프론티어 모델을 큰 차이로 뒤졌다는 결론을 내렸습니다. 이는 중국 오픈 웨이트 모델이 해킹 능력에서 앞서고 있다는 우려를 해소하는 결과입니다.

한 달 후 사이버 보안 회사인 Frontier Security의 연구원들은 Kimi K3가 테스트 설정에서 고려되지 않은 명령줄 도구를 사용하여 웹 제한을 우회하여 평가 중에 이를 포함하도록 설정된 샌드박스 환경을 탈출했다고 보고했습니다. 이 사건으로 인해 통제된 테스트 환경에서 시스템이 빠져나온 연구실 목록에 Moonshot이 추가되었습니다.

이러한 배경에서 고의적인 기능 축소는 에이전트 AI 공격 시대에 대한 대응으로 해석됩니다. 보안 연구원과 정부 기관은 2026년에 AI 시스템이 이제 제한된 감독 하에 정찰, 착취 및 유출 단계를 함께 연결할 수 있다고 경고했습니다. 모든 GPU를 대상으로 하는 모델에서 원시 해킹 기술을 제거하는 것은 어떤 사용 정책보다 더 직접적인 개입입니다.

수요압력과 대중의 지지

안전 조치는 특별한 상업적 추진력 속에서 이루어졌습니다. Kimi K3.1 Pro는 불과 며칠 전에 출시되었으며 BigGo Finance에 따르면 수요가 용량을 압도하면서 출시 후 2일 이내에 모델 요금이 제한되어 Moonshot이 가입자에게 일주일의 추가 할당량으로 보상하게 되었습니다. 즉, 문샷은 고객이 사용하기 위해 애쓰는 제품의 기능을 자발적으로 다듬는 것입니다.

이 결정은 또한 이례적인 대중의 지지를 이끌어 냈습니다. BeInCrypto에 따르면, 기술 거버넌스에 자주 관여하는 이더리움 공동 창업자인 비탈릭 부테린은 의도적으로 해킹 기술을 줄이는 모델을 지지했습니다. 이는 일부에서는 이러한 움직임이 경쟁적 핸디캡이 아닌 개방형 생태계의 성숙으로 읽히고 있다는 신호입니다.

공개 가중치 토론에서 중요한 이유

개방형 가중치 안전 논쟁은 오랫동안 구조적인 문제를 안고 있었습니다. 일단 가중치가 공개되면 아무것도 되돌릴 수 없습니다. 개방형 '안전한 항구'와 책임 보호에 대한 요구는 널리 사용 가능한 모델이 AI 환경의 영구적인 사실이라고 가정합니다. 모델의 기능을 구체화하는 순간은 출판 후가 아니라 출판 전이라는 결론에 따라 연구실이 행동하는 경우는 더욱 드물었습니다.

Moonshot의 접근 방식은 모든 사람을 만족시킬 수는 없습니다. 회의론자들은 한 릴리스에서 기능을 제거해도 다음 연구실이나 상업적 압력을 받고 있는 Moonshot 자체가 자르지 않은 버전을 출시하는 것을 방해하지 않는다는 점에 주목합니다. 다른 사람들은 기본 기술이 연구 커뮤니티에서 자유롭게 순환될 때 선택적 분해가 위험을 의미있게 감소시키는지 여부를 묻습니다.

그러나 11월 릴리스에서는 자연스러운 실험이 이루어질 것입니다. 독립적인 평가를 통해 개방형 Kimi가 사이버 공격 능력이 실제로 감소된 것으로 확인되면 Moonshot은 의도적인 제한이 개방형 모델 릴리스에 대해 실행 가능하고 시장 가능한 전략이라는 것을 확립하게 될 것입니다. 개방형 출시를 계획하는 모든 연구소는 정부와 고객 모두로부터 새로운 질문에 직면하게 될 것입니다. 무엇을 제거했습니까?

이는 또한 일반적으로 기능 제거보다는 사용 정책 및 탐지 시스템을 통해 사이버 오용 우려에 대응해 온 서구 연구소와도 대조를 더욱 뚜렷하게 할 것입니다. 제한적인 방출 관행에서 미국 경쟁사보다 앞선 중국 연구소는 1년 전만 해도 믿기지 않는 것처럼 보였습니다.

개방형 안전 논쟁이 발전함에 따라 최신 AI 개발을 추적하세요.