Tencent는 회사가 오픈 소스 영역에 포지셔닝하고 있는 Hunyuan 팀의 새로운 주력 대형 언어 모델인 Hy4 미리 보기를 출시하고 오픈 소스로 공개했습니다. 가중치는 더 저렴한 추론을 위한 FP8 양자화 변형과 함께 허용되는 Apache 2.0 라이선스에 따라 8월 28일 Hugging Face, ModelScope, GitCode 및 CNB에 적용되었습니다.

이번 출시로 현재 Z.AI의 GLM 시리즈와 Moonshot AI의 Kimi 모델이 포함된 분야인 개방형 프론티어 모델을 배송하는 중국 연구소 간의 경쟁이 더욱 심화됩니다. Bloomberg는 Tencent가 새 모델이 내부 테스트에서 두 경쟁사 모두를 능가한다고 주장한다고 보도했습니다. 이는 모든 공급업체가 실행하는 평가와 마찬가지로 면밀한 조사가 필요하다는 주장입니다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

헤드라인 수치

Hy4 미리 보기는 총 7,700억 개의 매개변수를 포함하는 전문가 혼합(MoE) 모델이며, 그 중 토큰당 490억 개가 활성화됩니다. Tencent-Hunyuan GitHub 저장소에 게시된 공식 모델 카드에 따르면 백본에는 78개의 레이어, 256명의 라우팅된 전문가와 1명의 공유 전문가가 있으며 모든 토큰에 대해 상위 8개의 라우팅된 전문가를 활성화합니다. 총 100억 개의 매개변수, 7억 개의 활성화된 기본 멀티 토큰 예측(MTP) 레이어가 추측 디코딩을 위해 내장되어 있습니다.

컨텍스트 창은 또 다른 주요 사양입니다. 100만 개의 토큰은 모델이 전체 코드베이스, 긴 법률 문서 또는 한 시간 동안의 회의 기록을 단일 패스로 처리할 수 있는 길이입니다.

경쟁사에서 차용하고 그 위에 구축된 아키텍처

플래그십 출시에 대해 이례적으로 솔직하게 Tencent의 문서에는 주의 모듈이 "DeepSeek 및 GLM에서 영감을 받았다"고 명시되어 있습니다. Hy4 미리보기는 레이어 간 희소 인덱스 재사용을 위해 IndexCache와 결합된 Gated DeepSeek Sparse Attention(Gated DSA)을 사용하는 반면, 잔여 경로는 iHC(Identity Hyper-Connections)를 사용하여 레이어 간 정보 흐름을 확장합니다.

모델을 평가하는 개발자에게는 개방성이 중요합니다. 관심이 적다는 것은 1M 토큰 컨텍스트를 경제적으로 서비스 가능하게 만드는 것입니다. 왜냐하면 그 기간에 대한 순진한 완전한 관심은 엄청나게 비싸기 때문입니다. DeepSeek과 Z.AI 모두 자체 플래그십 모델에 이 디자인의 변형을 출시했습니다.

생산성을 위해 구축되었으며 사내 전문가와 함께 조정됨

Tencent는 소프트웨어 엔지니어, 게임 개발자, 금융 분석가, 보안 전문가 등 회사 내부 전문가와 협력하여 실제로 제공하는 작업에 대한 교육 데이터를 구축했다고 밝혔습니다. 모델 카드는 다음 네 가지 중점 영역을 강조합니다.

  • 소프트웨어 엔지니어링: 장기적인 개발 작업에 대한 계획, 디버깅 및 검증이 향상되었으며 프런트 엔드 "시각적 취향"이 향상되었습니다.
  • 사무실 및 분석: 복잡한 다중 파일 컨텍스트를 공유 가능한 문서, 스프레드시트 및 프레젠테이션으로 변환하고 방정식 및 재무 모델을 더욱 강력하게 처리합니다.
  • 게임 개발: 단일 프롬프트에서 플레이 가능한 프로토타입을 생성하고 여러 개선 단계에서 게임 엔진을 사용하여 원활하게 작업합니다.
  • 과학적 연구: AI 연구, 분자 역학, 응집 물질 물리학, 순수 수학 문제에 대한 진전이 있다고 주장합니다.

Tencent는 또한 Hy4 미리보기가 자체 제품인 CodeBuddy 및 WorkBuddy와 공동 설계되어 모델 이득이 제품 개선으로 전환된다고 밝혔습니다.

Tencent 자체 벤치마크가 보여주는 것

출시 자료에서 가장 구체적인 비교는 Tencent가 163명의 내부 전문가와 함께 203개의 엔지니어링 작업에 대한 결과를 평가하는 블라인드 병렬 평가입니다. 해당 테스트에서 Hy4 프리뷰는 평균 2.99점을 기록해 GLM 5.3의 2.92점(46.8% 승, 12.8% 무승부, 40.4% 패)과 키미 K3의 2.94(51.2% 승, 7.9% 무, 40.9% 패)를 약간 앞섰습니다.

두 가지 주의 사항을 분명히 언급할 가치가 있습니다. 첫째, 이는 독립적인 벤치마크가 아닌 Tencent의 내부 평가입니다. 회사는 아직 공개 순위표에 3차 검증 결과를 게시하지 않았습니다. 둘째, 마진이 좁습니다. 주관적인 전문가 평가 척도에서 0.05~0.07점 차이는 다양한 평가 풀이 쉽게 뒤집힐 수 있는 범위 내에 있습니다.

앞으로 몇 주 안에 커뮤니티가 표준화된 코딩, 추론 및 에이전트 제품군을 통해 모델을 실행함에 따라 공개 집계를 통해 독립적인 검증이 이루어질 것입니다.

알려진 버그가 포함된 조기 배송

Tencent는 이것이 미리보기임을 명시합니다. 모델 카드에는 복잡한 작업을 통해 추론에 필요한 것보다 더 많은 시간을 소비하고 자체 작업을 과도하게 검증하는 경향을 포함하여 알려진 제한 사항이 나열되어 있습니다. 팀은 Hy3 세대를 개선한 접근 방식을 언급하면서 "차라리 일찍 출시하고 어떤 문제가 발생하는지 듣는 것"이라고 말했습니다.

배포의 경우 가중치는 BF16 및 FP8 모두에서 사용할 수 있으며 vLLM 및 SGLang에서는 첫날 지원됩니다. Tencent는 8개의 GPU 전반에 걸친 텐서 병렬 처리와 지연 시간에 민감한 서비스를 위한 MTP 기반 추측 디코딩을 권장하는 레시피를 포함하여 두 가지 모두에 대해 사전 구축된 Docker 이미지를 게시합니다. 미세 조정 파이프라인과 AngelSlim 양자화 툴킷이 모델과 함께 제공됩니다.

중요한 이유

중국의 오픈 웨이트 경쟁은 Z.AI의 GLM 시리즈와 Moonshot의 Kimi 모델 사이의 양면 전쟁이 되었으며 DeepSeek, Qwen, 그리고 훨씬 더 큰 Hunyuan 항목이 필드를 붐비고 있습니다. Hy4 미리보기의 Apache 2.0 라이선싱, 770B 매개변수 규모 및 100만 개의 토큰 컨텍스트 조합은 누구나 다운로드하고 자체 호스팅할 수 있는 항목의 한도를 높이고, 1일차 vLLM 및 SGLang 지원을 통해 실제로 실행하는 데 대한 장벽을 낮춥니다.

개방형 모델과 서구의 폐쇄형 API를 비교하는 기업의 경우, 실질적인 질문은 더 이상 개방형 모델이 서류상의 폐쇄형 성능과 일치할 수 있는지 여부가 아니라 주변 도구(양자화, 서비스, 미세 조정)가 충분히 성숙한지 여부입니다. Tencent는 허용된 라이선스에 따라 모든 것을 한 번에 배송하는 것이 Hunyuan이 대화에 다시 참여하는 방법이라고 확신하고 있습니다.

내부 벤치마크 주장이 독립적인 테스트에서 유지되는지 여부는 Hy4 미리보기가 진정한 프론티어 오픈 소스 릴리스로 기억되는지 아니면 혼잡한 분야의 다른 공급업체 벤치마크로 기억되는지를 결정합니다. 이제 가중치가 공개되었으므로 커뮤니티의 평결은 오래 걸리지 않을 것입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →