Microsoft AI는 800억 개의 활성 매개변수와 2조 8천억 개의 총 매개변수를 갖춘 새로운 전문가 혼합 기반 모델인 MAI-Base-2에 대한 사전 훈련을 완료했다고 이 부서가 10월 15일 기술 "Lab Notes" 게시물을 통해 발표했습니다. 회사는 이 모델이 지속 평가에서 테스트한 모든 개방형 가중치 모델보다 성능이 뛰어나며 가장 강력한 개방형 기본 모델인 DeepSeek-V4-Pro-Base보다 사전 훈련 FLOP 효율성이 4~12배 더 높다고 말합니다.

이번 발표는 CEO 무스타파 술레이만(Mustafa Suleyman)의 마이크로소프트 AI 조직이 구축한 마이크로소프트의 사내 모델 프로그램이 오픈AI 파트너십에만 의존하기보다는 선두에서 경쟁하겠다는 의지를 보여주는 가장 분명한 신호다. MAI-Base-2는 현재 사후 훈련을 진행 중이며 곧 더 많은 결과가 나올 것으로 예상됩니다. 새로운 모델 출시에 대한 지속적인 보도를 보려면 AI 모델 뉴스를 팔로우하세요.

실행 규모

Microsoft는 2026년 8월과 9월에 38일 동안 16,000개의 NVIDIA GB200 GPU에서 MAI-Base-2를 훈련했다고 밝혔습니다. 이 실행은 평균 21%의 모델 FLOP 활용률(BF16에서 GB200의 이론상 최대값인 2.5PFLOPS에 대해 정규화됨, 재물질화 및 최적화 FLOP 제외) 89%의 굿풋을 달성했습니다. 이는 중단 없이 훈련이 진행되는 시간의 비율입니다. 이 숫자는 규율 있는 대규모 실행을 나타냅니다. 중단되거나 제대로 활용되지 않는 GPU 플릿은 이 규모의 표준이며 모든 좋은 처리 지점은 몇 주 동안의 훈련 시간 절약으로 해석됩니다.

이 모델은 6월에 출시된 Microsoft의 추론 모델인 MAI-Thinking-1의 기반 역할을 했던 이전 모델인 MAI-Base-1보다 더 크고 희소하며 더 많은 데이터에 대해 훈련되었습니다. Microsoft는 MAI-Base-2의 교육 레시피에서 얻은 효율성 절감 효과를 더 큰 모델 교육에 의도적으로 재투자했다고 밝혔습니다.

Microsoft가 비교하는 방법

회사는 Microsoft 자체 코드베이스에서 가져온 홀드아웃 코드 평가와 함께 홀드아웃 텍스트(토큰나이저에 구애받지 않는 지표)의 바이트당 비트 수를 사용하여 2026년 10월 이전에 사용 가능한 프론티어 체크포인트에 대해 MAI-Base-2를 평가했습니다. 훈련 세트 오염 위험을 줄이기 위해 STEM, 수학 및 Q&A 평가를 외부 공급업체에 의뢰했으며 ​​모든 평가 세트는 훈련 데이터에 대해 오염을 제거했습니다.

비교 세트에는 Microsoft가 개방형 가중치를 갖춘 가장 유능한 기본 모델로 설명하고 1조 매개변수를 초과하는 유일한 출시된 기본 사전 훈련 체크포인트인 DeepSeek-V4-Pro-Base와 Kimi K3, Qwen3.8-2.4T-A95B 및 MiMo-V2.6-Pro-RL이 포함되었습니다. Microsoft는 주의 사항을 지적합니다. 이 세 가지의 경우 사후 교육된 체크포인트만 사용할 수 있으며 사후 교육이 사전 교육 평가에 영향을 미칠 수 있습니다. Microsoft는 보류된 평가 전반에 걸쳐 MAI-Base-2가 테스트된 다른 모델보다 바이트당 비트 수가 더 낮다고 보고했습니다.

효율성 주장, 해독됨

4-12배 효율성 수치는 직접적인 벤치마크 승리가 아니라 컴퓨팅 매칭 분석입니다. 각각의 보류된 평가에 대해 Microsoft는 훈련 FLOP에 대해 바이트당 비트의 확장 법칙을 적용하고 DeepSeek-V4-Pro-Base의 점수와 일치하기 위해 자체 레시피가 얼마나 많은 컴퓨팅이 필요한지 추정했습니다. 범위는 네 가지 평가 간의 차이를 반영합니다. 주장은 간단합니다. Microsoft는 자사의 레시피가 공개적으로 사용 가능한 가장 강력한 기본 모델보다 훈련 컴퓨팅 단위당 몇 배 더 많은 기능을 추출하고 그 잉여분을 대규모로 소비했다고 말합니다.

전체 스택 소유

이 게시물은 기본적인 성능 외에도 전략적 근거를 제시합니다. Microsoft는 모델 파이프라인을 엔드 투 엔드로 소유함으로써 훈련 토큰에 비해 강력한 데이터 출처를 제공하며 사전 훈련은 다른 모델에서 추출되지 않은 유기적 데이터에 의존한다고 말합니다. 회사는 이러한 출처를 통해 신뢰할 수 있는 최첨단 인텔리전스 소스인 Foundry를 통해 기업에 모델 가중치를 부여할 수 있을 뿐만 아니라 모델과 인프라의 공동 조정을 통해 Microsoft 자체 제품의 비용을 먼저 절감할 수 있다고 주장합니다.

기술 섹션에서는 실행의 성공을 위해 세 가지 이니셔티브를 인정합니다. 소스 스케일링이라는 기술을 통해 반복되는 훈련 데이터를 설명하는 "스케일링 래더"를 포함한 스케일링 과학(단계 전체에서 고정된 매개변수에 대한 고유 데이터의 비율을 유지함) 활성화 그래디언트 클리핑과 함께 향상된 MoE 및 Muon 최적화 구현을 포함한 모델 인프라 공동 설계 비전 데이터 통합으로 데이터 파이프라인 확장 Microsoft는 소스 확장이 예상치 못한 과적합 없이 2.8조 매개변수 크기까지 안정적으로 확장하는 데 핵심이었다고 말합니다.

시장에 미치는 영향

독립적인 조사에서도 주장이 유효할 경우 MAI-Base-2는 Microsoft를 OpenAI, Anthropic 및 Google과 함께 네 번째 주요 서구 개척 모델 구축업체로 자리매김합니다. 이는 소비자 챗봇 마인드 공유가 아닌 데이터 출처 및 기업 라이선스를 기반으로 차별화된 홍보를 제공합니다. 가장 먼저 중요한 시장은 Azure의 기업 고객 기반입니다. 여기서 Foundry 고객은 Microsoft가 교육 계보를 완전히 통제하는 최전방급 모델에 액세스할 수 있습니다.

독립적 검증은 여전히 ​​미해결 문제로 남아 있습니다. Microsoft의 평가는 자체적으로 보고되었으며, 비교 모델의 교육 후 주의 사항은 중요하며, 보류된 텍스트의 바이트당 비트 수는 기업이 실제로 구매하는 채팅, 코딩 및 에이전트 벤치마크로 직접 변환되지 않습니다. MAI-Thinking-1의 후속 제품인 MAI-Base-2의 사후 훈련된 파생물이 실제 테스트가 될 것입니다. 그러나 이번 발표의 기본 메시지는 분명합니다. 자체 실리콘 제품군을 통해 사내에서 최첨단 모델을 교육하려는 Microsoft의 투자는 더 이상 열망적이지 않습니다. 기본 모델이 완성되었으며 학습 후 파이프라인이 이미 실행 중입니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →