독일 컨소시엄, 영어 및 독일 벤치마크를 능가하는 개방형 30B 모델 Soofi S 출시

독일 컨소시엄은 Deutsche Telekom의 뮌헨 클라우드에서 훈련된 하이브리드 MoE 모델인 Soofi S 30B-A3B를 출시했으며, 이는 영어 및 독일 벤치마크에서 완전 개방형 모델을 능가합니다.

독일 연구 기관과 AI 기업으로 구성된 컨소시엄이 완전 개방형 모델 중 영어와 독일어 벤치마크 모두에서 가장 높은 점수를 획득한 개방형 언어 모델인 Soofi S 30B-A3B를 출시했습니다. 독일의 국가 AI 협회인 KI Bundesverband가 조정한 이 릴리스는 뮌헨에 있는 Deutsche Telekom의 Industrial AI Cloud에서 완전히 훈련된 최초의 대규모 언어 모델 중 하나이며 지배적인 미국 및 중국의 개방형 릴리스에 대한 주권 유럽 대안으로 자리매김했습니다. 최신 AI 개발을 추적하는 개발자들에게 이번 출시는 원시 규모보다는 아키텍처에 적용된 특이한 효율성과 언어 초점에 주목할 만합니다.

활성 매개변수가 32억개에 불과한 하이브리드 설계

Soofi S는 총 316억 개의 매개변수를 가진 전문가 혼합(MoE) 모델이지만 생성된 토큰당 약 32억 개만 활성화됩니다. 이는 컴퓨팅 비용을 기존의 300억 매개변수 밀도 모델보다 30억 매개변수 모델에 더 가깝게 만듭니다. 이는 해외 클라우드 공급자에 의존하지 않고 유럽 인프라에서 실행할 수 있을 만큼 추론을 저렴하게 유지하는 것을 목표로 한 설계 선택입니다.

이 아키텍처는 Nvidia의 Nemotron 3 Nano에서 차용되었으며, Mamba-2 레이어와 표준 주의 레이어를 하이브리드 레이아웃으로 결합합니다. 프로젝트의 사전 훈련 보고서에 따르면, 모델의 52개 레이어 중 6개 레이어만이 주의 계산을 위해 이전 토큰을 저장하는 메모리 구조인 키-값(KV) 캐시를 유지합니다. 기존 변환기에서 해당 캐시는 컨텍스트 길이에 따라 선형적으로 증가하며 긴 컨텍스트 추론 중에 주요 병목 현상이 됩니다.

실질적인 보상은 처리량으로 나타납니다. 32개의 병렬 요청이 있는 40,000개 토큰의 컨텍스트 길이에서 Soofi S는 140~240억 매개변수 범위의 밀도 모델보다 GPU당 초당 약 8배 더 많은 토큰을 생성합니다. 기존 모델의 생성 속도는 상황이 커짐에 따라 급격하게 떨어지는 반면, Soofi S는 4,000개 토큰에서 256,000개 토큰까지 거의 일정하게 유지됩니다. 컨소시엄 측정에서 유일하게 비교 가능한 모델은 하이브리드 아키텍처를 사용하는 Alibaba의 Qwen3.5 35B-A3B입니다.

영어를 희생하지 않고 독일어 교육을 받았습니다.

독일어에 의도적으로 초점을 맞추는 것이 프로젝트의 핵심입니다. 첫 번째 훈련 단계에서 독일어는 데이터 혼합의 7.2%를 차지합니다. 두 번째 단계에서는 그 비율이 15.3%로 증가합니다. 이에 비해 Nvidia의 Nemotron 참조 레시피에서는 영어가 아닌 모든 언어를 합쳐서 훈련 믹스의 약 5%만 차지합니다.

데이터 소스에는 HPLT 말뭉치의 독일어 웹 텍스트, 공개 라이선스가 부여된 German Commons 말뭉치, FinePDFs 및 FineWiki의 독일어 부분, 916개의 독일 간행물에서 가져온 1억 9,300만 개의 신문 기사로 구성된 상업적으로 라이선스가 부여된 Genios 아카이브가 포함됩니다. 기계 번역 및 합성 생성된 독일어 텍스트가 혼합되어 있습니다.

이 모델은 세 가지 훈련 단계에 걸쳐 약 27조 개의 토큰을 처리했습니다. 첫 번째 단계에서는 광범위한 웹, 코드, 수학 및 도메인별 텍스트로 구성된 약 20조 개의 토큰이 처리되었습니다. 두 번째에는 약 6조 개의 고품질 토큰이 있습니다. 최대 100만 개의 토큰 길이의 문서를 사용하여 컨텍스트 창을 확장하는 더 짧은 세 번째 단계입니다.

벤치마크 결과: 독일어와 영어는 앞서고 수학은 약함

컨소시엄에 따르면 다른 16개 개방형 모델에 대한 평가에서 Soofi S는 독일어와 영어 모두에 대한 총점에서 모든 완전 개방형 모델을 앞서고 있습니다. 여기에는 Allen Institute for AI의 OLMo 3 32B와 ETH Zurich 및 EPFL의 Apertus 70B가 포함됩니다. 모든 유럽 주권 기준선에 대해 모델은 제품군의 모든 독일 벤치마크에서 때로는 두 자릿수 마진으로 앞서 나갑니다.

코드 작업에서 Soofi S는 HumanEval에서 73.8%, MBPP에서 70.2점, 독일 MBPP 변형에서 84.2점을 얻었습니다. 이는 오픈 소스 동료 중 가장 좋은 결과입니다. 독일별 지역 지식 테스트인 INCLUDE-DE에서 Soofi S는 61.2점으로 더 큰 Qwen3.5 35B-A3B와 함께 1위를 차지했습니다. Nemotron 기준과 비교하여 독일어 가중치 데이터 레시피는 영어 성능을 저하시키지 않으면서 언어 능력을 15.1점, GPQA-Diamond 과학 벤치마크를 9.6점 향상시킵니다.

분명한 약점이 있습니다. 독일 경쟁 수학(Minerva MATH-DE)에서 Soofi S는 56점을 얻었으며 이는 Qwen3.5 35B-A3B의 76.5점, Gemma 3 27B의 65.6점보다 훨씬 뒤처졌습니다. 또한 팀은 약 30억 개의 활성 매개변수만 갖고 있어 조밀한 27B 모델보다 저장된 세계 지식이 적다고 생각하는 NaturalQuestions의 공개 사실 검색을 뒤쫓습니다. RULER 긴 컨텍스트 테스트는 또 다른 격차를 드러냅니다. 모델이 긴 텍스트에서 자주 발생하는 단어를 추출해야 하는 경우 적중률은 32,000개 토큰을 넘어 약 3%로 떨어지는 반면, 유사한 Nemotron 모델은 여전히 60~64%를 관리합니다.

뮌헨에서 512개의 Nvidia B200 GPU로 훈련됨

훈련 실행은 2026년 3월부터 5월 사이에 뮌헨에 있는 Deutsche Telekom의 산업용 AI 클라우드에서 최대 512개의 Nvidia B200 GPU에서 진행되었으며, 총 약 253,000 GPU 시간입니다. 보고서에 따르면 이 시설은 전적으로 재생 가능 에너지로 운영되고 Eisbach 운하의 물로 냉각되며 폐열을 주변 Tucherpark 지역으로 공급합니다. Soofi S는 이 인프라에서 수행된 최초의 주요 교육 실행 중 하나였습니다.

이 모델을 뒷받침하는 컨소시엄은 유럽 IPCEI-CIS 프로그램의 일환으로 독일 연방 경제에너지부의 자금 지원을 받습니다. 참가자로는 프라운호퍼 연구소 IAIS 및 IIS, 독일 인공 지능 연구 센터(DFKI), TU 다름슈타트, 뷔르츠부르크 대학, L3S 연구 센터, 베를린 응용 과학 대학, AI 회사 Ellamind 및 Merantix Momentum이 있습니다.

'오버트레이닝'에 대한 논쟁

출시 직후 비평가들은 Soofi S가 Google DeepMind가 2022년에 발표한 고전적인 Chinchilla 스케일링 법칙의 표준에 의해 과도하게 훈련되었다고 주장했습니다. 이는 매개변수당 20개의 토큰이라는 대략적인 최적 지점을 제안했습니다. 27조 개의 토큰과 약 300억 개의 매개변수를 갖춘 Soofi S는 매개변수당 수백 개의 토큰에 도달합니다. 32억 개의 활성 매개변수만 계산하면 그 비율이 수천 개가 됩니다.

프로젝트 기술 리더십의 일부인 Michael Fromm은 이러한 규칙이 MoE 아키텍처에 적용되지 않는다고 주장하면서 이러한 비판을 거부했습니다. Fromm은 "밀집된 모델의 오래된 확장 법칙이 더 이상 MoE 아키텍처에 적용되지 않는다는 것을 보여주는 새로운 연구가 있습니다."라고 Fromm은 말했습니다. 또한 개별 전문가는 대규모 고품질 데이터 세트에서 동일한 문서를 반복적으로 볼 때 이점을 얻을 수 있다고 지적했습니다. 비교 지점으로 그는 최대 25조 개의 토큰에 대해 자체 모델을 훈련한 Nvidia를 지적했습니다.

출시되는 것과 출시되지 않는 것

연구원들은 선택된 중간 체크포인트, 완전한 훈련 및 평가 코드, 원시 토큰 수, 에포크 번호 및 소스당 효과적인 기여를 나열하는 상세한 데이터 인벤토리와 함께 모델 가중치를 공개하고 있습니다. 팀에 따르면 이는 Soofi S가 오픈 소스 이니셔티브의 오픈 소스 AI 정의 1.0을 충족한다는 것을 의미합니다.

모든 단일 교육 토큰을 자유롭게 배포할 수 있도록 요구하는 유럽 개방형 데이터 정의에 대한 보다 엄격한 제안은 혼합의 1.3%가 상업적으로 라이선스가 부여된 Genios 코퍼스에서 나오기 때문에 충족되지 않습니다. 보고서에 따르면 훈련 데이터의 약 99%는 여전히 독립적으로 재구성될 수 있습니다. 모델 출시에 대한 정확한 라이센스는 출판 당시 확정되지 않았습니다.

컨소시엄은 이제 기술 문서, 코드 생성 및 에이전트 기반 시스템과 관련된 응용 프로그램에서 Soofi S를 테스트하기 위한 다음 단계의 업계 파트너를 찾고 있습니다. 개방형 모델 출시, 주권 AI 인프라, 유럽 AI 생태계에 대한 자세한 내용을 보려면 여기에 게시된 AI 산업 보도를 확인하세요.