Alman araştırma kurumları ve yapay zeka şirketlerinden oluşan bir konsorsiyum, projenin tamamen açık modeller arasında hem İngilizce hem de Almanca kriterlerinde en yüksek puanları elde ettiğini söylediği açık dil modeli Soofi S 30B-A3B'yi piyasaya sürdü. Almanya'nın ulusal yapay zeka birliği olan KI Bundesverband tarafından koordine edilen sürüm, tamamen Deutsche Telekom'un Münih'teki Endüstriyel Yapay Zeka Bulutu üzerinde eğitilen ilk büyük dil modellerinden biridir ve baskın ABD ve Çin açık ağırlık sürümlerine karşı egemen bir Avrupa alternatifi olarak konumlandırılmıştır. En son yapay zeka gelişmelerini takip eden geliştiriciler için lansman, ham ölçek açısından değil, mimariye eklenen olağandışı verimlilik ve dil odağı açısından dikkate değerdir.

Yalnızca 3,2 milyar aktif parametreye sahip hibrit tasarım

Soofi S, toplamda 31,6 milyar parametreye sahip bir uzmanlar karışımı (MoE) modelidir, ancak üretilen token başına yalnızca yaklaşık 3,2 milyarı etkinleştirir. Bu, bilgi işlem maliyetini, geleneksel 30 milyar parametreli yoğun bir modelden 3 milyar parametreli bir modele yaklaştırıyor; bu, çıkarımı denizaşırı bulut sağlayıcılarına bağımlı olmadan Avrupa altyapısında çalışacak kadar ucuz tutmayı amaçlayan bir tasarım tercihi.

Mimari, Mamba-2 katmanlarını standart dikkat katmanlarıyla hibrit bir düzende birleştiren Nvidia'nın Nemotron 3 Nano'sundan ödünç alındı. Projenin ön eğitim raporuna göre, modelin 52 katmanından yalnızca 6'sı, dikkat hesaplaması için önceki belirteçleri saklayan bellek yapısı olan anahtar-değer (KV) önbelleğini barındırıyor. Geleneksel transformatörlerde bu önbellek bağlam uzunluğuyla birlikte doğrusal olarak büyür ve uzun bağlam çıkarımı sırasında büyük bir darboğaz haline gelir.

Pratik getirisi verimde ortaya çıkıyor. 32 paralel istekle 40.000 token bağlam uzunluğunda Soofi S, 14 ila 24 milyar parametre aralığındaki yoğun modellere göre GPU başına saniyede yaklaşık sekiz kat daha fazla token üretiyor. Bağlam büyüdükçe geleneksel modellerin üretim hızı keskin bir şekilde düşerken Soofi S, 4.000 tokenden 256.000 tokena kadar neredeyse sabit kalıyor. Konsorsiyumun ölçümlerindeki karşılaştırılabilir tek model, yine hibrit bir mimari kullanan Alibaba'nın Qwen3.5 35B-A3B modelidir.

İngilizce'den ödün vermeden Almanca eğitimi verildi

Almancaya kasıtlı olarak odaklanmak projenin merkezinde yer alıyor. İlk eğitim aşamasında Almanca veri karışımının yüzde 7,2'sini oluşturuyor; ikinci aşamada ise bu pay yüzde 15,3'e çıkıyor. Karşılaştırıldığında, Nvidia'nın Nemotron referans tarifinde İngilizce dışındaki tüm dillerin toplamı, eğitim karışımının yalnızca yüzde 5'ini oluşturuyor.

Veri kaynakları arasında HPLT külliyatındaki Almanca web metni, açık lisanslı German Commons külliyatı, FinePDF'lerin ve FineWiki'nin Almanca bölümleri ve 916 Alman yayınından alınan 193 milyon gazete makalesinden oluşan ticari lisanslı Genios arşivi yer almaktadır. Makineyle çevrilmiş ve sentetik olarak oluşturulmuş Almanca metinler de bu karışımı tamamlıyor.

Model, üç eğitim aşamasında kabaca 27 trilyon jetonu işledi: ilk aşamada yaklaşık 20 trilyon geniş web, kod, matematik ve alana özgü metin jetonu; saniyede yaklaşık 6 trilyon daha yüksek kaliteli token; ve bir milyon jetona kadar uzunluğa sahip belgeleri kullanarak bağlam penceresini genişleten daha kısa bir üçüncü aşama.

Karşılaştırma sonuçları: Almanca ve İngilizcede önde, matematikte daha zayıf

Konsorsiyuma göre, diğer 16 açık modele karşı yapılan değerlendirmelerde Soofi S, hem Almanca hem de İngilizce toplam puanlarında tüm tamamen açık modellerin başında yer alıyor. Buna Allen Yapay Zeka Enstitüsü'nden OLMo 3 32B ve ETH Zürih ve EPFL'den Apertus 70B dahildir. Model, Avrupa'nın tüm egemen taban değerlerine karşı, gruptaki tüm Alman kriterlerinde bazen çift haneli marjlarla önde çıkıyor.

Kod görevlerinde Soofi S, HumanEval'de yüzde 73,8, MBPP'de 70,2 ve Alman MBPP varyantında 84,2 puan aldı; açık kaynak emsalleri arasında en iyi sonuçlar. Almanya'ya özgü bölgesel bilgi testi olan INCLUDE-DE'de Soofi S, daha büyük olan Qwen3.5 35B-A3B ile 61,2 puanla birinci sırada yer alıyor. Nemotron temel çizgisiyle karşılaştırıldığında Almanca ağırlıklı veri tarifi, İngilizce performansına zarar vermeden dil yeterliliğini 15,1 puan ve GPQA-Diamond bilim kıyaslamasını 9,6 puan artırıyor.

Açık zayıflıklar var. Alman rekabet matematiğinde (Minerva MATH-DE) Soofi S 56 puan alarak 76,5 puanla Qwen3,5 35B-A3B ve 65,6 puanla Gemma 3 27B'nin oldukça gerisinde kaldı. Aynı zamanda, ekibin yalnızca yaklaşık 3 milyar aktif parametreye sahip olmasına ve dolayısıyla yoğun bir 27B modeline göre daha az depolanmış dünya bilgisine sahip olmasına atfettiği NaturalQuestions'ta açık gerçeklere erişim konusunda da takip ediyor. RULER uzun bağlam testi başka bir boşluğu ortaya çıkarıyor: Modelin uzun bir metinden sıklıkla tekrarlanan kelimeleri çıkarması gerektiğinde, isabet oranı 32.000 jetonun ötesinde yaklaşık yüzde 3'e düşerken, benzer Nemotron modeli hala yüzde 60 ila 64'ü yönetiyor.

Münih'te 512 Nvidia B200 GPU üzerine eğitim verildi

Eğitim çalışması Mart ve Mayıs 2026 arasında, Deutsche Telekom'un Münih'teki Endüstriyel Yapay Zeka Bulutunda 512'ye kadar Nvidia B200 GPU üzerinde gerçekleştirildi ve toplamda yaklaşık 253.000 GPU saati gerçekleşti. Rapora göre tesis tamamen yenilenebilir enerjiyle çalışıyor, Eisbach kanalından gelen suyla soğutuluyor ve atık ısıyı çevredeki Tucherpark mahallesine besliyor. Soofi S, bu altyapı üzerinde gerçekleştirilen ilk büyük eğitim çalışmalarından biriydi.

Modelin arkasındaki konsorsiyum, Avrupa IPCEI-CIS programının bir parçası olarak Alman Federal Ekonomik İşler ve Enerji Bakanlığı tarafından finanse ediliyor. Katılımcılar arasında Fraunhofer Enstitüleri IAIS ve IIS, Alman Yapay Zeka Araştırma Merkezi (DFKI), TU Darmstadt, Würzburg Üniversitesi, L3S Araştırma Merkezi, Berlin Uygulamalı Bilimler Üniversitesi ve yapay zeka şirketleri Ellamind ve Merantix Momentum yer alıyor.

'Aşırı antrenman' üzerine bir tartışma

Lansmanından kısa bir süre sonra eleştirmenler, Soofi S'nin, Google DeepMind tarafından 2022'de yayınlanan ve parametre başına 20 tokenlik kaba bir tatlı nokta öneren klasik Chinchilla ölçeklendirme yasalarının standartlarına göre aşırı eğitildiğini savundu. 27 trilyon token ve yaklaşık 30 milyar parametreyle Soofi S, parametre başına birkaç yüz tokene ulaşıyor; yalnızca 3,2 milyar aktif parametrenin sayılması, oranın binlere çıkmasına neden oluyor.

Projenin teknik liderliğinden Michael Fromm, bu kuralların MEB mimarilerine uygulanmadığını öne sürerek bu eleştiriyi geri çevirdi. Fromm, "Yoğun modellerdeki eski ölçeklendirme yasalarının artık MoE mimarileri için geçerli olmadığını gösteren yeni araştırmalar var" dedi ve bireysel uzmanların aynı belgeleri büyük, yüksek kaliteli bir veri kümesinde tekrar tekrar görmenin fayda sağladığını belirtti. Karşılaştırma noktası olarak kendi modellerini 25 trilyona kadar token üzerinde eğiten Nvidia'yı işaret etti.

Neler yayınlanır ve neler yayınlanmaz

Araştırmacılar, seçilen ara kontrol noktaları, tam eğitim ve değerlendirme kodu ve ham token sayımlarını, dönem sayılarını ve kaynak başına etkili katkıları listeleyen ayrıntılı bir veri envanteriyle birlikte model ağırlıklarını yayınlıyor. Ekibe göre bu, Soofi S'nin Açık Kaynak Girişiminin Açık Kaynak Yapay Zeka Tanımı 1.0'ı karşıladığı anlamına geliyor.

Her bir eğitim tokeninin serbestçe dağıtılabilir olmasını gerektiren Avrupa açık veri tanımına yönelik daha katı bir öneri karşılanamadı çünkü karışımın yüzde 1,3'ü ticari lisanslı Genios derleminden geliyor. Raporda, eğitim verilerinin yaklaşık yüzde 99'unun hala bağımsız olarak yeniden yapılandırılabileceği belirtiliyor. Modelin piyasaya sürülmesi için kesin lisans, yayınlandığı tarihte henüz kesinleşmemişti.

Konsorsiyum şimdi Soofi S'yi teknik belgeler, kod oluşturma ve aracı tabanlı sistemler içeren uygulamalarda test etmek için bir sonraki aşama için endüstri ortakları arıyor. Açık ağırlıklı model sürümleri, bağımsız yapay zeka altyapısı ve Avrupa yapay zeka ekosistemi hakkında daha fazla bilgi için burada yayınlanan Yapay zeka endüstrisi kapsamını takip edin.

Açık kaynaklı yapay zeka konusunda bir adım önde olun

Açık ağırlıklı sürümler Amerika Birleşik Devletleri, Çin ve şimdi de Avrupa'daki laboratuvarlardan neredeyse her hafta geliyor ve en büyük tescilli modeller ile en iyi açık alternatifler arasındaki fark daralmaya devam ediyor. Resmin tamamı için son dakika yapay zeka haberlerini ve karşılaştırma analizini buradan takip edin.

Yapay zeka modeliyle ilgili daha fazla bilgi edinin →