Consorțiul german lansează Soofi S, un model Open 30B care depășește standardele de referință în engleză și germană

Un consorțiu de instituții de cercetare germane și companii de inteligență artificială a lansat Soofi S 30B-A3B, un model de limbă deschisă despre care proiectul spune că obține cele mai mari scoruri atât la standardele de referință în engleză, cât și în germană dintre modelele complet deschise. Coordonată de KI Bundesverband, asociația națională de inteligență artificială a Germaniei, lansarea este unul dintre primele modele lingvistice mari instruite în întregime pe Industrial AI Cloud al Deutsche Telekom din München și este poziționată ca o alternativă europeană suverană la lansările dominante ale Statelor Unite și ale Chinei. Pentru dezvoltatorii care urmăresc cele mai recente dezvoltări AI, lansarea este notabilă mai puțin pentru scara brută decât pentru eficiența neobișnuită și concentrarea asupra limbajului introdus în arhitectură.

Un design hibrid cu doar 3,2 miliarde de parametri activi

Soofi S este un model mixture-of-experts (MoE) cu 31,6 miliarde de parametri în total, dar activează doar aproximativ 3,2 miliarde per token generat. Acest lucru apropie costul său de calcul mai aproape de un model cu 3 miliarde de parametri decât un model convențional dens de 30 de miliarde de parametri, o alegere de design care vizează menținerea inferenței suficient de ieftine pentru a rula pe infrastructura europeană fără a se baza pe furnizorii de cloud de peste mări.

Arhitectura este împrumutată de la Nemotron 3 Nano de la Nvidia, combinând straturi Mamba-2 cu straturi standard de atenție într-un aspect hibrid. Conform raportului de preinstruire al proiectului, doar 6 dintre cele 52 de straturi ale modelului mențin un cache-cheie-valoare (KV) - structura de memorie care stochează token-urile anterioare pentru calculul atenției. În transformatoarele convenționale, memoria cache crește liniar cu lungimea contextului și devine un blocaj major în timpul inferenței de context lung.

Beneficiul practic apare în debit. La o lungime a contextului de 40.000 de jetoane cu 32 de solicitări paralele, Soofi S generează de aproximativ opt ori mai multe jetoane pe secundă per GPU decât modelele dense în intervalul de la 14 la 24 de miliarde de parametri. În timp ce viteza de generare pentru modelele convenționale scade brusc pe măsură ce contextul crește, Soofi S rămâne aproape constantă de la 4.000 de jetoane până la 256.000 de jetoane. Singurul model comparabil din măsurătorile consorțiului este Qwen3.5 35B-A3B de la Alibaba, care folosește și o arhitectură hibridă.

S-a pregătit pentru germană, fără a sacrifica limba engleză

Accentul deliberat pe limba germană este esențial pentru proiect. În prima fază de pregătire, limba germană reprezintă 7,2 la sută din mixul de date; în a doua fază, această pondere crește la 15,3 la sută. Prin comparație, în rețeta de referință Nemotron de la Nvidia, toate limbile non-engleze combinate reprezintă doar aproximativ 5% din amestecul de antrenament.

Sursele de date includ text web în limba germană din corpus HPLT, corpus comun german cu licență deschisă, porțiuni germane ale FinePDF-urilor și FineWiki și arhiva Genios cu licență comercială de 193 de milioane de articole din ziare extrase din 916 publicații germane. Textele germane traduse automat și generate sintetic completează amestecul.

Modelul a procesat aproximativ 27 de trilioane de jetoane în trei faze de antrenament: aproximativ 20 de trilioane de jetoane de tip broad web, cod, matematică și text specific domeniului în prima fază; aproximativ 6 trilioane de jetoane de calitate superioară în al doilea; și o a treia fază mai scurtă care extinde fereastra de context folosind documente cu o lungime de până la un milion de jetoane.

Rezultate de referință: înainte la germană și engleză, mai slab la matematică

În evaluările față de alte 16 modele deschise, Soofi S conduce toate modelele complet deschise pe scoruri agregate atât pentru germană, cât și pentru engleză, potrivit consorțiului. Aceasta include OLMo 3 32B de la Institutul Allen pentru AI și Apertus 70B de la ETH Zurich și EPFL. Față de fiecare linie de bază suverană europeană, modelul iese în frunte pe toate punctele de referință germane din suită, uneori cu marje de două cifre.

În ceea ce privește sarcinile de cod, Soofi S obține scoruri de 73,8% la HumanEval, 70,2 la MBPP și 84,2 la varianta germană MBPP - cele mai bune rezultate în rândul colegilor open-source. Pe INCLUDE-DE, un test pentru cunoștințele regionale specifice Germaniei, Soofi S se află pe primul loc la 61,2 puncte cu Qwen3.5 35B-A3B mai mare. În comparație cu linia de bază Nemotron, rețeta de date ponderate în germană îmbunătățește cunoștințele lingvistice cu 15,1 puncte, iar referința științifică GPQA-Diamond cu 9,6 puncte, fără a afecta performanța limbii engleze.

Există puncte slabe clare. La matematica competiției germane (Minerva MATH-DE), Soofi S înscrie 56 de puncte, cu mult în urma Qwen3.5 35B-A3B cu 76.5 și Gemma 3 27B cu 65.6. De asemenea, urmărește regăsirea faptelor deschise în NaturalQuestions, pe care echipa o atribuie că are doar aproximativ 3 miliarde de parametri activi și, prin urmare, cunoștințe despre lume mai puțin stocate decât un model dens 27B. Testul de context lung RULER evidențiază un alt decalaj: atunci când modelul trebuie să extragă cuvintele care apar frecvent dintr-un text lung, rata de atingere scade la aproximativ 3% dincolo de 32.000 de jetoane, în timp ce modelul comparabil Nemotron gestionează încă 60 până la 64%.

Antrenat pe 512 GPU-uri Nvidia B200 în Munchen

Cursa de instruire a avut loc între martie și mai 2026 pe până la 512 GPU-uri Nvidia B200 la Industrial AI Cloud al Deutsche Telekom din München, însumând aproximativ 253.000 de ore GPU. Instalația funcționează în întregime cu energie regenerabilă, este răcită cu apă din canalul Eisbach și alimentează căldura reziduală în cartierul Tucherpark din jur, potrivit raportului. Soofi S a fost una dintre primele curse majore de antrenament efectuate pe această infrastructură.

Consorțiul din spatele modelului este finanțat de Ministerul Federal German pentru Afaceri Economice și Energie, ca parte a programului european IPCEI-CIS. Printre participanți se numără institutele Fraunhofer IAIS și IIS, Centrul German de Cercetare pentru Inteligență Artificială (DFKI), TU Darmstadt, Universitatea din Würzburg, Centrul de Cercetare L3S, Universitatea de Științe Aplicate din Berlin și companiile AI Ellamind și Merantix Momentum.

O dezbatere asupra „supraantrenării”

La scurt timp după lansare, criticii au susținut că Soofi S a fost puternic supraantrenat de standardele legilor clasice de scalare Chinchilla publicate de Google DeepMind în 2022, care sugerau un punct dulce aproximativ de 20 de jetoane per parametru. Cu 27 de trilioane de jetoane și aproximativ 30 de miliarde de parametri, Soofi S ajunge la câteva sute de jetoane per parametru; numărarea doar a celor 3,2 miliarde de parametri activi împinge raportul la mii.

Michael Fromm, parte din conducerea tehnică a proiectului, a respins această critică, argumentând că acele reguli nu se transferă la arhitecturile MoE. „Există noi cercetări care arată că vechile legi de scalare din modelele dense nu se mai aplică arhitecturilor MoE”, a spus Fromm, observând că experții individuali beneficiază de a vedea aceleași documente în mod repetat într-un set de date mare, de înaltă calitate. Ca punct de comparație, el a menționat Nvidia, care și-a antrenat propriile modele pe până la 25 de trilioane de jetoane.

Ce este lansat și ce nu

Cercetătorii lansează ponderi ale modelului împreună cu punctele de control intermediare selectate, codul complet de instruire și evaluare și un inventar detaliat de date care listează numărul de simboluri brute, numerele de epocă și contribuțiile eficiente pe sursă. Potrivit echipei, aceasta înseamnă că Soofi S îndeplinește Open Source AI Definition 1.0 de la Open Source Initiative.

O propunere mai strictă pentru o definiție europeană a datelor deschise, care ar necesita ca fiecare simbol de formare să fie distribuit gratuit, nu este îndeplinită deoarece 1,3% din combinație provine din corpus Genios cu licență comercială. Raportul spune că aproximativ 99% din datele de antrenament pot fi încă reconstruite independent. Licența exactă pentru lansarea modelului nu fusese finalizată la momentul publicării.

Consorțiul caută acum parteneri din industrie pentru următoarea fază de testare a Soofi S în aplicații care implică documente tehnice, generare de cod și sisteme bazate pe agenți. Pentru mai multe despre lansările de modele deschise, infrastructura AI suverană și ecosistemul AI european, țineți pasul cu acoperirea industriei AI publicată aici.

Rămâneți în frunte cu IA open-source

Lansările open-weight sosesc aproape săptămânal din laboratoarele din Statele Unite, China și acum Europa, iar decalajul dintre cele mai mari modele proprietare și cele mai bune alternative deschise continuă să se restrângă. Urmăriți știrile de ultimă oră AI și analiza de referință aici pentru imaginea completă.

Citiți mai multe acoperire model AI →