Konsorcium německých výzkumných institucí a společností zabývajících se umělou inteligencí vydalo Soofi S 30B-A3B, model otevřeného jazyka, o kterém projekt říká, že dosahuje nejvyšších skóre v anglických a německých benchmarkech mezi plně otevřenými modely. Vydání, které koordinuje KI Bundesverband, německá národní asociace pro umělou inteligenci, je jedním z prvních velkých jazykových modelů vyškolených výhradně na průmyslovém cloudu AI společnosti Deutsche Telekom v Mnichově a je umístěno jako suverénní evropská alternativa k dominantním americkým a čínským verzím s otevřenou váhou. Pro vývojáře sledující [nejnovější vývoj umělé inteligence] (https://aibuzzwire.news) je uvedení na trh pozoruhodné méně z hlediska hrubého rozsahu, jako spíše pro neobvyklou efektivitu a jazykové zaměření architektury.

Hybridní design s pouze 3,2 miliardami aktivních parametrů

Soofi S je model mix-of-experts (MoE) s celkem 31,6 miliardami parametrů, ale aktivuje pouze asi 3,2 miliardy na vygenerovaný token. Tím se jeho výpočetní náklady přibližují modelu s 3 miliardami parametrů než konvenčnímu modelu s hustotou 30 miliard parametrů, což je návrhová volba, jejímž cílem je udržet závěry dostatečně levné, aby bylo možné provozovat na evropské infrastruktuře bez spoléhání se na zámořské poskytovatele cloudu.

Architektura je vypůjčena z Nemotron 3 Nano od Nvidie a kombinuje vrstvy Mamba-2 se standardními vrstvami pozornosti v hybridním uspořádání. Podle zprávy o předběžném školení projektu pouze 6 z 52 vrstev modelu udržuje mezipaměť klíč-hodnota (KV) – paměťovou strukturu, která ukládá předchozí tokeny pro výpočet pozornosti. V konvenčních transformátorech tato mezipaměť roste lineárně s délkou kontextu a stává se hlavním úzkým hrdlem při odvozování dlouhého kontextu.

Praktický přínos se projevuje v propustnosti. Při délce kontextu 40 000 tokenů s 32 paralelními požadavky generuje Soofi S zhruba osmkrát více tokenů za sekundu na GPU než husté modely v rozsahu 14 až 24 miliard parametrů. Zatímco rychlost generování konvenčních modelů prudce klesá s rostoucím kontextem, Soofi S zůstává téměř beze změny ze 4 000 tokenů až na 256 000 tokenů. Jediným srovnatelným modelem v měřeních konsorcia je Qwen3.5 35B-A3B od Alibaby, který rovněž využívá hybridní architekturu.

Vyučen v němčině, aniž byste obětovali angličtinu

Záměrné zaměření na němčinu je ústředním bodem projektu. V první tréninkové fázi tvoří němčina 7,2 procenta datového mixu; ve druhé fázi tento podíl vzroste na 15,3 procenta. Pro srovnání, v referenčním receptu Nemotron společnosti Nvidia tvoří všechny neanglické jazyky dohromady pouze asi 5 procent tréninkového mixu.

Zdroje dat zahrnují německý webový text z korpusu HPLT, korpus s otevřenou licencí German Commons, německé části souborů FinePDF a FineWiki a komerčně licencovaný archiv Genios se 193 miliony novinových článků čerpaných z 916 německých publikací. Strojově přeložené a synteticky generované německé texty doplňují mix.

Model zpracoval zhruba 27 bilionů tokenů ve třech cvičných fázích: v první fázi asi 20 bilionů tokenů širokého webu, kódu, matematiky a textu specifického pro doménu; kolem 6 bilionů kvalitnějších tokenů ve druhém; a kratší třetí fázi rozšiřující kontextové okno pomocí dokumentů o délce až jednoho milionu tokenů.

Výsledky benchmarku: vpřed v němčině a angličtině, slabší v matematice

V hodnocení proti 16 dalším otevřeným modelům vede Soofi S u všech plně otevřených modelů v souhrnném skóre pro němčinu i angličtinu, podle konsorcia. To zahrnuje OLMo 3 32B z Allen Institute for AI a Apertus 70B z ETH Zurich a EPFL. Ve srovnání s každým evropským suverénním základním modelem vychází model napřed ve všech německých benchmarkech v sadě, někdy s dvoucifernými maržemi.

V kódových úlohách má Soofi S skóre 73,8 procenta na HumanEval, 70,2 na MBPP a 84,2 na německé variantě MBPP – nejlepší výsledky mezi partnery s otevřeným zdrojovým kódem. V testu INCLUDE-DE, testu regionálních znalostí specifických pro Německo, se Soofi S dělí o první místo s 61,2 body s větším Qwen3.5 35B-A3B. V porovnání se základní linií Nemotronu zlepšuje recept na německy vážená data znalost jazyka o 15,1 bodu a vědecký benchmark GPQA-Diamond o 9,6 bodu, aniž by utrpěl výkon v angličtině.

Existují jasné slabiny. V německé soutěžní matematice (Minerva MATH-DE) dosahuje Soofi S 56 bodů, výrazně za Qwen3.5 35B-A3B s 76,5 a Gemma 3 27B s 65,6. Sleduje také otevřené faktické vyhledávání v NaturalQuestions, které tým přisuzuje tomu, že má pouze asi 3 miliardy aktivních parametrů, a tedy méně uložených světových znalostí než hustý 27B model. Dlouhý kontextový test RULER odkrývá další mezeru: když model musí extrahovat často se vyskytující slova z dlouhého textu, jeho četnost zásahů klesne na přibližně 3 procenta za 32 000 tokenů, zatímco srovnatelný model Nemotron stále zvládá 60 až 64 procent.

Trénováno na 512 GPU Nvidia B200 v Mnichově

Školení probíhalo od března do května 2026 na až 512 GPU Nvidia B200 v průmyslovém cloudu AI společnosti Deutsche Telekom v Mnichově, celkem asi 253 000 GPU hodin. Zařízení běží výhradně na obnovitelné zdroje energie, je chlazeno vodou z kanálu Eisbach a podle zprávy dodává odpadní teplo do okolní čtvrti Tucherpark. Soofi S byl jedním z prvních velkých tréninků na této infrastruktuře.

Konsorcium stojící za modelem je financováno německým Spolkovým ministerstvem hospodářství a energetiky v rámci evropského programu IPCEI-CIS. Mezi účastníky patří Fraunhoferovy instituty IAIS a IIS, Německé výzkumné centrum pro umělou inteligenci (DFKI), TU Darmstadt, Univerzita Würzburg, Výzkumné centrum L3S, Berlínská univerzita aplikovaných věd a společnosti AI Ellamind a Merantix Momentum.

Debata o „přetrénování“

Brzy po spuštění kritici tvrdili, že Soofi S byla silně přetrénovaná standardy klasických zákonů o škálování činčily zveřejněných společností Google DeepMind v roce 2022, které navrhovaly hrubé sladké místo 20 tokenů na parametr. S 27 biliony tokenů a zhruba 30 miliardami parametrů přistane Soofi S na několika stovkách tokenů na parametr; počítání pouze 3,2 miliardy aktivních parametrů tlačí poměr do tisíců.

Michael Fromm, součást technického vedení projektu, tuto kritiku zatlačil a tvrdil, že tato pravidla se nepřenášejí do architektur MŽP. "Nový výzkum ukazuje, že staré škálovací zákony z hustých modelů již neplatí pro architektury MoE," řekl Fromm s tím, že jednotliví odborníci těží z toho, že opakovaně vidí stejné dokumenty ve velkém, vysoce kvalitním souboru dat. Pro srovnání uvedl Nvidii, která natrénovala vlastní modely až na 25 bilionech tokenů.

Co se uvolní a co ne

Výzkumníci uvolňují modelové váhy spolu s vybranými přechodnými kontrolními body, kompletním školicím a vyhodnocovacím kódem a podrobným inventářem dat se seznamem nezpracovaných počtů tokenů, čísel epoch a efektivních příspěvků na zdroj. Podle týmu to znamená, že Soofi S splňuje Open Source AI Definition 1.0 od Open Source Initiative.

Přísnější návrh na evropskou definici otevřených dat, která by vyžadovala, aby každý jednotlivý tréninkový token byl volně šiřitelný, není splněn, protože 1,3 procenta mixu pochází z komerčně licencovaného korpusu Genios. Zpráva říká, že asi 99 procent tréninkových dat lze stále nezávisle rekonstruovat. Přesná licence pro vydání modelu nebyla v době zveřejnění dokončena.

Konsorcium nyní hledá průmyslové partnery pro další fázi pro testování Soofi S v aplikacích zahrnujících technické dokumenty, generování kódu a systémy založené na agentech. Další informace o verzích modelů s otevřenou váhou, suverénní infrastruktuře umělé inteligence a evropském ekosystému umělé inteligence najdete v pokrytí odvětví umělé inteligence, které je zveřejněno zde.

Zůstaňte napřed v oblasti umělé inteligence s otevřeným zdrojovým kódem

Otevřené verze přicházejí téměř každý týden z laboratoří ve Spojených státech, Číně a nyní i v Evropě a propast mezi největšími proprietárními modely a nejlepšími otevřenými alternativami se stále zmenšuje. Pro úplný obrázek sledujte nejnovější zprávy o AI a srovnávací analýzu zde.

Přečtěte si více pokrytí modelů AI →