Konsorcjum niemieckich instytucji badawczych i firm zajmujących się sztuczną inteligencją wypuściło Soofi S 30B-A3B, model w języku otwartym, który według projektu osiąga najwyższe wyniki w testach angielskich i niemieckich wśród modeli w pełni otwartych. Wydanie, koordynowane przez KI Bundesverband, niemieckie stowarzyszenie zajmujące się sztuczną inteligencją, jest jednym z pierwszych dużych modeli językowych przeszkolonych w całości w chmurze przemysłowej AI firmy Deutsche Telekom w Monachium i jest pozycjonowane jako suwerenna europejska alternatywa dla dominujących wydań otwartych w Stanach Zjednoczonych i Chinach. Dla programistów śledzących najnowsze osiągnięcia AI premiera jest godna uwagi nie tyle ze względu na surową skalę, ile na niezwykłą wydajność i skupienie na języku wpisane w architekturę.

Konstrukcja hybrydowa z zaledwie 3,2 miliardami aktywnych parametrów

Soofi S to model złożony z ekspertów (MoE) z łącznie 31,6 miliardami parametrów, ale aktywuje tylko około 3,2 miliarda na wygenerowany token. To sprawia, że ​​koszt obliczeń jest bliższy modelowi o 3 miliardach parametrów niż konwencjonalnemu, gęstemu modelowi o 30 miliardach parametrów, co stanowi wybór projektowy mający na celu zapewnienie wystarczająco taniego wnioskowania, aby można było działać w europejskiej infrastrukturze bez konieczności polegania na zagranicznych dostawcach usług w chmurze.

Architektura jest zapożyczona z Nemotron 3 Nano firmy Nvidia i łączy warstwy Mamba-2 ze standardowymi warstwami uwagi w układzie hybrydowym. Według raportu z wstępnego szkolenia opracowanego w ramach projektu tylko 6 z 52 warstw modelu utrzymuje pamięć podręczną typu klucz-wartość (KV) — strukturę pamięci przechowującą poprzednie tokeny na potrzeby obliczeń uwagi. W konwencjonalnych transformatorach ta pamięć podręczna rośnie liniowo wraz z długością kontekstu i staje się głównym wąskim gardłem podczas wnioskowania o długim kontekście.

Praktyczna korzyść pojawia się w przepustowości. Przy długości kontekstu wynoszącej 40 000 tokenów i 32 równoległych żądaniach, Soofi S generuje około osiem razy więcej tokenów na sekundę na procesor graficzny niż gęste modele w zakresie od 14 do 24 miliardów parametrów. Podczas gdy prędkość generowania konwencjonalnych modeli gwałtownie spada wraz ze wzrostem kontekstu, Soofi S utrzymuje się na niemal niezmienionym poziomie od 4000 do 256 000 tokenów. Jedynym porównywalnym modelem w pomiarach konsorcjum jest Qwen3.5 35B-A3B Alibaba, który również wykorzystuje architekturę hybrydową.

Przeszkolony w zakresie języka niemieckiego, bez poświęcania angielskiego

Centralnym elementem projektu jest celowe skupienie się na języku niemieckim. W pierwszej fazie szkolenia język niemiecki stanowi 7,2% zbioru danych; w drugiej fazie udział ten wzrasta do 15,3 proc. Dla porównania, w referencyjnej recepturze Nemotron firmy Nvidia wszystkie języki inne niż angielski łącznie stanowią jedynie około 5 procent miksu szkoleniowego.

Źródła danych obejmują niemieckie teksty internetowe z korpusu HPLT, korpusu German Commons na otwartej licencji, niemieckie fragmenty plików FinePDF i FineWiki oraz licencjonowane komercyjnie archiwum Genios zawierające 193 miliony artykułów prasowych pochodzących z 916 publikacji niemieckich. Całość uzupełniają tłumaczone maszynowo i syntetycznie generowane teksty w języku niemieckim.

Model przetworzył około 27 bilionów tokenów w trzech fazach uczenia: w pierwszej fazie około 20 bilionów tokenów szerokiej sieci, kodu, matematyki i tekstu specyficznego dla domeny; w drugim około 6 bilionów tokenów wyższej jakości; oraz krótsza trzecia faza rozszerzająca okno kontekstowe przy użyciu dokumentów o długości do jednego miliona tokenów.

Wyniki testów porównawczych: przewaga w języku niemieckim i angielskim, słabsza w matematyce

Według konsorcjum w ocenach 16 innych otwartych modeli Soofi S prowadzi we wszystkich w pełni otwartych modelach pod względem łącznych wyników zarówno w języku niemieckim, jak i angielskim. Obejmuje to OLMo 3 32B z Allen Institute for AI i Apertus 70B z ETH Zurich i EPFL. Na tle każdego europejskiego modelu bazowego model ten wypada na tle wszystkich niemieckich wskaźników referencyjnych w pakiecie, czasami z dwucyfrową marżą.

W zadaniach związanych z kodem Soofi S uzyskuje 73,8 procent w HumanEval, 70,2 w MBPP i 84,2 w niemieckim wariancie MBPP — to najlepsze wyniki wśród konkurentów open source. W teście INCLUDE-DE, sprawdzającym wiedzę regionalną dotyczącą Niemiec, Soofi S zajmuje pierwsze miejsce z notą 61,2 punktu z większym modelem Qwen3.5 35B-A3B. W porównaniu z bazowym rozwiązaniem Nemotron, receptura danych ważonych w języku niemieckim poprawia biegłość językową o 15,1 punktu, a test porównawczy naukowy GPQA-Diamond o 9,6 punktu, bez szkody dla wydajności w języku angielskim.

Istnieją wyraźne słabości. W niemieckiej matematyce konkursowej (Minerva MATH-DE) Soofi S zdobywa 56 punktów, znacznie za Qwen3.5 35B-A3B z wynikiem 76,5 i Gemmą 3 27B z wynikiem 65,6. Opiera się także na otwartym wyszukiwaniu faktów w NaturalQuestions, które zespół przypisuje jedynie około 3 miliardom aktywnych parametrów, a zatem mniej przechowywanej wiedzy o świecie niż gęsty model 27B. Test długiego kontekstu RULER ujawnia kolejną lukę: gdy model musi wyodrębnić często występujące słowa z długiego tekstu, współczynnik trafień spada do około 3 procent powyżej 32 000 tokenów, podczas gdy porównywalny model Nemotron nadal radzi sobie z 60–64 procentami.

Szkolenie na 512 procesorach graficznych Nvidia B200 w Monachium

Szkolenie odbyło się w okresie od marca do maja 2026 r. na maksymalnie 512 procesorach graficznych Nvidia B200 w chmurze Industrial AI Cloud firmy Deutsche Telekom w Monachium i obejmowało łącznie około 253 000 godzin pracy procesora graficznego. Z raportu wynika, że ​​obiekt w całości wykorzystuje energię odnawialną, jest chłodzony wodą z kanału Eisbach i odprowadza ciepło odpadowe do pobliskiej dzielnicy Tucherpark. Soofi S było jednym z pierwszych dużych przebiegów szkoleniowych przeprowadzonych na tej infrastrukturze.

Konsorcjum stojące za modelem jest finansowane przez niemieckie Federalne Ministerstwo Gospodarki i Energii w ramach europejskiego programu IPCEI-CIS. Wśród uczestników znajdują się Instytuty Fraunhofera IAIS i IIS, Niemieckie Centrum Badań nad Sztuczną Inteligencją (DFKI), TU Darmstadt, Uniwersytet w Würzburgu, Centrum Badawcze L3S, Uniwersytet Nauk Stosowanych w Berlinie oraz firmy zajmujące się sztuczną inteligencją Ellamind i Merantix Momentum.

Debata na temat „przetrenowania”

Wkrótce po premierze krytycy argumentowali, że Soofi S został mocno przetrenowany w stosunku do standardów klasycznych przepisów dotyczących skalowania szynszyli opublikowanych przez Google DeepMind w 2022 r., które sugerowały optymalny optymalny punkt wynoszący 20 tokenów na parametr. Z 27 bilionami tokenów i około 30 miliardami parametrów, Soofi S osiąga kilkaset tokenów na parametr; doliczenie tylko 3,2 miliarda aktywnych parametrów powoduje, że stosunek idzie w tysiące.

Michael Fromm, członek kierownictwa technicznego projektu, odrzucił tę krytykę, argumentując, że zasady te nie mają zastosowania do architektur MoE. „Nowe badania pokazują, że stare zasady skalowania stosowane w gęstych modelach nie mają już zastosowania w architekturach MoE” – powiedział Fromm, zauważając, że indywidualni eksperci odnoszą korzyści z wielokrotnego przeglądania tych samych dokumentów w dużym zbiorze danych o wysokiej jakości. Dla porównania wskazał Nvidię, która wytrenowała własne modele na aż 25 bilionach tokenów.

Co zostanie udostępnione, a co nie

Badacze udostępniają wagi modeli wraz z wybranymi pośrednimi punktami kontrolnymi, kompletnym kodem szkoleniowym i ewaluacyjnym oraz szczegółowym spisem danych zawierającym surową liczbę tokenów, numery epok i efektywne wkłady według źródła. Zdaniem zespołu oznacza to, że Soofi S spełnia definicję Open Source AI Definition 1.0 z inicjatywy Open Source Initiative.

Bardziej rygorystyczna propozycja europejskiej definicji otwartych danych, która wymagałaby swobodnej dystrybucji każdego tokenu szkoleniowego, nie została spełniona, ponieważ 1,3 procent miksu pochodzi z licencjonowanego korpusu Genios. Z raportu wynika, że ​​około 99 procent danych szkoleniowych można nadal niezależnie zrekonstruować. Dokładna licencja na wypuszczenie modelu nie została sfinalizowana w momencie publikacji.

Konsorcjum poszukuje obecnie partnerów branżowych do kolejnej fazy testów Soofi S w aplikacjach obejmujących dokumenty techniczne, generowanie kodu i systemy agentowe. Aby uzyskać więcej informacji na temat publikacji modeli typu open-weight, suwerennej infrastruktury sztucznej inteligencji i europejskiego ekosystemu sztucznej inteligencji, śledź relacjonowanie branży sztucznej inteligencji opublikowane tutaj.

Wyprzedź konkurencję dzięki sztucznej inteligencji typu open source

Wydawnictwa o otwartej wadze docierają do nas niemal co tydzień z laboratoriów w Stanach Zjednoczonych, Chinach, a obecnie w Europie, a przepaść pomiędzy największymi, zastrzeżonymi modelami a najlepszymi otwartymi alternatywami stale się zmniejsza. Aby uzyskać pełny obraz, postępuj zgodnie z najświeższymi wiadomościami o sztucznej inteligencji i analizą porównawczą.

Przeczytaj więcej o modelu AI →