Консорциум немецких исследовательских институтов и компаний, занимающихся искусственным интеллектом, выпустил Soofi S 30B-A3B, модель с открытым языком, которая, по словам проекта, получила самые высокие оценки как по английскому, так и по немецкому тестам среди полностью открытых моделей. Этот релиз, координируемый KI Bundesverband, национальной ассоциацией искусственного интеллекта Германии, является одной из первых крупных языковых моделей, полностью обученных на Industrial AI Cloud Deutsche Telekom в Мюнхене, и позиционируется как суверенная европейская альтернатива доминирующим релизам открытого веса в США и Китае. Для разработчиков, отслеживающих [последние разработки в области ИИ] (https://aibuzzwire.news), запуск примечателен не столько масштабом, сколько необычной эффективностью и языковой ориентацией, заложенными в архитектуру.

Гибридная конструкция всего с 3,2 миллиарда активных параметров

Soofi S — это модель смешанных экспертов (MoE) с общим числом 31,6 миллиарда параметров, но она активирует только около 3,2 миллиарда на каждый сгенерированный токен. Это делает ее вычислительные затраты ближе к модели с 3 миллиардами параметров, чем к обычной плотной модели с 30 миллиардами параметров. Выбор конструкции направлен на то, чтобы сделать вывод достаточно дешевым, чтобы его можно было использовать в европейской инфраструктуре без зависимости от зарубежных облачных провайдеров.

Архитектура заимствована у Nemotron 3 Nano от Nvidia, сочетающая слои Mamba-2 со стандартными слоями внимания в гибридной компоновке. Согласно отчету о предварительном обучении проекта, только 6 из 52 слоев модели поддерживают кеш ключ-значение (KV) — структуру памяти, в которой хранятся предыдущие токены для вычисления внимания. В обычных преобразователях этот кеш растет линейно с длиной контекста и становится основным узким местом во время вывода длинного контекста.

Практическая выгода проявляется в пропускной способности. При длине контекста 40 000 токенов с 32 параллельными запросами Soofi S генерирует примерно в восемь раз больше токенов в секунду на каждый графический процессор, чем плотные модели в диапазоне от 14 до 24 миллиардов параметров. В то время как скорость генерации для традиционных моделей резко падает по мере роста контекста, Soofi S остается практически неизменной: с 4000 токенов до 256 000 токенов. Единственной сопоставимой моделью по измерениям консорциума является Qwen3.5 35B-A3B от Alibaba, которая также использует гибридную архитектуру.

Обучены немецкому языку, не жертвуя английским

Сознательное внимание к немецкому языку занимает центральное место в проекте. На первом этапе обучения немецкий язык составляет 7,2 процента совокупности данных; на втором этапе эта доля возрастает до 15,3 процента. Для сравнения, в эталонном рецепте Nemotron от Nvidia все неанглийские языки вместе взятые составляют лишь около 5 процентов обучающего набора.

Источники данных включают немецкий веб-текст из корпуса HPLT, общедоступный корпус German Commons, немецкие части файлов FinePDF и FineWiki, а также коммерчески лицензированный архив Genios, содержащий 193 миллиона газетных статей, взятых из 916 немецких публикаций. Машинно переведенные и синтетически сгенерированные немецкие тексты дополняют этот микс.

Модель обработала примерно 27 триллионов токенов на трех этапах обучения: около 20 триллионов токенов Интернета, кода, математики и предметно-ориентированного текста на первом этапе; около 6 триллионов токенов более высокого качества во втором; и более короткий третий этап, расширяющий контекстное окно с использованием документов длиной до одного миллиона токенов.

Результаты тестов: впереди по немецкому и английскому, хуже по математике

По данным консорциума, в сравнении с 16 другими открытыми моделями Soofi S лидирует среди всех полностью открытых моделей по совокупным баллам как по немецкому, так и по английскому языку. Сюда входят OLMo 3 32B от Института искусственного интеллекта Аллена и Apertus 70B от ETH Zurich и EPFL. По сравнению со всеми европейскими суверенными базовыми показателями модель опережает все немецкие индексы в наборе, иногда с двузначным отрывом.

При выполнении кодовых задач Soofi S набирает 73,8 процента по HumanEval, 70,2 по MBPP и 84,2 по немецкому варианту MBPP — лучшие результаты среди аналогов с открытым исходным кодом. В тесте INCLUDE-DE, тесте на знание немецкого региона, Soofi S делит первое место с 61,2 балла с более крупным Qwen3.5 35B-A3B. По сравнению с базовым показателем Nemotron, рецепт с взвешенными по немецкому языку данными улучшает знание языка на 15,1 балла, а научный тест GPQA-Diamond — на 9,6 балла, не ухудшая при этом успеваемость по английскому языку.

Есть явные недостатки. По немецкой олимпиаде по математике (Minerva MATH-DE) Суфи С набирает 56 баллов, значительно отставая от Qwen3.5 35B-A3B с результатом 76,5 и Gemma 3 27B с результатом 65,6. Он также отстает от открытого фактического поиска в NaturalQuestions, который команда объясняет наличием всего около 3 миллиардов активных параметров и, следовательно, меньшим объемом хранимых мировых знаний, чем плотная модель 27B. Тест RULER с длинным контекстом выявил еще один пробел: когда модели приходится извлекать часто встречающиеся слова из длинного текста, ее показатель попадания падает примерно до 3 процентов после 32 000 токенов, в то время как сопоставимая модель Nemotron все еще справляется с этим показателем от 60 до 64 процентов.

Обучение на 512 графических процессорах Nvidia B200 в Мюнхене

Обучение проходило в период с марта по май 2026 года на 512 графических процессорах Nvidia B200 в промышленном облаке искусственного интеллекта Deutsche Telekom в Мюнхене, общая продолжительность которого составила около 253 000 графических часов. Согласно отчету, объект полностью работает на возобновляемых источниках энергии, охлаждается водой из канала Айсбах и подает отходящее тепло в окружающий район Тухерпарк. Soofi S был одним из первых крупных учебных запусков, проведенных на этой инфраструктуре.

Консорциум, стоящий за этой моделью, финансируется Федеральным министерством экономики и энергетики Германии в рамках европейской программы IPCEI-CIS. В число участников входят институты Фраунгофера IAIS и IIS, Немецкий исследовательский центр искусственного интеллекта (DFKI), ТУ Дармштадта, Вюрцбургский университет, исследовательский центр L3S, Берлинский университет прикладных наук, а также компании искусственного интеллекта Ellamind и Merantix Momentum.

Дебаты о «перетренированности»

Вскоре после запуска критики заявили, что Soofi S сильно перетренирован по стандартам классических законов масштабирования Chinchilla, опубликованных Google DeepMind в 2022 году, которые предполагали грубую золотую середину в 20 токенов на параметр. Имея 27 триллионов токенов и примерно 30 миллиардов параметров, Soofi S имеет цену в несколько сотен токенов на каждый параметр; если учесть только 3,2 миллиарда активных параметров, это соотношение достигнет тысяч.

Майкл Фромм, один из технических руководителей проекта, отверг эту критику, заявив, что эти правила не распространяются на архитектуры Министерства энергетики. «Новые исследования показывают, что старые законы масштабирования, основанные на плотных моделях, больше не применимы к архитектурам MoE», — сказал Фромм, отметив, что отдельные эксперты получают выгоду от многократного просмотра одних и тех же документов в большом наборе высококачественных данных. В качестве сравнения он указал на Nvidia, которая обучила свои модели на 25 триллионах токенов.

Что выпускается, а что нет

Исследователи публикуют веса модели вместе с выбранными промежуточными контрольными точками, полным кодом обучения и оценки, а также подробным перечнем данных, в котором перечислены необработанные количества токенов, номера эпох и эффективный вклад каждого источника. По словам команды, это означает, что Soofi S соответствует определению Open Source AI Definition 1.0 от Open Source Initiative.

Более строгое предложение о европейском определении открытых данных, которое требовало бы свободного распространения каждого обучающего токена, не удовлетворено, поскольку 1,3 процента смеси поступает из коммерчески лицензированного корпуса Genios. В отчете говорится, что около 99 процентов обучающих данных все еще можно восстановить независимо. Точная лицензия на выпуск модели на момент публикации еще не была окончательно определена.

В настоящее время консорциум ищет отраслевых партнеров для следующего этапа тестирования Soofi S в приложениях, включающих техническую документацию, генерацию кода и системы на основе агентов. Чтобы узнать больше о выпусках моделей с открытым весом, независимой инфраструктуре искусственного интеллекта и европейской экосистеме искусственного интеллекта, следите за [освещением отрасли искусственного интеллекта] (https://aibuzzwire.news), опубликованным здесь.

Будьте впереди с искусственным интеллектом с открытым исходным кодом

Релизы открытого веса поступают почти еженедельно из лабораторий США, Китая, а теперь и Европы, и разрыв между крупнейшими запатентованными моделями и лучшими открытыми альтернативами продолжает сокращаться. Следите за последними новостями об искусственном интеллекте и анализом производительности здесь, чтобы получить полную картину.

Подробнее о моделях искусственного интеллекта →