Un consorzio di istituti di ricerca tedeschi e società di intelligenza artificiale ha rilasciato Soofi S 30B-A3B, un modello linguistico aperto che, secondo il progetto, ottiene i punteggi più alti sia sui benchmark inglesi che tedeschi tra i modelli completamente aperti. Coordinato dal KI Bundesverband, l'associazione nazionale tedesca per l'intelligenza artificiale, il rilascio è uno dei primi grandi modelli linguistici formati interamente sull'Industrial AI Cloud di Deutsche Telekom a Monaco e si posiziona come un'alternativa europea sovrana ai rilasci open-weight dominanti degli Stati Uniti e della Cina. Per gli sviluppatori che seguono gli ultimi sviluppi dell'intelligenza artificiale, il lancio è degno di nota meno per la scala grezza che per l'insolita efficienza e l'attenzione al linguaggio integrate nell'architettura.

Un design ibrido con solo 3,2 miliardi di parametri attivi

Soofi S è un modello misto di esperti (MoE) con 31,6 miliardi di parametri in totale, ma ne attiva solo circa 3,2 miliardi per token generato. Ciò avvicina il suo costo di calcolo a un modello da 3 miliardi di parametri rispetto a un modello convenzionale denso da 30 miliardi di parametri, una scelta progettuale mirata a mantenere l’inferenza abbastanza economica da poter essere eseguita su infrastrutture europee senza fare affidamento su fornitori di cloud esteri.

L'architettura è presa in prestito dal Nemotron 3 Nano di Nvidia, combinando i livelli Mamba-2 con i livelli di attenzione standard in un layout ibrido. Secondo il rapporto di pre-addestramento del progetto, solo 6 dei 52 livelli del modello mantengono una cache di valori-chiave (KV), la struttura di memoria che memorizza i token precedenti per il calcolo dell'attenzione. Nei trasformatori convenzionali, la cache cresce linearmente con la lunghezza del contesto e diventa un grave collo di bottiglia durante l'inferenza di contesto lungo.

Il profitto pratico si manifesta nel throughput. Con una lunghezza del contesto di 40.000 token con 32 richieste parallele, Soofi S genera circa otto volte più token al secondo per GPU rispetto ai modelli densi nell'intervallo da 14 a 24 miliardi di parametri. Mentre la velocità di generazione per i modelli convenzionali diminuisce drasticamente con la crescita del contesto, Soofi S rimane quasi invariata da 4.000 token fino a 256.000 token. L'unico modello comparabile nelle misurazioni del consorzio è il Qwen3.5 35B-A3B di Alibaba, che utilizza anch'esso un'architettura ibrida.

Addestrato per il tedesco, senza sacrificare l'inglese

L'attenzione deliberata al tedesco è centrale nel progetto. Nella prima fase di formazione il tedesco costituisce il 7,2% del mix di dati; nella seconda fase la quota sale al 15,3%. In confronto, nella ricetta di riferimento Nemotron di Nvidia tutte le lingue diverse dall'inglese combinate rappresentano solo il 5% circa del mix di formazione.

Le fonti dei dati includono testo web tedesco dal corpus HPLT, il corpus tedesco Commons con licenza aperta, parti tedesche di FinePDF e FineWiki e l'archivio Genios con licenza commerciale di 193 milioni di articoli di giornale tratti da 916 pubblicazioni tedesche. Testi tedeschi tradotti automaticamente e generati sinteticamente completano il mix.

Il modello ha elaborato circa 27 trilioni di token in tre fasi di training: circa 20 trilioni di token di ampio web, codice, matematica e testo specifico del dominio nella prima fase; circa 6mila miliardi di token di qualità superiore nel secondo; e una terza fase più breve che estende la finestra di contesto utilizzando documenti lunghi fino a un milione di token.

Risultati benchmark: avanti in tedesco e inglese, più debole in matematica

Secondo il consorzio, nelle valutazioni rispetto ad altri 16 modelli aperti, Soofi S è in testa a tutti i modelli completamente aperti nei punteggi aggregati sia per il tedesco che per l'inglese. Ciò include OLMo 3 32B dell'Allen Institute for AI e Apertus 70B dell'ETH di Zurigo e dell'EPFL. Rispetto a ogni riferimento sovrano europeo, il modello risulta in vantaggio su tutti i benchmark tedeschi della suite, talvolta con margini a due cifre.

Nelle attività di codice, Soofi S ottiene un punteggio del 73,8% su HumanEval, 70,2 su MBPP e 84,2 sulla variante tedesca MBPP: i migliori risultati tra i peer open source. Su INCLUDE-DE, un test per la conoscenza regionale specifica della Germania, Soofi S si classifica al primo posto con 61,2 punti con il più grande Qwen3.5 35B-A3B. Rispetto al riferimento Nemotron, la ricetta dei dati ponderati per il tedesco migliora la competenza linguistica di 15,1 punti e il benchmark scientifico GPQA-Diamond di 9,6 punti, senza compromettere le prestazioni in inglese.

Ci sono evidenti debolezze. Nella matematica della competizione tedesca (Minerva MATH-DE), Soofi S segna 56 punti, ben dietro Qwen3.5 35B-A3B a 76.5 e Gemma 3 27B a 65.6. Si avvicina anche al recupero fattuale aperto in NaturalQuestions, che il team attribuisce al fatto di avere solo circa 3 miliardi di parametri attivi e quindi una minore conoscenza del mondo memorizzata rispetto a un modello 27B denso. Il test RULER a contesto lungo fa emergere un'altra lacuna: quando il modello deve estrarre parole ricorrenti da un testo lungo, il suo tasso di successo scende a circa il 3% oltre i 32.000 token, mentre il modello comparabile Nemotron riesce ancora dal 60 al 64%.

Formazione su 512 GPU Nvidia B200 a Monaco

Il corso di formazione si è svolto tra marzo e maggio 2026 su un massimo di 512 GPU Nvidia B200 presso l'Industrial AI Cloud di Deutsche Telekom a Monaco, per un totale di circa 253.000 ore GPU. Secondo il rapporto, l’impianto funziona interamente con energia rinnovabile, è raffreddato con l’acqua del canale Eisbach e immette il calore di scarto nel circostante quartiere di Tucherpark. Soofi S è stato uno dei primi grandi corsi di formazione effettuati su questa infrastruttura.

Il consorzio alla base del modello è finanziato dal Ministero federale tedesco per gli affari economici e l’energia nell’ambito del programma europeo IPCEI-CIS. Tra i partecipanti figurano gli istituti Fraunhofer IAIS e IIS, il Centro di ricerca tedesco per l'intelligenza artificiale (DFKI), TU Darmstadt, l'Università di Würzburg, il Centro di ricerca L3S, l'Università di scienze applicate di Berlino e le società di intelligenza artificiale Ellamind e Merantix Momentum.

Un dibattito sul "sovrallenamento"

Subito dopo il lancio, i critici hanno sostenuto che Soofi S era pesantemente sovraccaricato rispetto agli standard delle classiche leggi di scaling di Chinchilla pubblicate da Google DeepMind nel 2022, che suggerivano un valore approssimativo di 20 token per parametro. Con 27 trilioni di token e circa 30 miliardi di parametri, Soofi S arriva a diverse centinaia di token per parametro; contando solo i 3,2 miliardi di parametri attivi si spinge il rapporto a migliaia.

Michael Fromm, membro della direzione tecnica del progetto, ha respinto tale critica, sostenendo che tali regole non si applicano alle architetture del Ministero dell'Ambiente. "Esistono nuove ricerche che dimostrano che le vecchie leggi di scalabilità dei modelli densi non si applicano più alle architetture del Ministero dell'Ambiente", ha affermato Fromm, sottolineando che i singoli esperti traggono vantaggio dal vedere ripetutamente gli stessi documenti in un set di dati ampio e di alta qualità. Come punto di paragone, ha indicato Nvidia, che ha addestrato i propri modelli su un massimo di 25 trilioni di token.

Cosa viene rilasciato e cosa no

I ricercatori stanno rilasciando i pesi dei modelli insieme a checkpoint intermedi selezionati, il codice completo di formazione e valutazione e un inventario di dati dettagliato che elenca i conteggi dei token grezzi, i numeri delle epoche e i contributi effettivi per fonte. Secondo il team, ciò significa che Soofi S soddisfa la Open Source AI Definition 1.0 dell’Open Source Initiative.

Una proposta più rigorosa per una definizione europea di dati aperti, che richiederebbe che ogni singolo token di formazione sia liberamente distribuibile, non è stata soddisfatta perché l’1,3% del mix proviene dal corpus Genios con licenza commerciale. Il rapporto afferma che circa il 99% dei dati di addestramento può ancora essere ricostruito in modo indipendente. La licenza esatta per il rilascio del modello non era stata finalizzata al momento della pubblicazione.

Il consorzio è ora alla ricerca di partner industriali per la fase successiva per testare Soofi S in applicazioni che coinvolgono documenti tecnici, generazione di codice e sistemi basati su agenti. Per ulteriori informazioni sui rilasci di modelli a peso aperto, sull'infrastruttura IA sovrana e sull'ecosistema IA europeo, resta aggiornato sulla copertura del settore IA pubblicata qui.

Resta al passo con l'intelligenza artificiale open source

I rilasci a peso aperto arrivano quasi settimanalmente dai laboratori negli Stati Uniti, in Cina e ora in Europa, e il divario tra i più grandi modelli proprietari e le migliori alternative aperte continua a ridursi. Segui le ultime notizie sull'intelligenza artificiale e l'analisi benchmark qui per un quadro completo.

Ulteriori informazioni sulla copertura del modello AI →