Η γερμανική κοινοπραξία κυκλοφορεί το Soofi S, ένα ανοιχτό μοντέλο 30B που ξεπερνά τα αγγλικά και γερμανικά σημεία αναφοράς

Μια κοινοπραξία γερμανικών ερευνητικών ιδρυμάτων και εταιρειών τεχνητής νοημοσύνης κυκλοφόρησε το Soofi S 30B-A3B, ένα μοντέλο ανοιχτής γλώσσας που σύμφωνα με το έργο επιτυγχάνει τις υψηλότερες βαθμολογίες τόσο στα αγγλικά όσο και στα γερμανικά σημεία αναφοράς μεταξύ των πλήρως ανοιχτών μοντέλων. Συντονίζεται από την KI Bundesverband, την εθνική ένωση τεχνητής νοημοσύνης της Γερμανίας, η κυκλοφορία είναι ένα από τα πρώτα μεγάλα μοντέλα γλώσσας που έχουν εκπαιδευτεί εξ ολοκλήρου στο Industrial AI Cloud της Deutsche Telekom στο Μόναχο και τοποθετείται ως κυρίαρχη ευρωπαϊκή εναλλακτική στις κυρίαρχες εκδόσεις ανοιχτού βάρους των Ηνωμένων Πολιτειών και της Κίνας. Για τους προγραμματιστές που παρακολουθούν [τις τελευταίες εξελίξεις της τεχνητής νοημοσύνης] (https://aibuzzwire.news), το λανσάρισμα είναι λιγότερο αξιοσημείωτο για ακατέργαστη κλίμακα παρά για την ασυνήθιστη αποτελεσματικότητα και τη γλωσσική εστίαση στην αρχιτεκτονική.

Μια υβριδική σχεδίαση με μόνο 3,2 δισεκατομμύρια ενεργές παραμέτρους

Το Soofi S είναι ένα μοντέλο mix-of-experts (MoE) με 31,6 δισεκατομμύρια παραμέτρους συνολικά, αλλά ενεργοποιεί μόνο περίπου 3,2 δισεκατομμύρια ανά διακριτικό που δημιουργείται. Αυτό φέρνει το υπολογιστικό του κόστος πιο κοντά σε ένα μοντέλο 3 δισεκατομμυρίων παραμέτρων από ένα συμβατικό πυκνό μοντέλο 30 δισεκατομμυρίων παραμέτρων, μια σχεδιαστική επιλογή που στοχεύει στο να διατηρεί το συμπέρασμα αρκετά φθηνό ώστε να λειτουργεί σε ευρωπαϊκή υποδομή χωρίς να βασίζεται σε υπερπόντιους παρόχους cloud.

Η αρχιτεκτονική είναι δανεισμένη από το Nemotron 3 Nano της Nvidia, συνδυάζοντας επίπεδα Mamba-2 με τυπικά επίπεδα προσοχής σε μια υβριδική διάταξη. Σύμφωνα με την έκθεση προεκπαίδευσης του έργου, μόνο 6 από τα 52 επίπεδα του μοντέλου διατηρούν μια κρυφή μνήμη κλειδιού-τιμής (KV) — τη δομή μνήμης που αποθηκεύει προηγούμενα διακριτικά για τον υπολογισμό της προσοχής. Στους συμβατικούς μετασχηματιστές, αυτή η κρυφή μνήμη μεγαλώνει γραμμικά με το μήκος του περιβάλλοντος και γίνεται ένα σημαντικό σημείο συμφόρησης κατά την εξαγωγή συμπερασμάτων μακρού περιβάλλοντος.

Η πρακτική απόδοση εμφανίζεται στη διεκπεραίωση. Σε μήκος περιβάλλοντος 40.000 διακριτικών με 32 παράλληλες αιτήσεις, το Soofi S δημιουργεί περίπου οκτώ φορές περισσότερα διακριτικά ανά δευτερόλεπτο ανά GPU από ό,τι πυκνά μοντέλα στην περιοχή παραμέτρων από 14 έως 24 δισεκατομμύρια. Ενώ η ταχύτητα παραγωγής για τα συμβατικά μοντέλα μειώνεται απότομα καθώς μεγαλώνει το πλαίσιο, το Soofi S παραμένει σχεδόν σταθερό από 4.000 tokens μέχρι 256.000 token. Το μόνο συγκρίσιμο μοντέλο στις μετρήσεις της κοινοπραξίας είναι το Qwen3.5 35B-A3B της Alibaba, το οποίο χρησιμοποιεί επίσης υβριδική αρχιτεκτονική.

Εκπαιδεύτηκε για γερμανικά, χωρίς να θυσιάσετε τα αγγλικά

Η σκόπιμη εστίαση στα γερμανικά είναι κεντρική στο έργο. Στην πρώτη φάση εκπαίδευσης, τα γερμανικά αποτελούν το 7,2 τοις εκατό του μείγματος δεδομένων. στη δεύτερη φάση, το μερίδιο αυτό ανέρχεται στο 15,3%. Συγκριτικά, στη συνταγή αναφοράς Nemotron της Nvidia, όλες οι μη αγγλικές γλώσσες μαζί αντιπροσωπεύουν μόνο το 5% περίπου του προπονητικού μείγματος.

Οι πηγές δεδομένων περιλαμβάνουν κείμενο γερμανικού ιστού από το σώμα HPLT, το σώμα των Γερμανικών Commons με ανοιχτή άδεια, γερμανικά τμήματα FinePDF και FineWiki και το εμπορικά αδειοδοτημένο αρχείο Genios με 193 εκατομμύρια άρθρα εφημερίδων που προέρχονται από 916 γερμανικές εκδόσεις. Τα γερμανικά κείμενα που μεταφράζονται μηχανικά και δημιουργούνται συνθετικά συμπληρώνουν το μείγμα.

Το μοντέλο επεξεργάστηκε περίπου 27 τρισεκατομμύρια διακριτικά σε τρεις φάσεις εκπαίδευσης: περίπου 20 τρισεκατομμύρια μάρκες ευρέος ιστού, κώδικα, μαθηματικά και κείμενο συγκεκριμένου τομέα στην πρώτη φάση. περίπου 6 τρισεκατομμύρια μάρκες υψηλότερης ποιότητας στο δεύτερο. και μια συντομότερη τρίτη φάση που επεκτείνει το παράθυρο περιβάλλοντος χρησιμοποιώντας έγγραφα μήκους έως και ενός εκατομμυρίου μάρκες.

Αποτελέσματα συγκριτικής αξιολόγησης: μπροστά στα γερμανικά και στα αγγλικά, πιο αδύναμα στα μαθηματικά

Σε αξιολογήσεις έναντι 16 άλλων ανοιχτών μοντέλων, η Soofi S ηγείται όλων των πλήρως ανοιχτών μοντέλων σε συγκεντρωτικές βαθμολογίες τόσο για γερμανικά όσο και για αγγλικά, σύμφωνα με την κοινοπραξία. Αυτό περιλαμβάνει το OLMo 3 32B από το Allen Institute for AI και το Apertus 70B από το ETH Zurich και το EPFL. Σε σχέση με κάθε βασική γραμμή του ευρωπαϊκού κράτους, το μοντέλο βγαίνει μπροστά σε όλα τα γερμανικά σημεία αναφοράς της σουίτας, μερικές φορές με διψήφια περιθώρια.

Στις εργασίες κώδικα, το Soofi S σημειώνει 73,8 τοις εκατό στο HumanEval, 70,2 στο MBPP και 84,2 στη γερμανική παραλλαγή MBPP — τα καλύτερα αποτελέσματα μεταξύ των ομοτίμων ανοιχτού κώδικα. Στο INCLUDE-DE, ένα τεστ για τις περιφερειακές γνώσεις ειδικά για τη Γερμανία, το Soofi S βρίσκεται στην πρώτη θέση με 61,2 βαθμούς με το μεγαλύτερο Qwen3.5 35B-A3B. Σε σύγκριση με τη βασική γραμμή Nemotron, η συνταγή δεδομένων με στάθμιση γερμανικών βελτιώνει τη γλωσσική επάρκεια κατά 15,1 μονάδες και το επιστημονικό σημείο αναφοράς GPQA-Diamond κατά 9,6 μονάδες, χωρίς να βλάπτει την απόδοση στα αγγλικά.

Υπάρχουν σαφείς αδυναμίες. Στα γερμανικά μαθηματικά ανταγωνισμού (Minerva MATH-DE), ο Soofi S σημειώνει 56 βαθμούς, πολύ πίσω από το Qwen3.5 35B-A3B στο 76,5 και το Gemma 3 27B στο 65,6. Επίσης παρακολουθεί την ανοιχτή ανάκτηση στοιχείων στο NaturalQuestions, την οποία η ομάδα αποδίδει ότι έχει μόνο περίπου 3 δισεκατομμύρια ενεργές παραμέτρους και επομένως λιγότερη αποθηκευμένη παγκόσμια γνώση από ένα πυκνό μοντέλο 27Β. Η δοκιμή μακροχρόνιου περιβάλλοντος RULER εμφανίζει ένα άλλο κενό: όταν το μοντέλο πρέπει να εξάγει λέξεις που εμφανίζονται συχνά από ένα μεγάλο κείμενο, το ποσοστό επιτυχίας πέφτει στο 3% περίπου πέρα ​​από τα 32.000 token, ενώ το συγκρίσιμο μοντέλο Nemotron εξακολουθεί να διαχειρίζεται το 60 με 64%.

Εκπαιδεύτηκε σε 512 GPU Nvidia B200 στο Μόναχο

Η εκπαίδευση πραγματοποιήθηκε μεταξύ Μαρτίου και Μαΐου 2026 σε έως και 512 GPU Nvidia B200 στο Industrial AI Cloud της Deutsche Telekom στο Μόναχο, συνολικού ύψους περίπου 253.000 ωρών GPU. Η εγκατάσταση λειτουργεί εξ ολοκλήρου με ανανεώσιμες πηγές ενέργειας, ψύχεται με νερό από το κανάλι Eisbach και τροφοδοτεί την απορριπτόμενη θερμότητα στη γύρω γειτονιά Tucherpark, σύμφωνα με την έκθεση. Το Soofi S ήταν ένα από τα πρώτα μεγάλα προγράμματα εκπαίδευσης που πραγματοποιήθηκαν σε αυτήν την υποδομή.

Η κοινοπραξία πίσω από το μοντέλο χρηματοδοτείται από το Γερμανικό Ομοσπονδιακό Υπουργείο Οικονομικών Υποθέσεων και Ενέργειας ως μέρος του ευρωπαϊκού προγράμματος IPCEI-CIS. Οι συμμετέχοντες περιλαμβάνουν τα Ινστιτούτα Fraunhofer IAIS και IIS, το Γερμανικό Ερευνητικό Κέντρο για την Τεχνητή Νοημοσύνη (DFKI), το TU Darmstadt, το Πανεπιστήμιο του Würzburg, το Ερευνητικό Κέντρο L3S, το Πανεπιστήμιο Εφαρμοσμένων Επιστημών του Βερολίνου και τις εταιρείες AI Ellamind και Merantix Momentum.

Μια συζήτηση για την «υπερπροπόνηση»

Αμέσως μετά την κυκλοφορία, οι κριτικοί υποστήριξαν ότι το Soofi S ήταν πολύ προπονημένο με τα πρότυπα των κλασικών νόμων κλιμάκωσης Chinchilla που δημοσιεύθηκαν από το Google DeepMind το 2022, το οποίο πρότεινε ένα πρόχειρο γλυκό σημείο 20 μάρκες ανά παράμετρο. Με 27 τρισεκατομμύρια μάρκες και περίπου 30 δισεκατομμύρια παραμέτρους, το Soofi S προσγειώνεται σε αρκετές εκατοντάδες μάρκες ανά παράμετρο. Η μέτρηση μόνο των 3,2 δισεκατομμυρίων ενεργών παραμέτρων ωθεί την αναλογία σε χιλιάδες.

Ο Michael Fromm, μέρος της τεχνικής ηγεσίας του έργου, απώθησε αυτήν την κριτική, υποστηρίζοντας ότι αυτοί οι κανόνες δεν μεταφέρονται στις αρχιτεκτονικές του MoE. «Υπάρχει νέα έρευνα που δείχνει ότι οι παλιοί νόμοι κλιμάκωσης από πυκνά μοντέλα δεν ισχύουν πλέον για τις αρχιτεκτονικές του MoE», είπε ο Fromm, σημειώνοντας ότι μεμονωμένοι ειδικοί επωφελούνται από το να βλέπουν τα ίδια έγγραφα επανειλημμένα σε ένα μεγάλο, υψηλής ποιότητας σύνολο δεδομένων. Ως σημείο σύγκρισης, έδειξε τη Nvidia, η οποία έχει εκπαιδεύσει τα δικά της μοντέλα σε έως και 25 τρισεκατομμύρια μάρκες.

Τι κυκλοφορεί και τι όχι

Οι ερευνητές δημοσιεύουν τα βάρη μοντέλων μαζί με επιλεγμένα ενδιάμεσα σημεία ελέγχου, τον πλήρη κώδικα εκπαίδευσης και αξιολόγησης και ένα λεπτομερές απόθεμα δεδομένων που παραθέτει ακατέργαστες μετρήσεις διακριτικών, αριθμούς εποχών και αποτελεσματικές συνεισφορές ανά πηγή. Σύμφωνα με την ομάδα, αυτό σημαίνει ότι το Soofi S πληροί το Open Source AI Definition 1.0 από την Open Source Initiative.

Μια αυστηρότερη πρόταση για έναν ευρωπαϊκό ορισμό ανοιχτών δεδομένων, ο οποίος θα απαιτούσε την ελεύθερη διανομή κάθε μεμονωμένου συμβολικού εκπαίδευσης, δεν ικανοποιείται επειδή το 1,3 τοις εκατό του μείγματος προέρχεται από το εμπορικά αδειοδοτημένο σώμα Genios. Η έκθεση αναφέρει ότι περίπου το 99 τοις εκατό των δεδομένων εκπαίδευσης μπορούν ακόμα να ανακατασκευαστούν ανεξάρτητα. Η ακριβής άδεια για την κυκλοφορία του μοντέλου δεν είχε οριστικοποιηθεί τη στιγμή της δημοσίευσης.

Η κοινοπραξία αναζητά τώρα συνεργάτες του κλάδου για την επόμενη φάση για να δοκιμάσει το Soofi S σε εφαρμογές που περιλαμβάνουν τεχνικά έγγραφα, δημιουργία κώδικα και συστήματα που βασίζονται σε πράκτορες. Για περισσότερα σχετικά με τις εκδόσεις μοντέλων ανοιχτού βάρους, την κυρίαρχη υποδομή τεχνητής νοημοσύνης και το ευρωπαϊκό οικοσύστημα τεχνητής νοημοσύνης, ακολουθήστε την [κάλυψη της βιομηχανίας AI] (https://aibuzzwire.news) που δημοσιεύεται εδώ.

Μείνετε μπροστά στην τεχνητή νοημοσύνη ανοιχτού κώδικα

Οι εκδόσεις ανοιχτού βάρους φτάνουν σχεδόν κάθε εβδομάδα από εργαστήρια στις Ηνωμένες Πολιτείες, την Κίνα και τώρα την Ευρώπη και το χάσμα μεταξύ των μεγαλύτερων ιδιόκτητων μοντέλων και των καλύτερων ανοιχτών εναλλακτικών συνεχίζει να μειώνεται. Ακολουθήστε τις έκτακτες ειδήσεις AI και την ανάλυση συγκριτικής αξιολόγησης εδώ για την πλήρη εικόνα.

Διαβάστε περισσότερα κάλυψη μοντέλου AI →