जर्मन अनुसंधान संस्थानों और एआई कंपनियों के एक संघ ने सोफी एस 30बी-ए3बी, एक खुली भाषा मॉडल जारी किया है, जिसके बारे में परियोजना का कहना है कि यह पूरी तरह से खुले मॉडलों के बीच अंग्रेजी और जर्मन दोनों बेंचमार्क पर उच्चतम स्कोर प्राप्त करता है। जर्मनी के राष्ट्रीय एआई एसोसिएशन, केआई बुंडेसवरबैंड द्वारा समन्वित, रिलीज म्यूनिख में डॉयचे टेलीकॉम के औद्योगिक एआई क्लाउड पर पूरी तरह से प्रशिक्षित पहले बड़े भाषा मॉडल में से एक है और इसे प्रमुख संयुक्त राज्य अमेरिका और चीनी ओपन-वेट रिलीज के लिए एक संप्रभु यूरोपीय विकल्प के रूप में तैनात किया गया है। नवीनतम एआई विकास पर नज़र रखने वाले डेवलपर्स के लिए, लॉन्च वास्तुकला में निहित असामान्य दक्षता और भाषा फोकस की तुलना में कच्चे पैमाने के लिए अधिक उल्लेखनीय है।
केवल 3.2 बिलियन सक्रिय मापदंडों के साथ एक हाइब्रिड डिज़ाइन
सोफ़ी एस एक मिश्रण-विशेषज्ञ (एमओई) मॉडल है जिसमें कुल 31.6 बिलियन पैरामीटर हैं, लेकिन यह प्रति उत्पन्न टोकन केवल 3.2 बिलियन को ही सक्रिय करता है। यह इसकी गणना लागत को पारंपरिक 30-बिलियन-पैरामीटर सघन मॉडल की तुलना में 3-बिलियन-पैरामीटर मॉडल के करीब रखता है, एक डिज़ाइन विकल्प का उद्देश्य विदेशी क्लाउड प्रदाताओं पर निर्भरता के बिना यूरोपीय बुनियादी ढांचे पर चलने के लिए पर्याप्त सस्ता अनुमान रखना है।
आर्किटेक्चर को एनवीडिया के नेमोट्रॉन 3 नैनो से उधार लिया गया है, जो हाइब्रिड लेआउट में मानक ध्यान परतों के साथ मांबा -2 परतों को जोड़ता है। प्रोजेक्ट की प्रीट्रेनिंग रिपोर्ट के अनुसार, मॉडल की 52 परतों में से केवल 6 परतें कुंजी-मूल्य (केवी) कैश बनाए रखती हैं - मेमोरी संरचना जो ध्यान गणना के लिए पिछले टोकन को संग्रहीत करती है। पारंपरिक ट्रांसफार्मर में, वह कैश संदर्भ लंबाई के साथ रैखिक रूप से बढ़ता है और लंबे संदर्भ अनुमान के दौरान एक बड़ी बाधा बन जाता है।
व्यावहारिक भुगतान थ्रूपुट में दिखाई देता है। 32 समानांतर अनुरोधों के साथ 40,000 टोकन की संदर्भ लंबाई पर, सोफी एस 14-से-24-बिलियन-पैरामीटर रेंज में घने मॉडल की तुलना में प्रति जीपीयू प्रति सेकंड लगभग आठ गुना अधिक टोकन उत्पन्न करता है। जबकि संदर्भ बढ़ने के साथ पारंपरिक मॉडलों की पीढ़ी की गति तेजी से गिरती है, सोफ़ी एस 4,000 टोकन से लेकर 256,000 टोकन तक लगभग स्थिर रहता है। कंसोर्टियम के माप में एकमात्र तुलनीय मॉडल अलीबाबा का Qwen3.5 35B-A3B है, जो हाइब्रिड आर्किटेक्चर का भी उपयोग करता है।
अंग्रेजी का त्याग किए बिना, जर्मन के लिए प्रशिक्षित
जर्मन पर जानबूझकर ध्यान केंद्रित करना इस परियोजना के केंद्र में है। पहले प्रशिक्षण चरण में, जर्मन डेटा मिश्रण का 7.2 प्रतिशत बनाता है; दूसरे चरण में, वह हिस्सा बढ़कर 15.3 प्रतिशत हो जाता है। तुलनात्मक रूप से, एनवीडिया के नेमोट्रॉन संदर्भ रेसिपी में सभी गैर-अंग्रेज़ी भाषाएँ संयुक्त रूप से प्रशिक्षण मिश्रण का लगभग 5 प्रतिशत ही बनाती हैं।
डेटा स्रोतों में एचपीएलटी कॉर्पस से जर्मन वेब टेक्स्ट, खुले तौर पर लाइसेंस प्राप्त जर्मन कॉमन्स कॉर्पस, फाइनपीडीएफ और फाइनविकी के जर्मन हिस्से और 916 जर्मन प्रकाशनों से लिए गए 193 मिलियन समाचार पत्रों के लेखों का व्यावसायिक रूप से लाइसेंस प्राप्त जीनियोस संग्रह शामिल है। मशीन-अनुवादित और कृत्रिम रूप से उत्पन्न जर्मन पाठ मिश्रण को पूरा करते हैं।
मॉडल ने तीन प्रशिक्षण चरणों में लगभग 27 ट्रिलियन टोकन संसाधित किए: पहले चरण में व्यापक वेब, कोड, गणित और डोमेन-विशिष्ट पाठ के लगभग 20 ट्रिलियन टोकन; दूसरे में लगभग 6 ट्रिलियन उच्च-गुणवत्ता वाले टोकन; और एक छोटा तीसरा चरण, दस लाख टोकन तक लंबे दस्तावेज़ों का उपयोग करके संदर्भ विंडो का विस्तार करता है।
बेंचमार्क परिणाम: जर्मन और अंग्रेजी में आगे, गणित में कमजोर
कंसोर्टियम के अनुसार, 16 अन्य खुले मॉडलों के मुकाबले मूल्यांकन में, सोफी एस जर्मन और अंग्रेजी दोनों के लिए कुल स्कोर पर सभी पूरी तरह से खुले मॉडल से आगे है। इसमें एआई के लिए एलन इंस्टीट्यूट से ओएलएमओ 3 32बी और ईटीएच ज्यूरिख और ईपीएफएल से एपर्टस 70बी शामिल हैं। प्रत्येक यूरोपीय संप्रभु आधार रेखा के मुकाबले, मॉडल सुइट में सभी जर्मन बेंचमार्क पर आगे आता है, कभी-कभी दोहरे अंकों के मार्जिन से।
कोड कार्यों पर, सोफी एस ने ह्यूमनइवल पर 73.8 प्रतिशत, एमबीपीपी पर 70.2 और जर्मन एमबीपीपी संस्करण पर 84.2 अंक प्राप्त किए - ओपन-सोर्स साथियों के बीच सबसे अच्छा परिणाम। जर्मनी-विशिष्ट क्षेत्रीय ज्ञान के लिए एक परीक्षण, INCLUDE-DE पर, सूफी एस बड़े Qwen3.5 35B-A3B के साथ 61.2 अंकों के साथ पहले स्थान पर है। नेमोट्रॉन बेसलाइन की तुलना में, जर्मन-भारित डेटा रेसिपी अंग्रेजी प्रदर्शन को नुकसान पहुंचाए बिना भाषा दक्षता में 15.1 अंक और जीपीक्यूए-डायमंड विज्ञान बेंचमार्क में 9.6 अंक सुधार करती है।
स्पष्ट कमज़ोरियाँ हैं। जर्मन प्रतियोगिता गणित (मिनर्वा MATH-DE) पर, सूफी एस ने 56 अंक हासिल किए, जो 76.5 पर क्वेन3.5 35बी-ए3बी और 65.6 पर जेम्मा 3 27बी से काफी पीछे है। यह नेचुरलक्वेश्चन में खुली तथ्यात्मक पुनर्प्राप्ति पर भी नज़र रखता है, जिसका श्रेय टीम केवल 3 बिलियन सक्रिय मापदंडों को देती है और इसलिए सघन 27B मॉडल की तुलना में कम संग्रहीत विश्व ज्ञान है। रूलर लंबे-संदर्भ परीक्षण में एक और अंतर सामने आता है: जब मॉडल को लंबे पाठ से बार-बार आने वाले शब्दों को निकालना होता है, तो इसकी हिट दर 32,000 टोकन से परे लगभग 3 प्रतिशत तक गिर जाती है, जबकि तुलनीय नेमोट्रॉन मॉडल अभी भी 60 से 64 प्रतिशत का प्रबंधन करता है।
म्यूनिख में 512 एनवीडिया बी200 जीपीयू पर प्रशिक्षित
मार्च और मई 2026 के बीच म्यूनिख में डॉयचे टेलीकॉम के इंडस्ट्रियल एआई क्लाउड में 512 एनवीडिया बी200 जीपीयू पर प्रशिक्षण चला, जो कुल मिलाकर लगभग 253,000 जीपीयू-घंटे था। रिपोर्ट के अनुसार, यह सुविधा पूरी तरह से नवीकरणीय ऊर्जा पर चलती है, इसे इस्बैक नहर के पानी से ठंडा किया जाता है, और आसपास के ट्यूचरपार्क पड़ोस में अपशिष्ट गर्मी को आपूर्ति की जाती है। सूफी एस इस बुनियादी ढांचे पर किए गए पहले प्रमुख प्रशिक्षण रनों में से एक था।
मॉडल के पीछे के संघ को यूरोपीय आईपीसीईआई-सीआईएस कार्यक्रम के हिस्से के रूप में जर्मन संघीय आर्थिक मामलों और ऊर्जा मंत्रालय द्वारा वित्त पोषित किया जाता है। प्रतिभागियों में फ्राउनहोफर इंस्टीट्यूट आईएआईएस और आईआईएस, जर्मन रिसर्च सेंटर फॉर आर्टिफिशियल इंटेलिजेंस (डीएफकेआई), टीयू डार्मस्टेड, वुर्जबर्ग विश्वविद्यालय, एल3एस रिसर्च सेंटर, बर्लिन यूनिवर्सिटी ऑफ एप्लाइड साइंसेज और एआई कंपनियां एलामाइंड और मेरेंटिक्स मोमेंटम शामिल हैं।
'ओवरट्रेनिंग' पर बहस
लॉन्च के तुरंत बाद, आलोचकों ने तर्क दिया कि सोफी एस को 2022 में Google डीपमाइंड द्वारा प्रकाशित क्लासिक चिनचिला स्केलिंग कानूनों के मानकों से बहुत अधिक प्रशिक्षित किया गया था, जिसने प्रति पैरामीटर 20 टोकन के एक मोटे मीठे स्थान का सुझाव दिया था। 27 ट्रिलियन टोकन और लगभग 30 बिलियन मापदंडों के साथ, सूफ़ी एस प्रति पैरामीटर कई सौ टोकन पर पहुँचता है; केवल 3.2 बिलियन सक्रिय मापदंडों की गिनती करने से अनुपात हजारों में पहुंच जाता है।
प्रोजेक्ट के तकनीकी नेतृत्व का हिस्सा माइकल फ्रॉम ने उस आलोचना को खारिज करते हुए तर्क दिया कि ये नियम MoE आर्किटेक्चर पर लागू नहीं होते हैं। "नए शोध से पता चलता है कि सघन मॉडल से पुराने स्केलिंग कानून अब MoE आर्किटेक्चर पर लागू नहीं होते हैं," फ्रॉम ने कहा, यह देखते हुए कि व्यक्तिगत विशेषज्ञों को एक ही दस्तावेज़ को बड़े, उच्च-गुणवत्ता वाले डेटासेट में बार-बार देखने से लाभ होता है। तुलना के बिंदु के रूप में, उन्होंने एनवीडिया की ओर इशारा किया, जिसने 25 ट्रिलियन टोकन तक अपने स्वयं के मॉडल को प्रशिक्षित किया है।
क्या रिलीज़ होता है, और क्या नहीं
शोधकर्ता चयनित मध्यवर्ती चौकियों, संपूर्ण प्रशिक्षण और मूल्यांकन कोड और कच्चे टोकन गणना, युग संख्या और प्रति स्रोत प्रभावी योगदान को सूचीबद्ध करने वाली एक विस्तृत डेटा सूची के साथ मॉडल वेट जारी कर रहे हैं। टीम के अनुसार, इसका मतलब है कि सोफी एस ओपन सोर्स पहल से ओपन सोर्स एआई परिभाषा 1.0 को पूरा करता है।
यूरोपीय ओपन-डेटा परिभाषा के लिए एक सख्त प्रस्ताव, जिसके लिए हर एक प्रशिक्षण टोकन को स्वतंत्र रूप से वितरित करने की आवश्यकता होगी, पूरा नहीं हुआ है क्योंकि 1.3 प्रतिशत मिश्रण व्यावसायिक रूप से लाइसेंस प्राप्त जीनियोस कॉर्पस से आता है। रिपोर्ट में कहा गया है कि लगभग 99 प्रतिशत प्रशिक्षण डेटा का अभी भी स्वतंत्र रूप से पुनर्निर्माण किया जा सकता है। प्रकाशन के समय मॉडल की रिलीज़ के लिए सटीक लाइसेंस को अंतिम रूप नहीं दिया गया था।
कंसोर्टियम अब तकनीकी दस्तावेजों, कोड जनरेशन और एजेंट-आधारित सिस्टम से जुड़े अनुप्रयोगों में सोफी एस का परीक्षण करने के लिए अगले चरण के लिए उद्योग भागीदारों की तलाश कर रहा है। ओपन-वेट मॉडल रिलीज़, सॉवरेन एआई इन्फ्रास्ट्रक्चर और यूरोपीय एआई इकोसिस्टम के बारे में अधिक जानकारी के लिए, यहां प्रकाशित [एआई उद्योग कवरेज] (https://aibuzzwire.news) पर नज़र रखें।
ओपन-सोर्स एआई पर आगे रहें
संयुक्त राज्य अमेरिका, चीन और अब यूरोप की प्रयोगशालाओं से ओपन-वेट रिलीज़ लगभग साप्ताहिक रूप से आ रहे हैं, और सबसे बड़े स्वामित्व वाले मॉडल और सर्वोत्तम ओपन विकल्पों के बीच का अंतर कम होता जा रहा है। पूरी तस्वीर के लिए यहां ब्रेकिंग एआई न्यूज और बेंचमार्क विश्लेषण का पालन करें।
अधिक एआई मॉडल कवरेज पढ़ें →
