أصدر اتحاد من المؤسسات البحثية الألمانية وشركات الذكاء الاصطناعي Soofi S 30B-A3B، وهو نموذج لغة مفتوح يقول المشروع إنه يحقق أعلى الدرجات في المعايير الإنجليزية والألمانية بين النماذج المفتوحة بالكامل. يعد الإصدار، بتنسيق من KI Bundesverband، الرابطة الوطنية للذكاء الاصطناعي في ألمانيا، واحدًا من أولى نماذج اللغات الكبيرة التي تم تدريبها بالكامل على سحابة الذكاء الاصطناعي الصناعية التابعة لشركة Deutsche Telekom في ميونيخ، ويتم وضعها كبديل أوروبي سيادي للإصدارات ذات الوزن المفتوح المهيمنة في الولايات المتحدة والصين. بالنسبة للمطورين الذين يتتبعون [أحدث تطورات الذكاء الاصطناعي] (https://aibuzzwire.news)، لم يكن الإطلاق ملحوظًا بالنسبة للحجم الأولي بقدر ما كان ملحوظًا بالنسبة للكفاءة غير العادية والتركيز على اللغة المضمنة في البنية.

تصميم هجين يحتوي على 3.2 مليار معلمة نشطة فقط

Soofi S هو نموذج خليط من الخبراء (MoE) بإجمالي 31.6 مليار معلمة، لكنه ينشط فقط حوالي 3.2 مليار لكل رمز مميز تم إنشاؤه. وهذا يجعل تكلفة الحوسبة الخاصة بها أقرب إلى نموذج مكون من 3 مليارات معلمة من النموذج التقليدي الكثيف الذي يضم 30 مليار معلمة، وهو خيار تصميم يهدف إلى إبقاء الاستدلال رخيصًا بما يكفي للتشغيل على البنية التحتية الأوروبية دون الاعتماد على موفري الخدمات السحابية في الخارج.

تم استعارة البنية من Nemotron 3 Nano من Nvidia، حيث تجمع بين طبقات Mamba-2 وطبقات الاهتمام القياسية في تخطيط هجين. وفقًا لتقرير التدريب المسبق للمشروع، تحتفظ 6 طبقات فقط من طبقات النموذج البالغ عددها 52 بذاكرة تخزين مؤقت لقيمة المفتاح (KV) - وهي بنية الذاكرة التي تخزن الرموز المميزة السابقة لحساب الانتباه. في المحولات التقليدية، تنمو ذاكرة التخزين المؤقت هذه خطيًا مع طول السياق وتصبح عنق الزجاجة الرئيسي أثناء الاستدلال على السياق الطويل.

ويظهر المردود العملي في الإنتاجية. بطول سياق يبلغ 40.000 رمزًا مع 32 طلبًا متوازيًا، تولد Soofi S ما يقرب من ثمانية أضعاف الرموز في الثانية لكل وحدة معالجة رسومات مقارنة بالنماذج الكثيفة في نطاق 14 إلى 24 مليار معلمة. بينما تنخفض سرعة إنشاء النماذج التقليدية بشكل حاد مع نمو السياق، تظل Soofi S ثابتة تقريبًا من 4000 رمزًا إلى 256000 رمزًا. النموذج الوحيد القابل للمقارنة في قياسات الكونسورتيوم هو Qwen3.5 35B-A3B من شركة علي بابا، والذي يستخدم أيضًا بنية هجينة.

تدرب على اللغة الألمانية، دون التضحية باللغة الإنجليزية

يعد التركيز المتعمد على اللغة الألمانية أمرًا أساسيًا في المشروع. في مرحلة التدريب الأولى، تشكل اللغة الألمانية 7.2% من مزيج البيانات؛ وفي المرحلة الثانية ترتفع تلك الحصة إلى 15.3 بالمئة. بالمقارنة، في وصفة Nemotron المرجعية من Nvidia، تمثل جميع اللغات غير الإنجليزية مجتمعة حوالي 5 بالمائة فقط من مزيج التدريب.

تتضمن مصادر البيانات نص الويب الألماني من مجموعة HPLT، ومجموعة المشاع الألماني المرخصة بشكل مفتوح، والأجزاء الألمانية من FinePDFs وFineWiki، وأرشيف Genios المرخص تجاريًا الذي يضم 193 مليون مقالة صحفية مستمدة من 916 منشورًا ألمانيًا. وتتكامل النصوص الألمانية المترجمة آليًا والمولدة صناعيًا مع هذا المزيج.

قام النموذج بمعالجة ما يقرب من 27 تريليون رمز مميز عبر ثلاث مراحل تدريب: حوالي 20 تريليون رمز مميز للويب العريض، والتعليمات البرمجية، والرياضيات، والنص الخاص بالمجال في المرحلة الأولى؛ حوالي 6 تريليون رمز عالي الجودة في الثانية؛ ومرحلة ثالثة أقصر لتوسيع نافذة السياق باستخدام مستندات يصل طولها إلى مليون رمز مميز.

النتائج المعيارية: متقدم في اللغتين الألمانية والإنجليزية، وأضعف في الرياضيات

وفي التقييمات مقابل 16 نموذجًا مفتوحًا آخر، تتصدر Soofi S جميع النماذج المفتوحة بالكامل في الدرجات الإجمالية لكل من اللغتين الألمانية والإنجليزية، وفقًا للاتحاد. يتضمن ذلك OLMo 3 32B من معهد Allen للذكاء الاصطناعي وApertus 70B من ETH Zurich وEPFL. ومقابل كل خط أساس سيادي أوروبي، يتفوق النموذج على جميع المعايير الألمانية في المجموعة، وأحيانا بهوامش مكونة من رقمين.

في مهام التعليمات البرمجية، حصل Soofi S على 73.8 بالمائة في HumanEval، و70.2 في MBPP، و84.2 في متغير MBPP الألماني - وهي أفضل النتائج بين أقرانه من البرمجيات مفتوحة المصدر. في INCLUDE-DE، وهو اختبار للمعرفة الإقليمية الخاصة بألمانيا، تعادل Soofi S في المركز الأول بمجموع 61.2 نقطة مع Qwen3.5 35B-A3B الأكبر. بالمقارنة مع خط الأساس Nemotron، تعمل وصفة البيانات الموزونة باللغة الألمانية على تحسين إتقان اللغة بمقدار 15.1 نقطة ومعيار العلوم GPQA-Diamond بمقدار 9.6 نقطة، دون الإضرار بأداء اللغة الإنجليزية.

هناك نقاط ضعف واضحة. في مسابقة الرياضيات الألمانية (Minerva MATH-DE)، سجلت Soofi S 56 نقطة، متخلفة بفارق كبير عن Qwen3.5 35B-A3B عند 76.5 وGemma 3 27B عند 65.6. كما أنه يتتبع أيضًا الاسترجاع الواقعي المفتوح في NaturalQuestions، والذي يعزوه الفريق إلى وجود حوالي 3 مليار معلمة نشطة فقط، وبالتالي معرفة عالمية مخزنة أقل من نموذج 27B الكثيف. يُظهر اختبار السياق الطويل RULER فجوة أخرى: عندما يتعين على النموذج استخراج الكلمات المتكررة من نص طويل، ينخفض ​​معدل الإصابة إلى حوالي 3 بالمائة بعد 32000 رمز، في حين أن نموذج Nemotron المقارن لا يزال يحقق 60 إلى 64 بالمائة.

تدرب على 512 وحدة معالجة رسوميات Nvidia B200 في ميونيخ

تم إجراء التدريب في الفترة ما بين مارس ومايو 2026 على ما يصل إلى 512 وحدة معالجة رسوميات Nvidia B200 في Deutsche Telekom's Industrial AI Cloud في ميونيخ، بإجمالي حوالي 253000 ساعة GPU. تعمل المنشأة بالكامل على الطاقة المتجددة، ويتم تبريدها بالمياه من قناة إيسباخ، وتغذي الحرارة المهدرة إلى حي توخربارك المحيط بها، وفقًا للتقرير. كانت Soofi S واحدة من أولى الدورات التدريبية الكبرى التي تم إجراؤها على هذه البنية التحتية.

يتم تمويل الكونسورتيوم الذي يقف وراء هذا النموذج من قبل الوزارة الفيدرالية الألمانية للشؤون الاقتصادية والطاقة كجزء من برنامج IPCEI-CIS الأوروبي. ومن بين المشاركين معاهد فراونهوفر IAIS وIIS، ومركز الأبحاث الألماني للذكاء الاصطناعي (DFKI)، وTU Darmstadt، وجامعة فورتسبورغ، ومركز أبحاث L3S، وجامعة برلين للعلوم التطبيقية، وشركتي الذكاء الاصطناعي Ellamind وMerantix Momentum.

جدل حول "الإفراط في التدريب"

بعد فترة وجيزة من الإطلاق، جادل النقاد بأن Soofi S تم تدريبها بشكل كبير وفقًا لمعايير قوانين تحجيم Chinchilla الكلاسيكية التي نشرتها Google DeepMind في عام 2022، والتي اقترحت نقطة جيدة تقريبية تبلغ 20 رمزًا مميزًا لكل معلمة. مع 27 تريليون رمز وحوالي 30 مليار معلمة، تصل Soofi S إلى عدة مئات من الرموز لكل معلمة؛ وبحساب 3.2 مليار معلمة نشطة فقط، يرتفع المعدل إلى الآلاف.

وقد رد مايكل فروم، وهو جزء من القيادة الفنية للمشروع، على هذا النقد، بحجة أن هذه القواعد لا تنطبق على هياكل وزارة التربية والتعليم. وقال فروم: "هناك بحث جديد يظهر أن قوانين القياس القديمة من النماذج الكثيفة لم تعد تنطبق على هياكل وزارة التربية والتعليم"، مشيراً إلى أن الخبراء الأفراد يستفيدون من رؤية نفس الوثائق بشكل متكرر في مجموعة بيانات كبيرة وعالية الجودة. وعلى سبيل المقارنة، أشار إلى شركة Nvidia، التي قامت بتدريب نماذجها الخاصة على ما يصل إلى 25 تريليون رمز.

ما يتم إطلاقه، وما لا يتم إطلاقه

يقوم الباحثون بإصدار أوزان النماذج جنبًا إلى جنب مع نقاط التفتيش الوسيطة المختارة، وكود التدريب والتقييم الكامل، ومخزون البيانات التفصيلي الذي يسرد أعداد الرموز الأولية، وأرقام العصر، والمساهمات الفعالة لكل مصدر. وفقًا للفريق، فإن هذا يعني أن Soofi S تفي بتعريف الذكاء الاصطناعي مفتوح المصدر 1.0 من مبادرة المصدر المفتوح.

لم يتم تلبية الاقتراح الأكثر صرامة لتعريف أوروبي للبيانات المفتوحة، والذي يتطلب أن يكون كل رمز تدريبي قابل للتوزيع بحرية، لأن 1.3 بالمائة من المزيج يأتي من مجموعة Genios المرخصة تجاريًا. ويقول التقرير إن حوالي 99 بالمائة من بيانات التدريب لا يزال من الممكن إعادة بنائها بشكل مستقل. لم يتم الانتهاء من الترخيص الدقيق لإصدار النموذج في وقت النشر.

يبحث الكونسورتيوم الآن عن شركاء الصناعة للمرحلة التالية لاختبار Soofi S في التطبيقات التي تتضمن المستندات الفنية وتوليد الأكواد والأنظمة القائمة على الوكيل. لمعرفة المزيد عن إصدارات النماذج مفتوحة الوزن، والبنية التحتية السيادية للذكاء الاصطناعي، والنظام البيئي الأوروبي للذكاء الاصطناعي، تابع تغطية صناعة الذكاء الاصطناعي المنشورة هنا.

كن متقدمًا في مجال الذكاء الاصطناعي مفتوح المصدر

تصل الإصدارات ذات الوزن المفتوح أسبوعيًا تقريبًا من مختبرات في الولايات المتحدة والصين والآن أوروبا، وتستمر الفجوة بين أكبر النماذج المسجلة الملكية وأفضل البدائل المفتوحة في التضييق. تابع أخبار الذكاء الاصطناعي العاجلة والتحليل المعياري هنا للحصول على الصورة الكاملة.

اقرأ المزيد عن تغطية نموذج الذكاء الاصطناعي →