جرمن تحقیقی اداروں اور AI کمپنیوں کے ایک کنسورشیم نے Soofi S 30B-A3B جاری کیا ہے، جو ایک کھلی زبان کا ماڈل ہے جس کے بارے میں پروجیکٹ کا کہنا ہے کہ مکمل طور پر کھلے ماڈلز میں انگریزی اور جرمن دونوں بینچ مارکس پر سب سے زیادہ اسکور حاصل کرتا ہے۔ KI Bundesverband، جرمنی کی قومی AI ایسوسی ایشن کے تعاون سے، یہ ریلیز زبان کے پہلے بڑے ماڈلز میں سے ایک ہے جو مکمل طور پر میونخ میں Deutsche Telekom کے انڈسٹریل AI کلاؤڈ پر تربیت یافتہ ہے اور اسے غالب ریاستہائے متحدہ اور چینی اوپن ویٹ ریلیز کے لیے ایک خودمختار یورپی متبادل کے طور پر رکھا گیا ہے۔ [تازہ ترین AI پیش رفتوں] (https://aibuzzwire.news) سے باخبر رہنے والے ڈویلپرز کے لیے، لانچ غیر معمولی کارکردگی اور فن تعمیر میں بیک کی جانے والی زبان کی توجہ کے مقابلے میں خام پیمانے پر کم قابل ذکر ہے۔
ایک ہائبرڈ ڈیزائن جس میں صرف 3.2 بلین فعال پیرامیٹرز ہیں۔
Soofi S ماہرین کا مرکب (MoE) ماڈل ہے جس میں کل 31.6 بلین پیرامیٹرز ہیں، لیکن یہ صرف 3.2 بلین فی جنریٹڈ ٹوکن کو چالو کرتا ہے۔ یہ اس کی کمپیوٹ لاگت کو روایتی 30-ارب پیرامیٹر گھنے ماڈل کے مقابلے میں 3-ارب پیرامیٹر ماڈل کے قریب رکھتا ہے، ایک ڈیزائن کا انتخاب جس کا مقصد غیر ملکی کلاؤڈ فراہم کنندگان پر انحصار کیے بغیر یورپی انفراسٹرکچر پر چلانے کے لیے اتنا سستا رکھنا ہے۔
فن تعمیر Nvidia کے Nemotron 3 Nano سے لیا گیا ہے، جس میں Mamba-2 تہوں کو ایک ہائبرڈ لے آؤٹ میں معیاری توجہ کی تہوں کے ساتھ ملایا گیا ہے۔ پروجیکٹ کی پیشگی تربیتی رپورٹ کے مطابق، ماڈل کی 52 پرتوں میں سے صرف 6 کلیدی قدر (KV) کیشے کو برقرار رکھتی ہیں - میموری کا ڈھانچہ جو توجہ کے حساب کے لیے پچھلے ٹوکنز کو محفوظ کرتا ہے۔ روایتی ٹرانسفارمرز میں، یہ کیش سیاق و سباق کی لمبائی کے ساتھ لکیری طور پر بڑھتا ہے اور طویل سیاق و سباق کے تخمینے کے دوران ایک بڑی رکاوٹ بن جاتا ہے۔
عملی ادائیگی تھرو پٹ میں ظاہر ہوتی ہے۔ 32 متوازی درخواستوں کے ساتھ 40,000 ٹوکنز کی سیاق و سباق کی لمبائی پر، Soofi S 14 سے 24-بلین پیرامیٹر رینج میں گھنے ماڈلز کے مقابلے فی سیکنڈ فی GPU تقریباً آٹھ گنا زیادہ ٹوکن تیار کرتا ہے۔ جب کہ سیاق و سباق کے بڑھنے کے ساتھ ہی روایتی ماڈلز کے لیے جنریشن کی رفتار تیزی سے کم ہوتی ہے، Soofi S 4,000 ٹوکنز سے 256,000 ٹوکنز تک تقریباً فلیٹ رہتا ہے۔ کنسورشیم کی پیمائش میں واحد موازنہ ماڈل علی بابا کا Qwen3.5 35B-A3B ہے، جو ہائبرڈ فن تعمیر کا بھی استعمال کرتا ہے۔
انگریزی کی قربانی کے بغیر جرمن کے لیے تربیت یافتہ
جرمن پر دانستہ توجہ اس منصوبے کا مرکز ہے۔ پہلے تربیتی مرحلے میں، جرمن ڈیٹا مکس کا 7.2 فیصد بناتا ہے۔ دوسرے مرحلے میں یہ حصہ بڑھ کر 15.3 فیصد ہو گیا۔ اس کے مقابلے میں، Nvidia کی Nemotron Reference Recipe میں تمام غیر انگریزی زبانیں مل کر تربیتی مکس کا صرف 5 فیصد بنتی ہیں۔
ڈیٹا کے ذرائع میں HPLT کارپس سے جرمن ویب ٹیکسٹ، کھلے عام لائسنس یافتہ جرمن کامنز کارپس، FinePDFs اور FineWiki کے جرمن حصے، اور 916 جرمن اشاعتوں سے تیار کردہ 193 ملین اخباری مضامین کا تجارتی طور پر لائسنس یافتہ Genios آرکائیو شامل ہیں۔ مشین سے ترجمہ شدہ اور مصنوعی طور پر تیار کی گئی جرمن تحریریں مرکب سے باہر ہیں۔
ماڈل نے تین تربیتی مراحل میں تقریباً 27 ٹریلین ٹوکنز پر کارروائی کی: پہلے مرحلے میں وسیع ویب، کوڈ، ریاضی، اور ڈومین سے متعلق متن کے تقریباً 20 ٹریلین ٹوکن؛ دوسرے میں تقریباً 6 ٹریلین اعلیٰ معیار کے ٹوکن؛ اور ایک چھوٹا تیسرا مرحلہ جس میں سیاق و سباق کی کھڑکی کو توسیع دی جائے گی جس میں دستاویزات کا استعمال کرتے ہوئے 10 لاکھ ٹوکن طویل ہے۔
بینچ مارک کے نتائج: جرمن اور انگریزی میں آگے، ریاضی میں کمزور
کنسورشیم کے مطابق، 16 دیگر کھلے ماڈلز کے مقابلے میں، Soofi S جرمن اور انگریزی دونوں کے مجموعی اسکور پر تمام مکمل طور پر کھلے ماڈلز کی قیادت کرتا ہے۔ اس میں ایلن انسٹی ٹیوٹ برائے AI سے OLMo 3 32B اور ETH زیورخ اور EPFL سے Apertus 70B شامل ہیں۔ ہر یورپی خودمختار بیس لائن کے خلاف، ماڈل سوٹ میں تمام جرمن بینچ مارکس پر آگے نکلتا ہے، بعض اوقات دوہرے ہندسے کے مارجن سے۔
کوڈ ٹاسکس پر، Soofi S نے HumanEval پر 73.8 فیصد، MBPP پر 70.2، اور جرمن MBPP ویرینٹ پر 84.2 اسکور حاصل کیے - اوپن سورس ساتھیوں کے درمیان بہترین نتائج۔ INCLUDE-DE پر، جرمنی کے مخصوص علاقائی علم کے لیے ایک ٹیسٹ، Soofi S بڑے Qwen3.5 35B-A3B کے ساتھ 61.2 پوائنٹس پر پہلی پوزیشن کے لیے ٹائی کرتا ہے۔ Nemotron بیس لائن کے مقابلے میں، جرمن وزنی ڈیٹا کی ترکیب انگریزی کی کارکردگی کو نقصان پہنچائے بغیر، زبان کی مہارت کو 15.1 پوائنٹس اور GPQA-Diamond سائنس بینچ مارک کو 9.6 پوائنٹس سے بہتر کرتی ہے۔
واضح کمزوریاں ہیں۔ جرمن مقابلہ ریاضی (Minerva MATH-DE) پر، Soofi S 56 پوائنٹس کے ساتھ، Qwen3.5 35B-A3B سے 76.5 پر اور Gemma 3 27B سے 65.6 پر پیچھے ہے۔ یہ NaturalQuestions میں کھلے حقائق کی بازیافت پر بھی ٹریل کرتا ہے، جس کی وجہ ٹیم صرف 3 بلین فعال پیرامیٹرز رکھنے اور اس وجہ سے ایک گھنے 27B ماڈل سے کم ذخیرہ شدہ عالمی علم کو بتاتی ہے۔ RULER طویل سیاق و سباق کا ٹیسٹ ایک اور خلا کو ظاہر کرتا ہے: جب ماڈل کو ایک طویل متن سے اکثر آنے والے الفاظ نکالنے پڑتے ہیں، تو اس کی ہٹ ریٹ 32,000 ٹوکنز سے بڑھ کر تقریباً 3 فیصد تک گر جاتی ہے، جبکہ تقابلی Nemotron ماڈل اب بھی 60 سے 64 فیصد کا انتظام کرتا ہے۔
میونخ میں 512 Nvidia B200 GPUs پر تربیت یافتہ
ٹریننگ کی دوڑ مارچ اور مئی 2026 کے درمیان میونخ میں ڈوئچے ٹیلی کام کے انڈسٹریل AI کلاؤڈ پر 512 Nvidia B200 GPUs پر ہوئی، جس میں کل تقریباً 253,000 GPU-گھنٹے تھے۔ رپورٹ کے مطابق، یہ سہولت مکمل طور پر قابل تجدید توانائی پر چلتی ہے، اسے Eisbach نہر کے پانی سے ٹھنڈا کیا جاتا ہے، اور ٹچرپارک کے آس پاس کے محلے میں فضلہ کی گرمی کو فیڈ کیا جاتا ہے۔ صوفی ایس اس بنیادی ڈھانچے پر کی جانے والی پہلی بڑی ٹریننگ رن میں سے ایک تھی۔
ماڈل کے پیچھے کنسورشیم کو یورپی IPCEI-CIS پروگرام کے حصے کے طور پر جرمنی کی وفاقی وزارت برائے اقتصادی امور اور توانائی کی طرف سے مالی اعانت فراہم کی جاتی ہے۔ شرکاء میں Fraunhofer Institutes IAIS اور IIS، جرمن ریسرچ سینٹر برائے مصنوعی ذہانت (DFKI)، TU Darmstadt، Würzburg یونیورسٹی، L3S ریسرچ سینٹر، برلن یونیورسٹی آف اپلائیڈ سائنسز، اور AI کمپنیاں Ellamind اور Merantix Momentum شامل ہیں۔
'اوور ٹریننگ' پر بحث
لانچ کے فوراً بعد، ناقدین نے استدلال کیا کہ صوفی ایس کو 2022 میں گوگل ڈیپ مائنڈ کے ذریعہ شائع کردہ کلاسک چنچیلا اسکیلنگ قوانین کے معیارات سے بہت زیادہ تربیت دی گئی تھی، جس نے فی پیرامیٹر 20 ٹوکنز کی ایک کھردری میٹھی جگہ تجویز کی تھی۔ 27 ٹریلین ٹوکنز اور تقریباً 30 بلین پیرامیٹرز کے ساتھ، Soofi S کئی سو ٹوکن فی پیرامیٹر پر اترتا ہے۔ صرف 3.2 بلین فعال پیرامیٹرز کی گنتی تناسب کو ہزاروں میں دھکیل دیتی ہے۔
پراجیکٹ کی تکنیکی قیادت کا حصہ، مائیکل فرام نے اس تنقید کو پیچھے دھکیل دیا، یہ دلیل دیتے ہوئے کہ یہ اصول MoE کے فن تعمیر پر نہیں آتے۔ فروم نے کہا، "ایک نئی تحقیق سے ظاہر ہوتا ہے کہ گھنے ماڈلز کے پرانے پیمانے کے قوانین اب ایم او ای آرکیٹیکچرز پر لاگو نہیں ہوتے ہیں،" فروم نے کہا، یہ نوٹ کرتے ہوئے کہ انفرادی ماہرین ایک ہی دستاویزات کو ایک بڑے، اعلیٰ معیار کے ڈیٹاسیٹ میں بار بار دیکھنے سے فائدہ اٹھاتے ہیں۔ موازنے کے نقطہ کے طور پر، اس نے Nvidia کی طرف اشارہ کیا، جس نے اپنے ماڈلز کو 25 ٹریلین ٹوکن تک تربیت دی ہے۔
کیا جاری ہوتا ہے، اور کیا نہیں؟
محققین منتخب انٹرمیڈیٹ چیک پوائنٹس، مکمل ٹریننگ اور ایویلیویشن کوڈ، اور خام ٹوکن کی گنتی، عہد کی تعداد، اور فی ماخذ کے لحاظ سے مؤثر شراکتوں کی فہرست کے ساتھ ایک تفصیلی ڈیٹا انوینٹری کے ساتھ ماڈل وزن جاری کر رہے ہیں۔ ٹیم کے مطابق، اس کا مطلب ہے کہ Soofi S اوپن سورس انیشی ایٹو سے اوپن سورس AI ڈیفینیشن 1.0 سے ملتا ہے۔
یورپی اوپن ڈیٹا ڈیفینیشن کے لیے ایک سخت تجویز، جس کے لیے ہر ایک ٹریننگ ٹوکن کو آزادانہ طور پر تقسیم کرنے کی ضرورت ہوگی، اس لیے پورا نہیں کیا گیا کیونکہ مکس کا 1.3 فیصد تجارتی طور پر لائسنس یافتہ جینیوس کارپس سے آتا ہے۔ رپورٹ میں کہا گیا ہے کہ تقریباً 99 فیصد تربیتی ڈیٹا اب بھی آزادانہ طور پر دوبارہ تشکیل دیا جا سکتا ہے۔ اشاعت کے وقت ماڈل کی رہائی کے لئے صحیح لائسنس کو حتمی شکل نہیں دی گئی تھی۔
کنسورشیم اب اگلے مرحلے کے لیے صنعتی شراکت داروں کی تلاش میں ہے تاکہ تکنیکی دستاویزات، کوڈ جنریشن، اور ایجنٹ پر مبنی سسٹمز پر مشتمل ایپلی کیشنز میں Soofi S کی جانچ کی جا سکے۔ اوپن ویٹ ماڈل ریلیزز، خودمختار AI انفراسٹرکچر، اور یورپی AI ایکو سسٹم کے بارے میں مزید جاننے کے لیے، یہاں شائع ہونے والی AI انڈسٹری کوریج کو جاری رکھیں۔
اوپن سورس AI پر آگے رہیں
اوپن ویٹ ریلیز تقریباً ہفتہ وار ریاستہائے متحدہ، چین اور اب یورپ کی لیبز سے آ رہی ہیں، اور سب سے بڑے ملکیتی ماڈلز اور بہترین کھلے متبادل کے درمیان فرق کم ہوتا جا رہا ہے۔ مکمل تصویر کے لیے یہاں بریکنگ اے آئی نیوز اور بینچ مارک تجزیہ کی پیروی کریں۔
مزید AI ماڈل کی کوریج پڑھیں →
