جرمن AI کمپنی Aleph Alpha نے Kolibri کو جاری کیا ہے، جو ایک اوپن ویٹ مکسچر آف ایکسپرٹس لینگویج ماڈل ہے جو جرمن اور انگریزی کے لیے بنایا گیا ہے۔ ماڈل 78.1 بلین کل پیرامیٹرز پیک کرتا ہے لیکن ان میں سے صرف 3.46 بلین فی ٹوکن کو چالو کرتا ہے - تقریباً 4.4 فیصد - اور ہگنگ فیس پر اجازت یافتہ Apache 2.0 لائسنس کے تحت جہاز۔ یہ سیاق و سباق کے 1,048,576 ٹوکنز تک کو قبول کرتا ہے اور صارفین کو فی درخواست استدلال کی کوشش کرنے دیتا ہے۔ اوپن ویٹ ایکو سسٹم کو ٹریک کرنے والے قارئین کے لیے، یہ ہماری تازہ ترین AI پیش رفت* کے ساتھ ہے۔

ریلیز اس بارے میں ایک جان بوجھ کر بیان ہے کہ Aleph Alpha اپنی مارکیٹ کو کہاں دیکھتا ہے: عوامی انتظامیہ، صنعت اور ایرو اسپیس جیسے ریگولیٹڈ شعبوں میں خودمختار تعیناتی، جہاں یہ جاننا کہ ماڈل کو کہاں تربیت دی گئی تھی، کس ڈیٹا پر، اور کس قانونی فریم ورک کے تحت ہونا اچھا نہیں ہے لیکن خریداری کی ضرورت ہے۔

کولیبری اصل میں کیا ہے؟

کولیبری، جسے تکنیکی مواد میں Kolibri-1 کہا جاتا ہے، ایک دو لسانی انگریزی-جرمن MoE ٹرانسفارمر ہے جسے Aleph Alpha کا کہنا ہے کہ جرمنی کی ٹیموں نے آخر تک تیار کیا تھا۔ کمپنی کی تکنیکی تحقیقی رپورٹ کے مطابق، ٹیم نے مکمل پائپ لائن کو کنٹرول کیا — ڈیٹا، فن تعمیر، تربیتی انفراسٹرکچر، پوسٹ ٹریننگ، اور تشخیص — کسی اور لیب کے چیک پوائنٹ سے شروع ہونے کے بجائے۔

تربیت جرمنی اور فن لینڈ میں واقع انفراسٹرکچر پر چلائی گئی۔ ڈیزائن کے عمل میں واضح طور پر EU جنرل پرپز AI کوڈ آف پریکٹس، EU AI ایکٹ، اور GDPR کی تعمیل کو ہدف بنایا گیا ہے، اور Aleph Alpha اس کوڈ کا دستخط کنندہ ہے۔ کمپنی کا کہنا ہے کہ اس کی ڈیٹا پائپ لائن ٹریننگ سے پہلے ذاتی ڈیٹا کو ری ڈیکٹ کرتی ہے، اس تفصیل کا مقصد براہ راست پبلک سیکٹر کے خریداروں پر ہے جو قانونی طور پر شہریوں کے ڈیٹا کو غیر واضح نمونوں میں نہیں کھلا سکتے۔

یہ ایک ہی GPU پر چلتا ہے۔

تعیناتی واضح طور پر ڈیزائن کی رکاوٹ تھی، سوچنے کے بعد نہیں۔ FP8 چوکی کا وزن تقریباً 78GB ہے اور یہ واحد NVIDIA B200, B300، یا H200 پر چلتا ہے — یا دو H100 SXM5 GPUs پر — vLLM کے ذریعے سرشار کولیبری استدلال اور ٹول کال پارسر کے ساتھ پیش کیا جاتا ہے۔ 78-بلین پیرامیٹر ماڈل کے لیے، یہ ایک معمولی ہارڈویئر فٹ پرنٹ ہے، اور یہ ویرل MoE ڈیزائن کی براہ راست ادائیگی ہے: فی ٹوکن فعال صرف 3.46 بلین پیرامیٹرز کے ساتھ، تخمینہ لاگت کل کے بجائے فعال پیرامیٹر کی گنتی کو ٹریک کرتی ہے۔

ویرل ماہرین اور ہائبرڈ توجہ

ہڈ کے نیچے، کولیبری 50 ٹرانسفارمر بلاکس کو اسٹیک کرتی ہے جس کی چوڑائی 2,560 ہے۔ ہر MoE پرت تمام 384 روٹڈ ماہرین کو ایک سگمائیڈ راؤٹر کے ساتھ اسکور کرتی ہے، ہر ٹوکن ٹاپ 6 کو بھیجتی ہے، اور ہمیشہ ان کے ساتھ 1 مشترکہ ماہر چلاتی ہے۔ ماہرین کا بوجھ حروف تہجی کے سوپ ناموں کے ساتھ دو تکنیکوں کا استعمال کرتے ہوئے متوازن ہے — ایکزیکٹ کوانٹائل بیلنسنگ اور لوڈ-ایرر انجیکشن — جو کہ راؤٹر کو تمام ٹریفک کو مٹھی بھر ماہرین پر گرنے سے روکتے ہیں۔

توجہ وہ جگہ ہے جہاں فن تعمیر زیادہ دلچسپ ہو جاتا ہے۔ کولیبری 48 استفسار کے سروں اور 4 کے وی ہیڈز کے ساتھ گروپ بند استفسار کی توجہ کا استعمال کرتا ہے، لیکن پرتیں یکساں نہیں ہیں: ہر پانچواں بلاک پوزیشنل انکوڈنگ کے بغیر پوری توجہ کا استعمال کرتا ہے، جبکہ دیگر 40 بلاکس RoPE کے ساتھ، 512 پچھلے ٹوکنز پر سلائیڈنگ ونڈو توجہ کا استعمال کرتے ہیں۔ اس کا عملی نتیجہ میموری کی کارکردگی ہے — سلائیڈنگ ونڈو کی پرتیں ایک مقررہ سائز کے KV کیشے رکھتی ہیں، اس لیے 50 میں سے صرف 10 پرتیں سیاق و سباق کی لمبائی کے ساتھ بڑھتی ہیں۔ مماثل کمپیوٹ میں، Aleph Alpha رپورٹ کرتا ہے کہ ہائبرڈ ڈیزائن ایک مساوی مکمل توجہ والے ماڈل سے چار گنا طویل ترتیب کو سپورٹ کرتا ہے۔ اس طرح اس سائز کا ماڈل غیر ملکی انفراسٹرکچر کے بغیر ایک ملین ٹوکن سیاق و سباق کی ونڈو کا دعوی کرتا ہے۔

جرمن کے لیے بنایا گیا ٹوکنائزر

زیادہ تر فرنٹیئر ٹوکنائزر جرمن زبان کو سوچنے کے بعد سمجھتے ہیں، اس کے لمبے مرکب الفاظ کو ٹکڑوں میں تقسیم کرتے ہیں جو ٹوکن کی تعداد اور مؤثر لاگت کو بڑھاتے ہیں۔ Aleph Alpha نے UniBPE کے ساتھ براہ راست اس پر حملہ کیا، ایک 128,000 ٹوکن ذخیرہ الفاظ جو BPE کے طریقے سے ضم کرتا ہے لیکن Unigram نقصان سے ہر انضمام کو اسکور کرتا ہے۔

نمبرز کیس بناتے ہیں۔ جرمن ٹیکسٹ پر، کولیبری کا ٹوکنائزر 4.90 بائٹس فی ٹوکن تک پہنچ جاتا ہے، بمقابلہ GPT-5 ٹوکنائزر کے لیے 4.35 - یعنی جرمن ویب ٹیکسٹ پر 11.2 فیصد کم ٹوکن۔ انگریزی میں، Kolibri اصل میں GPT-5 کے 4.67 کے مقابلے میں 4.58 بائٹس فی ٹوکن پر بھی سامنے آتا ہے۔ ٹوکن کے ذریعے ادائیگی کرنے والے انٹرپرائز صارفین کے لیے، یہ جرمن زبان کے ہر کام کے بوجھ پر براہ راست رعایت ہے۔

سرحدی پیمانے پر تربیت یافتہ

کولیبری کے پیچھے چلنے والی تربیت کافی ہے۔ پری ٹریننگ نے 768 NVIDIA B200 GPUs پر 20 ٹریلین ٹوکنز کا احاطہ کیا، اس کے بعد 3.44 ٹریلین مڈ ٹریننگ ٹوکنز 65,536 ٹوکن تسلسل کی لمبائی پر ہیں۔ اس کے بعد پائپ لائن زیر نگرانی فائن ٹیوننگ اور کمک سیکھنے کے مراحل سے گزری تاکہ حتمی ہدایات کے بعد، استدلال کے قابل ماڈل تیار کیا جا سکے۔ کمپنی نے ایک تکنیکی تحقیقی رپورٹ شائع کی ہے جس میں اس عمل کا احاطہ کیا گیا ہے، یورپی لیب کے لیے انکشاف کی ایک غیر معمولی سطح اور ایک واضح طور پر ریگولیٹڈ صارفین کے ساتھ اعتماد پیدا کرنا ہے۔

یورپ کے AI پش کے لیے اس کا کیا مطلب ہے۔

کولیبری ایک ایسی مارکیٹ میں داخل ہوتا ہے جہاں امریکی اور چینی لیبز سے کھلے وزن کی ریلیز گفتگو پر حاوی ہوتی ہیں، اور جہاں یورپی حکومتوں نے ڈیجیٹل خودمختاری کے بارے میں تیزی سے آواز اٹھائی ہے۔ Aleph Alpha کی شرط یہ ہے کہ اس مارکیٹ کا ایک ٹکڑا — وزارتیں، دفاع سے ملحقہ صنعت، اہم انفراسٹرکچر — ایک ایسے ماڈل کے لیے ادائیگی کرے گا جو ڈیٹا ہینڈلنگ، ٹریننگ لوکیشن، اور قانونی حیثیت میں محض کھلا وزن نہیں بلکہ تصدیق شدہ طور پر یورپی ہے۔

آیا اس شرط کی ادائیگی کا انحصار ان سوالات پر ہے جو ریلیز نے ابھی تک جواب نہیں دیا ہے: معیاری تشخیص پر فرنٹیئر اوپن ماڈلز کے خلاف کولیبری بینچ مارک کس طرح، اور اس کے ارد گرد ٹولنگ کا ایکو سسٹم کتنی جلدی تشکیل پاتا ہے۔ ریلیز سے جو بات ثابت ہوتی ہے وہ یہ ہے کہ ایک مکمل اسٹیک، فرنٹیئر سے ملحقہ تربیتی صلاحیت اب EU کے اندر موجود ہے، جس میں کاغذی کارروائی کی ضرورت ہے۔ GDPR اور AI ایکٹ کی پابند تنظیموں کے لیے، یہ امتزاج لیڈر بورڈ پوزیشنز سے زیادہ اہمیت رکھتا ہے۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →