أصدرت شركة الذكاء الاصطناعي الألمانية Aleph Alpha Kolibri، وهو نموذج لغة مفتوح الوزن مكون من مزيج من الخبراء تم تصميمه من الألف إلى الياء باللغتين الألمانية والإنجليزية. يحتوي النموذج على 78.1 مليار معلمة إجمالية ولكنه ينشط 3.46 مليار منها فقط لكل رمز مميز - حوالي 4.4 بالمائة - ويتم شحنه بموجب ترخيص Apache 2.0 المسموح به على Hugging Face. يقبل ما يصل إلى 1,048,576 رمزًا مميزًا للسياق ويتيح للمستخدمين ضبط جهد التفكير لكل طلب. بالنسبة للقراء الذين يتتبعون النظام البيئي للأوزان المفتوحة، فإن هذا يأتي جنبًا إلى جنب مع أحدث تطورات الذكاء الاصطناعي.

يعد هذا الإصدار بيانًا متعمدًا حول المكان الذي ترى فيه Aleph Alpha سوقها: النشر السيادي في القطاعات المنظمة مثل الإدارة العامة والصناعة والفضاء، حيث معرفة المكان الذي تم تدريب النموذج فيه بالضبط، وعلى أي بيانات، وتحت أي إطار قانوني ليس من الجيد الحصول عليه ولكنه شرط شراء.

ما هو كوليبري في الواقع؟

كوليبري، والمشار إليه باسم كوليبري-1 في المواد التقنية، هو محول ثنائي اللغة من وزارة البيئة الإنجليزية-الألمانية تقول شركة ألف ألفا إنه تم تطويره من قبل فرق في ألمانيا. وفقًا لتقرير البحث الفني للشركة، كان الفريق يتحكم في المسار الكامل - البيانات، والهندسة المعمارية، والبنية التحتية للتدريب، وما بعد التدريب، والتقييم - بدلاً من البدء من نقطة تفتيش مختبر آخر.

تم إجراء التدريب على البنية التحتية الموجودة في ألمانيا وفنلندا. استهدفت عملية التصميم بشكل واضح الامتثال لقواعد ممارسات الذكاء الاصطناعي للأغراض العامة للاتحاد الأوروبي، وقانون الذكاء الاصطناعي للاتحاد الأوروبي، واللائحة العامة لحماية البيانات، وكانت Aleph Alpha أحد الموقعين على تلك المدونة. وتقول الشركة إن خط البيانات الخاص بها يقوم بتنقيح البيانات الشخصية قبل التدريب، وهي تفاصيل تستهدف مباشرة المشترين من القطاع العام الذين لا يستطيعون قانونيًا إدخال بيانات المواطنين في نماذج ذات مصدر غير واضح.

يعمل على وحدة معالجة رسومات واحدة

من الواضح أن قابلية النشر كانت عائقًا في التصميم، وليست فكرة لاحقة. يبلغ وزن نقطة تفتيش FP8 حوالي 78 جيجابايت وتعمل على NVIDIA B200 أو B300 أو H200 واحد - أو على وحدتي معالجة رسوميات H100 SXM5 - يتم تقديمهما من خلال vLLM مع منطق Kolibri المخصص وموزعي استدعاء الأدوات. بالنسبة لنموذج مكون من 78 مليار معلمة، يعد ذلك بمثابة بصمة متواضعة للأجهزة، وهو المردود المباشر لتصميم وزارة التعليم المتناثر: مع وجود 3.46 مليار معلمة نشطة فقط لكل رمز مميز، فإن تكلفة الاستدلال تتبع عدد المعلمات النشطة بدلاً من الإجمالي.

خبراء متفرقون واهتمام مختلط

تحت الغطاء، تقوم كوليبري بتكديس 50 كتلة محولات بعرض نموذج يبلغ 2,560. تسجل كل طبقة من طبقات MoE جميع الخبراء الذين تم توجيههم وعددهم 384 باستخدام جهاز توجيه سيني، وترسل كل رمز مميز إلى أعلى 6، وتقوم دائمًا بتشغيل خبير مشترك واحد بجانبهم. تتم موازنة حمل الخبراء باستخدام تقنيتين بأسماء حساء أبجدية - التوازن الكمي الدقيق وحقن خطأ التحميل - اللذان يمنعان جهاز التوجيه من انهيار كل حركة المرور على عدد قليل من المتخصصين.

الاهتمام هو المكان الذي تصبح فيه الهندسة المعمارية أكثر إثارة للاهتمام. يستخدم كوليبري اهتمام الاستعلامات المجمعة مع 48 رأس استعلام و4 رؤوس KV، لكن الطبقات ليست موحدة: كل كتلة خامسة تستخدم الاهتمام الكامل دون تشفير موضعي، بينما تستخدم الكتل الأربعون الأخرى انتباه النافذة المنزلقة على 512 من الرموز المميزة السابقة، مع RoPE. والنتيجة العملية هي كفاءة الذاكرة - حيث تحتوي طبقات النافذة المنزلقة على ذاكرة تخزين مؤقت ذات حجم ثابت KV، لذلك تنمو 10 طبقات فقط من الطبقات الخمسين مع طول السياق. عند الحوسبة المتطابقة، تشير Aleph Alpha إلى أن التصميم الهجين يدعم تسلسلات أطول بأربع مرات من نموذج الاهتمام الكامل المكافئ. هذه هي الطريقة التي يطالب بها نموذج بهذا الحجم بنافذة سياق مكونة من مليون رمز بدون بنية تحتية غريبة.

أداة رمزية مصممة للغة الألمانية

يتعامل معظم صانعي الرموز المميزة مع اللغة الألمانية كفكرة لاحقة، حيث يقومون بتقسيم كلماتها المركبة الطويلة إلى أجزاء تؤدي إلى تضخيم عدد الرموز المميزة والتكاليف الفعالة. هاجمت Aleph Alpha هذا الأمر مباشرةً باستخدام UniBPE، وهي عبارة عن مفردات مكونة من 128000 رمز تقوم ببناء عمليات الدمج بالطريقة التي تعمل بها BPE ولكنها تسجل كل عملية دمج من خلال خسارة Unigram.

الأرقام تجعل هذه القضية. في النص الألماني، يصل حجم رمز Kolibri إلى 4.90 بايت لكل رمز، مقابل 4.35 بايت لرمز GPT-5 - مما يعني تقليل الرموز بنسبة 11.2 بالمائة على نص الويب الألماني. في اللغة الإنجليزية، يتقدم كوليبري بالفعل أيضًا، بمعدل 4.58 بايت لكل رمز مقابل 4.67 بايت لـ GPT-5. بالنسبة لعملاء المؤسسات الذين يدفعون عن طريق الرمز المميز، يعد هذا خصمًا مباشرًا على كل عبء عمل باللغة الألمانية.

تدرب على نطاق الحدود

يعتبر التدريب الذي يتم إجراؤه خلف كوليبري أمرًا جوهريًا. غطى التدريب المسبق 20 تريليون رمز مميز على 768 وحدة معالجة رسوميات NVIDIA B200، يليه 3.44 تريليون رمز مميز في منتصف التدريب بطول تسلسلي يبلغ 65,536 رمزًا. بعد ذلك، انتقل خط الأنابيب عبر مراحل الضبط الدقيق والتعزيز الخاضعة للإشراف لإنتاج النموذج النهائي الذي يتبع التعليمات، وقادر على التفكير. نشرت الشركة تقريرًا بحثيًا تقنيًا يغطي العملية، وهو مستوى غير معتاد من الإفصاح بالنسبة لمختبر أوروبي ويهدف بوضوح إلى بناء الثقة مع العملاء الخاضعين للتنظيم.

ماذا يعني ذلك بالنسبة لجهود أوروبا في مجال الذكاء الاصطناعي

يدخل كوليبري سوقًا حيث تهيمن الإصدارات ذات الوزن المفتوح من المختبرات الأمريكية والصينية على المحادثة، وحيث أصبحت الحكومات الأوروبية تتحدث بشكل متزايد عن السيادة الرقمية. رهان ألف ألفا هو أن شريحة من تلك السوق - الوزارات، والصناعة المجاورة للدفاع، والبنية التحتية الحيوية - ستدفع مقابل نموذج ليس مجرد ذو وزن مفتوح ولكنه أوروبي يمكن التحقق منه في التعامل مع البيانات، وموقع التدريب، والوضع القانوني.

يعتمد نجاح هذا الرهان على الأسئلة التي لم يجيب عليها الإصدار بعد: كيف يقوم كوليبري بمقارنة نماذج الحدود المفتوحة في التقييمات القياسية، ومدى سرعة تشكل النظام البيئي للأدوات حوله. ما يثبته الإصدار هو أن القدرة التدريبية الكاملة والمجاورة للحدود موجودة الآن داخل الاتحاد الأوروبي، مع الأوراق اللازمة لمطابقتها. بالنسبة للمؤسسات الملتزمة باللائحة العامة لحماية البيانات وقانون الذكاء الاصطناعي، قد يكون هذا المزيج أكثر أهمية من مناصب المتصدرين.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →