জার্মান এআই কোম্পানী আলেফ আলফা কোলিব্রি প্রকাশ করেছে, একটি ওপেন-ওয়েট মিক্সচার-অফ-বিশেষজ্ঞ ভাষার মডেল যা জার্মান এবং ইংরেজির জন্য তৈরি করা হয়েছে। মডেলটি মোট 78.1 বিলিয়ন প্যারামিটার প্যাক করে কিন্তু টোকেন প্রতি তাদের মধ্যে মাত্র 3.46 বিলিয়ন সক্রিয় করে — প্রায় 4.4 শতাংশ — এবং হাগিং ফেস-এর অনুমতিপ্রাপ্ত অ্যাপাচি 2.0 লাইসেন্সের অধীনে জাহাজগুলি। এটি 1,048,576 পর্যন্ত প্রসঙ্গ টোকেন গ্রহণ করে এবং ব্যবহারকারীদের অনুরোধ প্রতি যুক্তির প্রচেষ্টা সেট করতে দেয়। ওপেন-ওয়েট ইকোসিস্টেম ট্র্যাকিং করা পাঠকদের জন্য, এটি আমাদের नवीनतम AI উন্নয়ন এর পাশাপাশি রয়েছে।

রিলিজটি আলেফ আলফা তার বাজার কোথায় দেখে তা সম্পর্কে একটি ইচ্ছাকৃত বিবৃতি: জনপ্রশাসন, শিল্প এবং মহাকাশের মতো নিয়ন্ত্রিত খাতে সার্বভৌম স্থাপনা, যেখানে ঠিক কোথায় একটি মডেলকে প্রশিক্ষণ দেওয়া হয়েছিল, কোন ডেটার উপর এবং কোন আইনি কাঠামোর অধীনে এটি একটি ভাল জিনিস নয় কিন্তু একটি সংগ্রহের প্রয়োজনীয়তা।

কলিব্রি আসলে কি?

কোলিব্রি, প্রযুক্তিগত উপকরণগুলিতে কোলিব্রি-1 হিসাবে উল্লেখ করা হয়েছে, এটি একটি দ্বিভাষিক ইংরেজি-জার্মান MoE ট্রান্সফরমার যা আলেফ আলফা বলেছে জার্মানির দলগুলি দ্বারা শেষ থেকে শেষের দিকে তৈরি করা হয়েছিল৷ কোম্পানির প্রযুক্তিগত গবেষণা প্রতিবেদন অনুসারে, দলটি সম্পূর্ণ পাইপলাইন নিয়ন্ত্রণ করেছে — ডেটা, আর্কিটেকচার, প্রশিক্ষণের অবকাঠামো, পোস্ট-ট্রেনিং এবং মূল্যায়ন — অন্য ল্যাবের চেকপয়েন্ট থেকে শুরু না করে।

জার্মানি এবং ফিনল্যান্ডে অবস্থিত অবকাঠামোর উপর প্রশিক্ষণ চালানো হয়। নকশা প্রক্রিয়াটি স্পষ্টভাবে EU সাধারণ-উদ্দেশ্য AI কোড অফ প্র্যাকটিস, EU AI আইন, এবং GDPR-এর সাথে সম্মতি লক্ষ্য করে এবং আলেফ আলফা সেই কোডের স্বাক্ষরকারী। সংস্থাটি বলেছে যে তার ডেটা পাইপলাইন প্রশিক্ষণের আগে ব্যক্তিগত ডেটা সংশোধিত করে, একটি বিশদ সরাসরি সরকারি-খাতের ক্রেতাদের লক্ষ্য করে যারা আইনত নাগরিক ডেটা অস্পষ্ট উত্সের মডেলগুলিতে খাওয়াতে পারে না।

এটি একটি একক GPU-তে চলে

স্থাপনযোগ্যতা স্পষ্টতই একটি নকশার সীমাবদ্ধতা ছিল, পরবর্তী চিন্তা নয়। FP8 চেকপয়েন্টের ওজন মোটামুটি 78GB এবং এটি একটি একক NVIDIA B200, B300, বা H200 — অথবা দুটি H100 SXM5 GPU-তে চলে — ডেডিকেটেড কলিব্রি যুক্তি এবং টুল-কল পার্সার সহ vLLM-এর মাধ্যমে পরিবেশিত হয়৷ একটি 78-বিলিয়ন-প্যারামিটার মডেলের জন্য, এটি একটি শালীন হার্ডওয়্যার ফুটপ্রিন্ট, এবং এটি স্পার্স MoE ডিজাইনের প্রত্যক্ষ প্রতিদান: প্রতি টোকেন মাত্র 3.46 বিলিয়ন প্যারামিটার সক্রিয়, অনুমান খরচ মোটের চেয়ে সক্রিয় প্যারামিটার গণনাকে ট্র্যাক করে।

স্পারস বিশেষজ্ঞ এবং হাইব্রিড মনোযোগ

হুডের নিচে, কলিব্রি 2,560 মডেলের প্রস্থ সহ 50টি ট্রান্সফরমার ব্লক স্তুপ করে। প্রতিটি MoE স্তর একটি সিগমায়েড রাউটার সহ 384 রাউটেড বিশেষজ্ঞদের স্কোর করে, প্রতিটি টোকেন শীর্ষ 6-এ পাঠায় এবং সর্বদা তাদের পাশাপাশি 1 জন ভাগ করা বিশেষজ্ঞ চালায়। বর্ণানুক্রমিক-স্যুপ নামের দুটি কৌশল ব্যবহার করে বিশেষজ্ঞের লোডকে ভারসাম্যপূর্ণ করা হয় — সঠিক কোয়ান্টাইল ব্যালেন্সিং এবং লোড-এরর ইনজেকশন — যা রাউটারকে মুষ্টিমেয় বিশেষজ্ঞদের কাছে সমস্ত ট্র্যাফিক ভেঙে পড়া থেকে বিরত রাখে।

মনোযোগ যেখানে স্থাপত্য আরো আকর্ষণীয় পায়. কলিব্রি 48টি ক্যোয়ারী হেড এবং 4 কেভি হেড সহ গোষ্ঠীবদ্ধ-কোয়েরি মনোযোগ ব্যবহার করে, কিন্তু স্তরগুলি অভিন্ন নয়: প্রতি পঞ্চম ব্লক অবস্থানগত এনকোডিং ছাড়াই সম্পূর্ণ মনোযোগ ব্যবহার করে, অন্য 40টি ব্লক রোপি-এর সাথে 512টি পূর্ববর্তী টোকেনের উপর স্লাইডিং-উইন্ডো মনোযোগ ব্যবহার করে। ব্যবহারিক পরিণতি হল মেমরি দক্ষতা — স্লাইডিং-উইন্ডো স্তরগুলি একটি নির্দিষ্ট-আকারের কেভি ক্যাশে ধারণ করে, তাই 50টি স্তরের মধ্যে মাত্র 10টি প্রসঙ্গ দৈর্ঘ্যের সাথে বৃদ্ধি পায়। মিলে যাওয়া কম্পিউটে, আলেফ আলফা রিপোর্ট করে যে হাইব্রিড ডিজাইন সমতুল্য পূর্ণ-মনোযোগ মডেলের চেয়ে চারগুণ দীর্ঘ ক্রম সমর্থন করে। এভাবেই এই আকারের একটি মডেল বহিরাগত অবকাঠামো ছাড়াই এক মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডো দাবি করে।

জার্মানদের জন্য নির্মিত একটি টোকেনাইজার

বেশিরভাগ ফ্রন্টিয়ার টোকেনাইজাররা জার্মানকে একটি চিন্তাভাবনা হিসাবে বিবেচনা করে, এর দীর্ঘ যৌগিক শব্দগুলিকে টুকরো টুকরো করে বিভক্ত করে যা টোকেন গণনা এবং কার্যকর খরচ বৃদ্ধি করে। আলেফ আলফা সরাসরি ইউনিবিপিই-এর সাথে এটিকে আক্রমণ করেছে, একটি 128,000-টোকেন শব্দভাণ্ডার যা বিপিই যেভাবে একত্রিত করে কিন্তু ইউনিগ্রাম ক্ষতির মাধ্যমে প্রতিটি মার্জ স্কোর করে।

সংখ্যাগুলি কেস তৈরি করে। জার্মান টেক্সটে, Kolibri-এর টোকেনাইজার টোকেন প্রতি 4.90 বাইটে পৌঁছায়, GPT-5 টোকেনাইজারের জন্য 4.35 - মানে জার্মান ওয়েব টেক্সটে 11.2 শতাংশ কম টোকেন। ইংরেজিতে, Kolibri আসলেও এগিয়ে আসে, GPT-5 এর 4.67 এর বিপরীতে প্রতি টোকেন 4.58 বাইট। টোকেন দ্বারা অর্থপ্রদানকারী এন্টারপ্রাইজ গ্রাহকদের জন্য, এটি প্রতিটি জার্মান-ভাষার কাজের চাপে সরাসরি ছাড়।

সীমান্ত স্কেলে প্রশিক্ষিত

কোলিব্রির পিছনে যে প্রশিক্ষণ চলছে তা যথেষ্ট। প্রাক-প্রশিক্ষণ 768 NVIDIA B200 GPU-তে 20 ট্রিলিয়ন টোকেন কভার করে, তারপরে 65,536-টোকেন সিকোয়েন্স দৈর্ঘ্যে 3.44 ট্রিলিয়ন মিড-ট্রেনিং টোকেন। পাইপলাইন তারপর তত্ত্বাবধানে সূক্ষ্ম-টিউনিং এবং শক্তিবৃদ্ধি শেখার পর্যায়গুলির মধ্য দিয়ে চলে গেছে চূড়ান্ত নির্দেশ-অনুসরণকারী, যুক্তি-সক্ষম মডেল তৈরি করতে। কোম্পানিটি প্রক্রিয়াটি কভার করে একটি প্রযুক্তিগত গবেষণা প্রতিবেদন প্রকাশ করেছে, একটি ইউরোপীয় ল্যাবের জন্য প্রকাশের একটি অস্বাভাবিক স্তর এবং একটি স্পষ্টভাবে নিয়ন্ত্রিত গ্রাহকদের সাথে বিশ্বাস গড়ে তোলার লক্ষ্যে।

ইউরোপের এআই পুশের জন্য এর অর্থ কী

কোলিব্রি এমন একটি বাজারে প্রবেশ করে যেখানে আমেরিকান এবং চীনা ল্যাবগুলি থেকে খোলা-ওজন রিলিজগুলি কথোপকথনে আধিপত্য বিস্তার করে এবং যেখানে ইউরোপীয় সরকারগুলি ডিজিটাল সার্বভৌমত্বের বিষয়ে ক্রমশ সোচ্চার হয়েছে৷ আলেফ আলফার বাজি হল সেই বাজারের এক টুকরো — মন্ত্রণালয়, প্রতিরক্ষা-সংলগ্ন শিল্প, সমালোচনামূলক অবকাঠামো — এমন একটি মডেলের জন্য অর্থ প্রদান করবে যা কেবলমাত্র ওপেন-ওয়েট নয় কিন্তু তার ডেটা পরিচালনা, প্রশিক্ষণের অবস্থান এবং আইনি ভঙ্গিতে যাচাইযোগ্যভাবে ইউরোপীয়।

সেই বাজির মূল্য পরিশোধ করা হবে কিনা তা নির্ভর করে রিলিজটি এখনও উত্তর দেয়নি এমন প্রশ্নের উপর: কীভাবে কলিব্রি মানক মূল্যায়নে ফ্রন্টিয়ার ওপেন মডেলের বিরুদ্ধে মানদণ্ড এবং কত দ্রুত তার চারপাশে টুলিংয়ের একটি ইকোসিস্টেম তৈরি হয়। রিলিজটি যা প্রতিষ্ঠা করে তা হল যে একটি সম্পূর্ণ-স্ট্যাক, সীমান্ত-সংলগ্ন প্রশিক্ষণ ক্ষমতা এখন EU-এর অভ্যন্তরে বিদ্যমান, কাগজপত্রের সাথে মিল রয়েছে। GDPR এবং AI আইন দ্বারা আবদ্ধ সংস্থাগুলির জন্য, এই সমন্বয় লিডারবোর্ড অবস্থানের চেয়ে বেশি গুরুত্বপূর্ণ হতে পারে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →