কোম্পানির মডেল ক্যাটালগ ডকুমেন্টেশন অনুসারে সেরেব্রাস তার সেরেব্রাস ইনফারেন্স প্ল্যাটফর্মের পাবলিক এন্ডপয়েন্টে Qwen 3.8 27B যুক্ত করেছে, যেখানে ওপেন-ওয়েট মডেলটি প্রতি সেকেন্ডে প্রায় 1,500 টোকেন চলে। তালিকাটি আলিবাবার সর্বাধিক ব্যবহৃত ওপেন মডেল পরিবারগুলির মধ্যে একটিকে এমন গতিতে উপলব্ধ করেছে যা সাধারণ GPU- হোস্টেড পরিবেশনকে বামন করে।
ঘোষণাটি ডেভেলপারদের কাছ থেকে অবিলম্বে মনোযোগ আকর্ষণ করেছে: গল্পটি হ্যাকার নিউজে একদিনের মধ্যে 600 টিরও বেশি পয়েন্ট সংগ্রহ করেছে, এটি একটি ট্র্যাকশনের স্তর যা প্রতিফলিত করে যে দ্রুত, সস্তা অনুমানের জন্য কতটা উত্তপ্ত চাহিদা হয়ে উঠেছে। অনুমান বাজারের বিস্তৃত দৃষ্টিভঙ্গির জন্য, ব্রেকিং এআই নিউজ ডেস্কটি অবতরণ করার সাথে সাথে প্রতিটি বড় প্ল্যাটফর্ম আপডেট অনুসরণ করে।
ক্যাটালগের চশমা
প্রতি সেরেব্রাসের ডকুমেন্টেশন, Qwen 3.8 27B 27 বিলিয়ন প্যারামিটার বহন করে এবং মুক্ত স্তরে 64K টোকেন অব কনটেক্সট এবং পেইড টিয়ারে 128K সমর্থন করে, প্রতি সেকেন্ডে প্রায় 1,500 টোকেন চলে। এটি ওপেনএআই-এর ওপেন-ওয়েট GPT-OSS 120B মডেলের পাশাপাশি বসে, যেটি একই ক্যাটালগ প্রতি সেকেন্ডে প্রায় 3,000 টোকেন মুক্ত স্তরে 65K প্রসঙ্গ এবং প্রদত্ত স্তরে 131K টোকেন তালিকাভুক্ত করে৷
উভয় মডেলই সেরেব্রাসের বিনামূল্যে ট্রায়াল এবং পে-অ্যাজ-ইউ-গো স্তরে উপলব্ধ, হার সীমা সাপেক্ষে। গ্রাহকদের সংরক্ষিত ক্ষমতা, উচ্চতর থ্রুপুট বা উৎপাদন SLAs কোম্পানির ডেডিকেটেড এন্ডপয়েন্ট অফার করার জন্য নির্দেশিত হয়, যা ডকুমেন্টেশনটি পাবলিক এন্ডপয়েন্টে দুটির বাইরে অতিরিক্ত মডেল পরিবারের রুট হিসাবে তালিকাভুক্ত করে।
প্রসঙ্গ উইন্ডোগুলি গতির পরিসংখ্যানগুলির পাশাপাশি মনোযোগের দাবি রাখে৷ বিনামূল্যের স্তরে চৌষট্টি হাজার টোকেন - এবং অর্থপ্রদানের জন্য 128,000 - একবারে মেমরিতে বিশাল কোডবেস, দীর্ঘ নথি বা বর্ধিত এজেন্ট ট্রান্সক্রিপ্ট রাখার জন্য যথেষ্ট, যা সঠিক কাজের চাপের জন্য গুরুত্বপূর্ণ যেখানে দ্রুত ডিকোডিং অর্থ প্রদান করে। সেরিব্রাসের ডকুমেন্টেশনে একটি OpenAI সামঞ্জস্যপূর্ণ নির্দেশিকাও রয়েছে, যে দলের জন্য স্যুইচিং খরচ কমিয়েছে যাদের বিদ্যমান কোডটি ইতিমধ্যেই OpenAI SDK-কে লক্ষ্য করে: নীতিগতভাবে, একটি সেরেব্রাস এন্ডপয়েন্টে একটি বিদ্যমান ক্লায়েন্টকে নির্দেশ করা একটি পুনর্লিখনের পরিবর্তে একটি কনফিগারেশন পরিবর্তন।
ছাঁটাই না করা মডেল, স্বচ্ছ কম্প্রেশন
ডকুমেন্টেশনে লক্ষণীয় একটি বিশদটি হল সেরিব্রাসের প্রকাশ যে এটি কীভাবে মডেল কম্প্রেশন পরিচালনা করে। কোম্পানী বলে যে তার সর্বজনীন প্রান্তের সমস্ত মডেলগুলি আসল, ছাঁটাই না করা সংস্করণ এবং এটি কেবলমাত্র স্টোরেজের সময় গুণমান রক্ষা করার জন্য নির্বাচনী ওজন-মাত্র পরিমাপ ব্যবহার করে। সংবেদনশীল স্তরগুলি সম্পূর্ণ নির্ভুলতায় থাকে, সক্রিয়করণ, মনোযোগ এবং কেভি ক্যাশে অপরিমাণিত থাকে এবং ফ্লাইতে ডিকোয়ান্টাইজেশন ঘটে।
সেরেব্রাস REAP (রাউটার-ওয়েটেড এক্সপার্ট অ্যাক্টিভেশন প্রুনিং) এর মতো ছাঁটাই কৌশলগুলিতেও তার গবেষণা প্রকাশ করে: ছাঁটাই করা রূপগুলি আলিঙ্গন মুখের গবেষণা সম্প্রদায়ের সাথে ভাগ করা হয় কিন্তু পাবলিক API এর মাধ্যমে পরিবেশন করা হয় না। উন্মুক্ত মডেলগুলি কোথায় চালাতে হবে তা বেছে নেওয়া বিকাশকারীদের জন্য, ঠিক কী পরিবেশন করা হচ্ছে সে সম্পর্কে স্বচ্ছতা অস্বাভাবিকভাবে স্পষ্ট।
কেন টোকেন গতি গুরুত্বপূর্ণ
এজেন্টিক এবং কোডিং কাজের চাপের জন্য এই ধরনের থ্রুপুট নম্বরগুলি সবচেয়ে বেশি গুরুত্বপূর্ণ। অ্যাপ্লিকেশনগুলি যেগুলি শত শত মডেল কলকে চেইন করে — কোডিং এজেন্ট, স্বায়ত্তশাসিত ওয়ার্কফ্লো, রিয়েল-টাইম সহকারী — প্রতিটি ধাপে প্রতি টোকেন লেটেন্সি গুণ করে, তাই গুণগতভাবে ভিন্ন অভিজ্ঞতায় প্রতি সেকেন্ডে 50 এবং 1,500 টোকেনের পার্থক্য। ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলি যেগুলি দীর্ঘ সমাপ্তিগুলিকে স্ট্রিম করে তা দৃশ্যমানভাবে উপকৃত হয়৷
বাণিজ্য বন্ধ সুযোগ. একটি 27-বিলিয়ন-প্যারামিটার মডেল কঠিনতম যুক্তিযুক্ত কাজগুলিতে ফ্রন্টিয়ার সিস্টেমের সাথে মেলে না এবং সেরেব্রাসের নিজস্ব ডক্স ডেডিকেটেড ক্ষমতার দিকে ভারী উত্পাদন কাজের চাপ চালায়। কিন্তু কাজগুলির বৃহৎ মাঝারি স্থলের জন্য যেখানে মাঝারি আকারের খোলা মডেলগুলি ইতিমধ্যেই যথেষ্ট ভাল — সংক্ষিপ্তকরণ, শ্রেণিবিন্যাস, সরঞ্জামের ব্যবহার, কোড সম্পাদনা — গতি পার্থক্যকারী হয়ে ওঠে।
এছাড়াও একটি মূল্য মাত্রা আছে বিকাশকারীরা ওজন করবে। পাবলিক এন্ডপয়েন্ট মডেলগুলি যেকোনো প্রতিশ্রুতির আগে একটি বিনামূল্যের ট্রায়ালে ব্যবহারযোগ্য, যা একটি দলের নিজস্ব কাজের চাপের বিরুদ্ধে বেঞ্চমার্কিংকে অপরিহার্যভাবে ঘর্ষণমুক্ত করে — একটি ইচ্ছাকৃত অন-র্যাম্প যা এন্টারপ্রাইজ চুক্তিগুলির সাথে বৈপরীত্য করে যার জন্য প্রথম টোকেন পরিবেশন করার আগে বিক্রয় কথোপকথনের প্রয়োজন হয়৷ নথিভুক্ত হারের সীমাগুলি দেখার জন্য সীমাবদ্ধতা: মুক্ত-স্তরের অ্যাক্সেস রয়েছে গতি প্রমাণ করার জন্য, উৎপাদন ট্র্যাফিক চালানোর জন্য নয়।
খোলা মডেলের জন্য একটি ব্যস্ত প্রসারিত
ওপেন-ওয়েট এআই-এর জন্য একটি জনাকীর্ণ প্রসারিত সময় যোগ করা হয়। UAE-ভিত্তিক ল্যাব IFM এইমাত্র K2 Horizon চালু করেছে, ছয়টি সম্পূর্ণ উন্মুক্ত মডেলের একটি সংযুক্ত বহর, এবং মেটা কোডিং এবং এজেন্টিক ব্যবহারের জন্য তার মিউজ পরিবারকে পুনরাবৃত্তি করে চলেছে। ইতিমধ্যে, চীনে ওপেন-মডেল ইকোসিস্টেমগুলি এমন গতিতে শিপিং চালিয়ে যাচ্ছে যা সমগ্র শিল্প জুড়ে রিলিজ চক্রকে সংকুচিত করেছে।
ডেভেলপারদের জন্য, ব্যবহারিক টেকঅওয়ে হল যে ওপেন-মডেল স্ট্যাকটি একবারে দুটি ফ্রন্টে পরিপক্ক হচ্ছে: সক্ষমতা, মাঝারি আকারের মডেলগুলি দৈনন্দিন কাজগুলিতে ফ্ল্যাগশিপের সাথে ফাঁক বন্ধ করে এবং অর্থনীতি পরিবেশন করে, কারণ বিশেষ অনুমান প্রদানকারীরা কাঁচা গতিতে প্রতিযোগিতা করে। সেরেব্রাস-এ Qwen 3.8 27B হল উভয় প্রবণতার জন্য একটি ডেটা পয়েন্ট — একটি বর্তমান প্রজন্মের উন্মুক্ত মডেল যে গতিতে পরিবেশন করা হয়েছে যা এক বছর আগে বহিরাগত ছিল, কাজের জন্য তৈরি হার্ডওয়্যারের উদ্দেশ্য।
প্ল্যাটফর্মের মূল্যায়নকারী ডেভেলপারদের তাদের নিজস্ব কাজের চাপ বেঞ্চমার্ক করা উচিত: প্রকাশিত গতি হল ক্যাটালগ পরিসংখ্যান, বাস্তব-বিশ্বের থ্রুপুট প্রম্পট দৈর্ঘ্য, একযোগে এবং কনফিগারেশনের উপর নির্ভর করে এবং মুক্ত স্তরের হারের সীমা তার গতির আগে আবদ্ধ হবে।
এআই থেকে এগিয়ে থাকুন
প্রতিটি মডেল রিলিজ, ইনফরেন্স প্ল্যাটফর্ম আপডেট এবং ডেভেলপার টুল লঞ্চ, যেমন ঘটবে ট্র্যাক করা হয়েছে — আরও এআই নিউজ পড়ুন →
