সেরেব্রাস তার ওয়েফার-স্কেল হার্ডওয়্যারে কীভাবে ট্রিলিয়ন-প্যারামিটার এআই মডেল স্থাপন করে তার একটি বিশদ প্রকৌশল বিভাজন প্রকাশ করেছে - যে মডেলগুলির ওজনের জন্য একা টেরাবাইট মেমরির প্রয়োজন তাদের জন্য আল্ট্রাফাস্ট ইনফারেন্সের পিছনে প্লাম্বিংয়ের একটি বিরল সর্বজনীন দৃষ্টিভঙ্গি।
সারাহ চিয়েং-এর লেখা এবং 22 অক্টোবর 2026-এ সেরেব্রাস ব্লগে প্রকাশিত পোস্টটি হ্যাকার নিউজের প্রথম পৃষ্ঠায় পৌঁছানোর পর সপ্তাহান্তে নতুন করে মনোযোগ আকর্ষণ করেছে। এর কেন্দ্রীয় প্রশ্নটি সহজ: একটি একক সেরিব্রাস WSE-3T ওয়েফারে 44 গিগাবাইট অন-চিপ মেমরি রয়েছে, তবে ট্রিলিয়ন-প্যারামিটার ফ্রন্টিয়ার মডেলগুলির ওজন সঞ্চয় করার জন্য শুধুমাত্র টেরাবাইট প্রয়োজন। আপনি কিভাবে সেই ব্যবধান পূরণ করবেন? For more context on this story, see our ongoing AI news.
কেন ট্রিলিয়ন-প্যারামিটার মডেলগুলি সাধারণ হার্ডওয়্যার ভেঙে দেয়
উত্তরটি প্রচলিত অ্যাক্সিলারেটরের জন্য একটি অস্বস্তিকর সত্য দিয়ে শুরু হয়: সম্পূর্ণ নির্ভুলতায়, তিন ট্রিলিয়ন প্যারামিটার সহ একটি মডেল বাজারে কোনো একক চিপের স্মৃতিতে মাপসই করতে পারে না। GPU ক্লাস্টারগুলি অনেকগুলি ডিভাইস জুড়ে মডেলগুলিকে বিভক্ত করে এবং উচ্চ-গতির আন্তঃসংযোগগুলির উপর ক্রমাগত ওজন এবং সক্রিয়করণ শিপিং করে এর সমাধান করে — কেন বিশাল মডেলগুলিতে অনুমান করা ব্যয়বহুল এবং ধীর তার একটি বড় অংশ।
সেরিব্রাস একটি ভিন্ন পদ্ধতি গ্রহণ করে। এর ওয়েফার-স্কেল চিপগুলি প্রচুর পরিমাণে অন-চিপ এসআরএএম প্যাক করে — 44 জিবি প্রতি WSE-3T ওয়েফার — যার অর্থ হল কোম্পানির লক্ষ্য হল ওজনগুলিকে অন-চিপে রাখা, যেখানে মেমরি অ্যাক্সেস যে কোনও অফ-চিপ লিঙ্কের চেয়ে নাটকীয়ভাবে দ্রুততর।
কোম্পানি বলেছে যে এই আর্কিটেকচার এটিকে প্রতি সেকেন্ডে 1,000 থেকে 2,000+ টোকেনে মাল্টি-ট্রিলিয়ন-প্যারামিটার মডেল চালাতে দেয়।
কাজ করা উদাহরণ হিসাবে কিমি K3
ব্যাখ্যাটি কংক্রিট করার জন্য, সেরেব্রাস কিমি কে 3 মোতায়েন করে, মোটামুটি 3 ট্রিলিয়ন প্যারামিটার সহ একটি ওপেন-সোর্স মডেল। মডেলটি একটি হাইব্রিড আর্কিটেকচার ব্যবহার করে: 69টি রৈখিক-মনোযোগ স্তর এবং 24টি ঘন স্তর।
বেঞ্চমার্ক ফলাফল উদ্ধৃত করে, ব্লগ বলছে কিমি K3 টার্মিনাল-বেঞ্চ 2.1-এ 88.3% স্কোর করেছে — GPT-5.6 Sol-এর 88.8%-এর ঠিক পিছনে — এবং BrowseComp-এ 91.2%, GPT-5.6 Sol-এর 90.4% থেকে এগিয়ে। সেরেব্রাস যুক্তি দেন, এই সংখ্যাগুলি একটি ওপেন-ওয়েট মডেলে ফ্রন্টিয়ার-লেভেল কোডিং এবং এজেন্টিক ক্ষমতা দেখায়, যা এটিকে একটি ভাল প্রদর্শন লক্ষ্য করে তোলে।
কাজের উদাহরণটি অনুমান করে একটি 256,000-টোকেন গড় অনুরোধের আকার, 4-বিট ওজন পরিমাপ (আলিঙ্গন মুখ বাস্তবায়নের সাথে মিলে যায়) এবং একটি 8-বিট কেভি ক্যাশে।
একটি 3T মডেলকে 44 জিবি টুকরা করা
পাটিগণিত পোস্টের সবচেয়ে আলোকিত অংশ। 4 বিট প্রতি প্যারামিটারে, Kimi K3 এর 3 ট্রিলিয়ন প্যারামিটারের পরিমাণ প্রায় 1.5 TB কাঁচা ওজনের। মডেলের 93টি স্তর জুড়ে বিভক্ত, প্রতিটি স্তরের জন্য প্রায় 16 GB প্রয়োজন৷
এটি প্রতিটি ওয়েফারে উপলব্ধ 44 গিগাবাইটের মধ্যে সুন্দরভাবে ফিট করে, তবে দুটি স্তরের ধরন আলাদাভাবে বিভক্ত:
- ঘন স্তর একটি কেভি ক্যাশের জন্য জায়গা প্রয়োজন, কারণ প্রতিটি সক্রিয় অনুরোধে প্রতিটি টোকেনের জন্য পূর্ণ মনোযোগ কী এবং মান সংরক্ষণ করে। সেরিব্রাস প্রতি ওয়েফারে একটি ঘন স্তর রাখে, সেই ক্যাশের জন্য অবশিষ্ট SRAM রেখে দেয়।
- লিনিয়ার-অ্যাটেনশন লেয়ার প্রসঙ্গ দৈর্ঘ্য নির্বিশেষে প্রতি অনুরোধে শুধুমাত্র একটি ছোট, নির্দিষ্ট-আকারের অবস্থা রাখে, তাই কোন KV ক্যাশের প্রয়োজন নেই। এটি ওয়েফার প্রতি দুটি রৈখিক স্তরের জন্য জায়গা ছেড়ে দেয়।
69টি রৈখিক স্তর এবং 24টি ঘন স্তর সহ, মডেলটি রৈখিক স্তরগুলির জন্য 35টি ওয়েফার এবং ঘন স্তরগুলির জন্য 24টি ওয়েফার - কিমি K3 এর একক অনুলিপির জন্য মোট 59টি ওয়েফার।
ওজন কখনই নড়াচড়া করে না - শুধুমাত্র সক্রিয়করণই করে
দ্বিতীয় মূল ধারণাটি হল সেরেব্রাস কি করে - এবং কি করে না - সেই 59টি ওয়েফারের মধ্যে পাঠায়। কোম্পানি একটি পাইপলাইন হিসাবে মডেলগুলি সম্পাদন করে: কম্পাইলার ওয়েফারগুলির অঞ্চলগুলিতে স্তরগুলি তৈরি করার পরে, রানটাইম চার্ট টোকেনগুলি ওয়েফার থেকে ওয়েফারে নিয়ে যায়৷
গুরুত্বপূর্ণভাবে, যেহেতু প্রতিটি স্তর একটি ওয়েফারে (বা দুটি, রৈখিক স্তরের জন্য) সম্পূর্ণভাবে ফিট করে, মডেলের ওজনগুলিকে কখনই সরাতে হবে না। স্তরগুলি ওয়েফার জুড়ে বিভক্ত হয় না। শুধুমাত্র অ্যাক্টিভেশনগুলি এক ওয়েফার থেকে অন্য ওয়েফারে ক্রস করা হয়, প্রায় 2 মাইক্রোসেকেন্ডের হপ টাইম সহ স্ট্যান্ডার্ড ইথারনেটে RDMA-এর উপর দিয়ে বহন করা হয়।
সেই ডিজাইন পয়েন্টটি সেরেব্রাসের কর্মক্ষমতা দাবি সম্পর্কে অনেক কিছু ব্যাখ্যা করে। জিপিইউ স্থাপনায়, ডিভাইসগুলির মধ্যে ওজন বা শর্ডিং অবস্থা প্রায়শই বাধা হয়ে দাঁড়ায়; সেরিব্রাস হার্ডওয়্যারে, আন্তঃসংযোগ শুধুমাত্র অনেক ছোট অ্যাক্টিভেশন টেনসর বহন করে।
কেন এটা ইনফারেন্স মার্কেটের জন্য গুরুত্বপূর্ণ
পোস্টটি আংশিকভাবে একটি প্রকৌশল ব্যাখ্যাকারী এবং আংশিকভাবে একটি যুক্তি: যে ওয়েফার-স্কেল SRAM হল শিল্পের ক্রমবর্ধমান বিশাল মডেলগুলিকে পরিবেশন করার একটি বিশ্বাসযোগ্য উপায়। কিমি K3-এর মতো ওপেন-ওয়েট রিলিজগুলি তিন ট্রিলিয়ন প্যারামিটারে পৌঁছানোর ফলে, মেমরি প্রাচীরটি অনুমান অর্থনীতির সংজ্ঞায়িত সীমাবদ্ধতা হয়ে ওঠে, এবং যে পন্থাগুলি ওজনকে স্থির রাখে প্রতি-টোকেন গতিতে একটি কাঠামোগত সুবিধা রয়েছে।
এটি পরিমাপের উপর কতটা নির্ভর করে তাও আন্ডারলাইন করে। সম্পূর্ণ স্থাপনাটি 4-বিট ওজন এবং একটি 8-বিট কেভি ক্যাশে - কৌশল যা বেঞ্চমার্ক পারফরম্যান্স সংরক্ষণ করার সময় 16-বিট বেসলাইনের তুলনায় মোটামুটি 75% বা তার বেশি মেমরির পদচিহ্ন কেটে দেয়। তাদের ছাড়া, এমনকি 59 ওয়েফার যথেষ্ট হবে না।
ট্রেড-অফ বাস্তব, খুব. একটি 59-ওয়েফার সিস্টেম একটি বড়, বিশেষায়িত মেশিন এবং পাইপলাইন পদ্ধতি অনুমান করে যে অনুরোধগুলি দক্ষতার সাথে সিস্টেম জুড়ে ব্যাচ করা যেতে পারে। সেরেব্রাসের ব্লগটি এর মূল বিষয়গুলির মধ্যে একটি হিসাবে সমঝোতাকে সম্বোধন করে, উল্লেখ্য যে স্থাপত্যটি একযোগে উচ্চ সংখ্যক অনুরোধগুলি পরিচালনা করার জন্য ডিজাইন করা হয়েছে।
আপাতত, পোস্টটি ফোর-ফিগার টোকেন গতিতে ফ্রন্টিয়ার-স্কেল ওপেন মডেল পরিবেশন করতে আসলে কী লাগে তার একটি স্পষ্ট প্রকাশ্য ব্যাখ্যা হিসাবে দাঁড়িয়েছে — এবং একটি লক্ষণ যে অনুমান হার্ডওয়্যার সম্পর্কে কথোপকথন চিপ থেকে পুরো-ওয়েফার সিস্টেমে স্থানান্তরিত হচ্ছে।
উৎস: সেরেব্রাস ব্লগ, "কীভাবে আমরা সেরেব্রাসে ট্রিলিয়ন-প্যারামিটার ফ্রন্টিয়ার মডেল স্থাপন করি" (22 অক্টোবর 2026)---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
