سربراس یک تفکیک مهندسی دقیق از نحوه استقرار مدل‌های هوش مصنوعی با تریلیون پارامتر بر روی سخت‌افزار در مقیاس ویفر منتشر کرده است - یک نگاه عمومی نادر به لوله‌کشی پشت استنتاج فوق سریع برای مدل‌هایی که وزن آنها به تنهایی به ترابایت حافظه نیاز دارد.

این پست که توسط سارا چینگ نوشته شد و در وبلاگ سربراس در 22 اکتبر 2026 منتشر شد، در آخر هفته پس از رسیدن به صفحه اول هکر نیوز، دوباره توجهات را به خود جلب کرد. سوال اصلی آن ساده است: یک ویفر Cerebras WSE-3T دارای 44 گیگابایت حافظه داخلی است، اما مدل‌های مرزی با تریلیون پارامتر فقط برای ذخیره وزن خود به ترابایت نیاز دارند. چگونه این شکاف را پر می کنید؟ For more context on this story, see our ongoing AI industry coverage.

چرا مدل‌های تریلیون پارامتری سخت‌افزار عادی را می‌شکنند

پاسخ با یک حقیقت ناراحت کننده برای شتاب دهنده های معمولی شروع می شود: با دقت کامل، مدلی با سه تریلیون پارامتر نمی تواند در حافظه تراشه های موجود در بازار جای بگیرد. خوشه‌های GPU این مشکل را با تقسیم مدل‌ها در بسیاری از دستگاه‌ها و ارسال مداوم وزن‌ها و فعال‌سازی‌ها از طریق اتصالات پرسرعت حل می‌کنند - بخش بزرگی از دلیل گران و کند بودن استنتاج در مدل‌های بزرگ.

Cerebras رویکرد متفاوتی دارد. تراشه‌های مقیاس ویفر آن مقادیر عظیمی از SRAM روی تراشه - 44 گیگابایت در هر ویفر WSE-3T - را بسته‌بندی می‌کنند که به این معنی است که هدف این شرکت حفظ وزن‌ها در تراشه است، جایی که دسترسی به حافظه به طور چشمگیری سریع‌تر از هر لینک خارج از تراشه است.

این شرکت می‌گوید این معماری به آن اجازه می‌دهد مدل‌های چند تریلیون پارامتری را با سرعت ۱۰۰۰ تا ۲۰۰۰+ توکن در ثانیه اجرا کند.

Kimi K3 به عنوان مثال کار شده

برای مشخص کردن توضیح، Cerebras از طریق استقرار Kimi K3، یک مدل منبع باز با تقریباً 3 تریلیون پارامتر، قدم می‌زند. این مدل از معماری ترکیبی استفاده می کند: 69 لایه خطی توجه و 24 لایه متراکم.

با استناد به نتایج بنچمارک، این وبلاگ می‌گوید که Kimi K3 در Terminal-Bench 2.1 امتیاز 88.3% را کسب می‌کند - درست پس از GPT-5.6 Sol با 88.8% - و 91.2% در BrowseComp، بالاتر از GPT-5.6 Sol 90.4%. سربراس استدلال می کند که این اعداد کدگذاری سطح مرزی و قابلیت عاملی را در یک مدل وزن باز نشان می دهند که آن را به یک هدف نمایشی خوب تبدیل می کند.

مثال کار شده، اندازه درخواست متوسط ​​256000 توکن، کوانتیزاسیون وزن 4 بیتی (مطابق با اجرای Hugging Face) و حافظه نهان KV 8 بیتی را فرض می کند.

یک مدل 3T را به قطعات 44 گیگابایتی برش دهید

محاسبات روشن ترین بخش پست است. با 4 بیت در هر پارامتر، 3 تریلیون پارامتر Kimi K3 تقریباً 1.5 ترابایت وزن خام است. با تقسیم بر 93 لایه مدل، هر لایه به 16 گیگابایت نیاز دارد.

این به طور منظم در 44 گیگابایت موجود در هر ویفر قرار می گیرد، اما دو نوع لایه به طور متفاوتی تقسیم می شوند:

  • لایه های متراکم به فضایی برای حافظه پنهان KV نیاز دارند، زیرا توجه کامل کلیدها و مقادیر را برای هر نشانه در هر درخواست فعال ذخیره می کند. Cerebras یک لایه متراکم را در هر ویفر قرار می دهد و SRAM باقی مانده را برای آن کش باقی می گذارد.
  • لایه های توجه خطی در هر درخواست صرف نظر از طول زمینه فقط یک حالت کوچک و با اندازه ثابت نگه می دارند، بنابراین نیازی به حافظه پنهان KV نیست. که فضایی برای دو لایه خطی در هر ویفر باقی می گذارد.

با 69 لایه خطی و 24 لایه متراکم، مدل به 35 ویفر برای لایه های خطی به اضافه 24 ویفر برای لایه های متراکم - 59 ویفر در مجموع برای یک کپی از Kimi K3 نگاشت می شود.

وزنه ها هرگز حرکت نمی کنند — فقط فعال سازی انجام می شود

دومین ایده کلیدی این است که Cerebras بین آن 59 ویفر چه می‌فرستد - و چه نمی‌کند. این شرکت مدل‌ها را به‌عنوان خط لوله اجرا می‌کند: پس از اینکه کامپایلر لایه‌ها را در مناطقی از ویفرها نقشه‌برداری می‌کند، زمان اجرا مسیری را که نشانه‌ها از ویفر به ویفر طی می‌کنند نمودار می‌کند.

بسیار مهم است، زیرا هر لایه به طور کامل بر روی یک ویفر (یا دو، برای لایه های خطی) قرار می گیرد، وزن مدل هرگز مجبور نیست حرکت کند. لایه ها در ویفرها تقسیم نمی شوند. فقط فعال‌سازی‌ها از یک ویفر به ویفر دیگر منتقل می‌شوند که از طریق RDMA روی اترنت استاندارد با زمان پرش تقریباً 2 میکروثانیه انجام می‌شود.

این نقطه طراحی چیزهای زیادی را در مورد ادعاهای عملکرد Cerebras توضیح می دهد. در استقرار GPU، حرکت وزنه ها یا وضعیت اشتراک گذاری بین دستگاه ها اغلب گلوگاه است. در سخت افزار Cerebras، اتصال متقابل تنها تانسورهای فعال سازی بسیار کوچکتری را حمل می کند.

چرا برای بازار استنتاج مهم است

این پست تا حدی یک توضیح مهندسی و تا حدی یک استدلال است: که SRAM در مقیاس ویفر روشی معتبر برای ارائه مدل‌های عظیمی است که صنعت حمل می‌کند. از آنجایی که نسخه‌های با وزن باز مانند Kimi K3 به سه تریلیون پارامتر نزدیک می‌شوند، دیوار حافظه به محدودیت تعیین‌کننده اقتصاد استنتاج تبدیل می‌شود و رویکردهایی که وزن‌ها را ثابت نگه می‌دارند دارای مزیت ساختاری در سرعت هر توکن هستند.

همچنین تأکید می کند که چقدر به کوانتیزاسیون بستگی دارد. کل استقرار به وزن‌های 4 بیتی و حافظه نهان KV 8 بیتی بستگی دارد - تکنیک‌هایی که در مقایسه با خطوط پایه 16 بیتی و در عین حال حفظ عملکرد معیار، ردپای حافظه را تقریباً 75 درصد یا بیشتر کاهش می‌دهند. بدون آنها، حتی 59 ویفر کافی نخواهد بود.

مبادلات نیز واقعی هستند. یک سیستم 59 ویفر یک ماشین بزرگ و تخصصی است و رویکرد خط لوله فرض می‌کند که درخواست‌ها می‌توانند به طور کارآمد در سراسر سیستم جمع شوند. وبلاگ Cerebras به همزمانی به عنوان یکی از موضوعات اصلی خود می پردازد و اشاره می کند که معماری برای رسیدگی به تعداد زیادی درخواست همزمان طراحی شده است.

در حال حاضر، این پست به‌عنوان یکی از واضح‌ترین توضیح‌های عمومی در مورد آنچه که واقعاً برای ارائه یک مدل باز در مقیاس مرزی با سرعت توکن چهار رقمی لازم است - و نشانه‌ای است که گفتگو در مورد سخت‌افزار استنتاج از تراشه‌ها به سیستم‌های کامل ویفر تغییر می‌کند.

منبع: وبلاگ سربراس، "چگونه مدل های مرزی تریلیون پارامتری را در سربراس مستقر می کنیم" (22 اکتبر 2026).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →