सेरेब्रस ने एक विस्तृत इंजीनियरिंग विवरण प्रकाशित किया है कि यह अपने वेफर-स्केल हार्डवेयर पर ट्रिलियन-पैरामीटर एआई मॉडल को कैसे तैनात करता है - उन मॉडलों के लिए अल्ट्राफास्ट अनुमान के पीछे प्लंबिंग पर एक दुर्लभ सार्वजनिक नज़र जिनके वजन के लिए अकेले टेराबाइट्स मेमोरी की आवश्यकता होती है।
सारा चिएंग द्वारा लिखित और 22 अक्टूबर 2026 को सेरेब्रस ब्लॉग पर प्रकाशित पोस्ट ने हैकर न्यूज के पहले पन्ने पर पहुंचने के बाद सप्ताहांत में नए सिरे से ध्यान आकर्षित किया। इसका केंद्रीय प्रश्न सरल है: एक सेरेब्रस WSE-3T वेफर में 44 जीबी ऑन-चिप मेमोरी है, लेकिन ट्रिलियन-पैरामीटर फ्रंटियर मॉडल को केवल अपना वजन स्टोर करने के लिए टेराबाइट्स की आवश्यकता होती है। आप उस अंतर को कैसे पाटेंगे? For more context on this story, see our ongoing AI industry coverage.
ट्रिलियन-पैरामीटर मॉडल सामान्य हार्डवेयर को क्यों तोड़ते हैं
उत्तर पारंपरिक त्वरक के लिए एक असुविधाजनक सत्य से शुरू होता है: पूरी सटीकता से, तीन ट्रिलियन मापदंडों वाला एक मॉडल बाजार में किसी भी एक चिप की मेमोरी में फिट नहीं हो सकता है। जीपीयू क्लस्टर कई डिवाइसों में मॉडलों को विभाजित करके और हाई-स्पीड इंटरकनेक्ट पर लगातार वेट और सक्रियण शिपिंग करके इसे हल करते हैं - विशाल मॉडल पर अनुमान महंगा और धीमा क्यों है इसका एक बड़ा हिस्सा।
सेरेब्रस एक अलग दृष्टिकोण अपनाता है। इसके वेफर-स्केल चिप्स भारी मात्रा में ऑन-चिप SRAM - 44 जीबी प्रति WSE-3T वेफर - पैक करते हैं, जिसका अर्थ है कि कंपनी का लक्ष्य वेट को ऑन-चिप रखना है, जहां मेमोरी एक्सेस किसी भी ऑफ-चिप लिंक की तुलना में नाटकीय रूप से तेज़ है।
कंपनी का कहना है कि यह आर्किटेक्चर उसे मल्टी-ट्रिलियन-पैरामीटर मॉडल को 1,000 से 2,000+ टोकन प्रति सेकंड पर चलाने की सुविधा देता है।
किमी K3 कार्यशील उदाहरण के रूप में
स्पष्टीकरण को ठोस बनाने के लिए, सेरेब्रस ने किमी K3 को तैनात किया है, जो लगभग 3 ट्रिलियन मापदंडों वाला एक ओपन-सोर्स मॉडल है। मॉडल एक हाइब्रिड आर्किटेक्चर का उपयोग करता है: 69 रैखिक-ध्यान परतें और 24 सघन परतें।
बेंचमार्क परिणामों का हवाला देते हुए, ब्लॉग कहता है कि किमी K3 का स्कोर टर्मिनल-बेंच 2.1 पर 88.3% है - GPT-5.6 Sol के 88.8% से ठीक पीछे - और ब्राउज़कॉम्प पर 91.2%, GPT-5.6 Sol के 90.4% से आगे। सेरेब्रस का तर्क है कि ये संख्याएं ओपन-वेट मॉडल में फ्रंटियर-स्तरीय कोडिंग और एजेंटिक क्षमता दिखाती हैं, जो इसे एक अच्छा प्रदर्शन लक्ष्य बनाती है।
काम किया गया उदाहरण 256,000-टोकन औसत अनुरोध आकार, 4-बिट वजन परिमाणीकरण (हगिंग फेस कार्यान्वयन से मेल खाता हुआ) और 8-बिट केवी कैश मानता है।
एक 3T मॉडल को 44 जीबी टुकड़ों में काटना
अंकगणित पोस्ट का सबसे ज्ञानवर्धक भाग है। 4 बिट प्रति पैरामीटर पर, किमी K3 के 3 ट्रिलियन पैरामीटर लगभग 1.5 टीबी कच्चे वजन के बराबर हैं। मॉडल की 93 परतों में विभाजित, प्रत्येक परत को लगभग 16 जीबी की आवश्यकता होती है।
यह प्रत्येक वेफर पर उपलब्ध 44 जीबी में अच्छी तरह से फिट बैठता है, लेकिन दो परत प्रकार अलग-अलग विभाजित होते हैं:
- घनी परतों को केवी कैश के लिए जगह की आवश्यकता होती है, क्योंकि पूरा ध्यान प्रत्येक सक्रिय अनुरोध में प्रत्येक टोकन के लिए कुंजियाँ और मान संग्रहीत करता है। सेरेब्रस प्रत्येक वेफर पर एक सघन परत रखता है, शेष SRAM को उस कैश के लिए छोड़ देता है।
- रैखिक-ध्यान परतें संदर्भ लंबाई की परवाह किए बिना प्रति अनुरोध केवल एक छोटी, निश्चित आकार की स्थिति रखती है, इसलिए किसी केवी कैश की आवश्यकता नहीं है। यह प्रति वेफर दो रैखिक परतों के लिए जगह छोड़ता है।
69 रैखिक परतों और 24 सघन परतों के साथ, मॉडल रैखिक परतों के लिए 35 वेफर्स और सघन परतों के लिए 24 वेफर्स को मैप करता है - किमी K3 की एक प्रति के लिए कुल 59 वेफर्स।
वजन कभी नहीं बढ़ता - केवल सक्रियता ही चलती है
दूसरा मुख्य विचार यह है कि सेरेब्रस उन 59 वेफर्स के बीच क्या भेजता है - और क्या नहीं - भेजता है। कंपनी मॉडल को एक पाइपलाइन के रूप में निष्पादित करती है: कंपाइलर द्वारा वेफर्स के क्षेत्रों पर परतों को मैप करने के बाद, रनटाइम वेफर से वेफर तक जाने वाले पथ टोकन को चार्ट करता है।
महत्वपूर्ण रूप से, क्योंकि प्रत्येक परत पूरी तरह से एक वेफर (या रैखिक परतों के लिए दो) पर फिट होती है, मॉडल के वजन को कभी भी हिलना नहीं पड़ता है। परतें वेफर्स में विभाजित नहीं होती हैं। केवल सक्रियण एक वेफर से दूसरे वेफर तक जाते हैं, जो लगभग 2 माइक्रोसेकंड के हॉप समय के साथ मानक ईथरनेट पर आरडीएमए पर ले जाया जाता है।
वह डिज़ाइन बिंदु सेरेब्रस के प्रदर्शन दावों के बारे में बहुत कुछ बताता है। जीपीयू परिनियोजन में, उपकरणों के बीच बढ़ते वजन या शार्पिंग स्थिति अक्सर बाधा होती है; सेरेब्रस हार्डवेयर पर, इंटरकनेक्ट केवल बहुत छोटे सक्रियण टेंसरों को वहन करता है।
अनुमान बाज़ार के लिए यह क्यों मायने रखता है
पोस्ट आंशिक रूप से एक इंजीनियरिंग व्याख्याता है और आंशिक रूप से एक तर्क है: वेफर-स्केल एसआरएएम उद्योग द्वारा शिपिंग किए जा रहे तेजी से बढ़ते विशाल मॉडलों की सेवा करने का एक विश्वसनीय तरीका है। जैसे ही किमी K3 जैसे ओपन-वेट रिलीज़ तीन ट्रिलियन मापदंडों तक पहुंचते हैं, मेमोरी वॉल अनुमान अर्थशास्त्र की परिभाषित बाधा बन जाती है, और वज़न को स्थिर रखने वाले दृष्टिकोणों का प्रति-टोकन गति पर संरचनात्मक लाभ होता है।
यह यह भी रेखांकित करता है कि परिमाणीकरण पर कितना निर्भर करता है। पूरी तैनाती 4-बिट वेट और 8-बिट केवी कैश पर निर्भर करती है - ऐसी तकनीकें जो बेंचमार्क प्रदर्शन को संरक्षित करते हुए 16-बिट बेसलाइन की तुलना में मेमोरी फ़ुटप्रिंट को लगभग 75% या उससे अधिक कम कर देती हैं। उनके बिना, 59 वेफर्स भी पर्याप्त नहीं होंगे।
सौदेबाज़ी भी वास्तविक है। 59-वेफर प्रणाली एक बड़ी, विशेष मशीन है, और पाइपलाइन दृष्टिकोण मानता है कि अनुरोधों को पूरे सिस्टम में कुशलतापूर्वक बैच किया जा सकता है। सेरेब्रस का ब्लॉग समवर्तीता को इसके मुख्य विषयों में से एक के रूप में संबोधित करता है, यह देखते हुए कि आर्किटेक्चर को एक साथ बड़ी संख्या में अनुरोधों को संभालने के लिए डिज़ाइन किया गया है।
अभी के लिए, यह पोस्ट सबसे स्पष्ट सार्वजनिक स्पष्टीकरणों में से एक है कि फ्रंटियर-स्केल ओपन मॉडल को चार-आंकड़ा टोकन गति पर सेवा देने के लिए वास्तव में क्या करना पड़ता है - और एक संकेत है कि अनुमान हार्डवेयर के बारे में बातचीत चिप्स से पूरे-वेफर सिस्टम में स्थानांतरित हो रही है।
स्रोत: सेरेब्रस ब्लॉग, "हम सेरेब्रस पर ट्रिलियन-पैरामीटर फ्रंटियर मॉडल कैसे तैनात करते हैं" (22 अक्टूबर 2026)।---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
