सेरेब्रासने त्याच्या वेफर-स्केल हार्डवेअरवर ट्रिलियन-पॅरामीटर AI मॉडेल कसे तैनात केले याचे तपशीलवार अभियांत्रिकी खंड प्रकाशित केले आहे - ज्या मॉडेल्सच्या वजनासाठी फक्त टेराबाइट्स मेमरी आवश्यक आहे अशा मॉडेल्ससाठी अल्ट्राफास्ट अनुमानांमागील प्लंबिंगचा एक दुर्मिळ सार्वजनिक देखावा.

सारा चींग यांनी लिहिलेली आणि 22 ऑक्टोबर 2026 रोजी सेरेब्रास ब्लॉगवर प्रकाशित झालेली पोस्ट, हॅकर न्यूजच्या पहिल्या पानावर पोहोचल्यानंतर आठवड्याच्या शेवटी नवीन लक्ष वेधून घेतले. त्याचा मध्यवर्ती प्रश्न सोपा आहे: एकाच सेरेब्रास WSE-3T वेफरमध्ये 44 GB ऑन-चिप मेमरी असते, परंतु ट्रिलियन-पॅरामीटर फ्रंटियर मॉडेल्सना त्यांचे वजन साठवण्यासाठी फक्त टेराबाइट्सची आवश्यकता असते. ती दरी कशी भरून काढाल? For more context on this story, see our ongoing AI news.

ट्रिलियन-पॅरामीटर मॉडेल्स सामान्य हार्डवेअर का मोडतात

उत्तर पारंपारिक प्रवेगकांसाठी एक अस्वस्थ सत्याने सुरू होते: पूर्ण अचूकतेने, तीन ट्रिलियन पॅरामीटर्स असलेले मॉडेल बाजारातील कोणत्याही एका चिपच्या स्मृतीमध्ये बसू शकत नाही. GPU क्लस्टर्स अनेक उपकरणांवर मॉडेल्स विभाजित करून आणि हाय-स्पीड इंटरकनेक्ट्सवर सतत वजन आणि सक्रियता पाठवून याचे निराकरण करतात — प्रचंड मॉडेल्सवरील अनुमान महाग आणि हळू का आहे याचा एक मोठा भाग.

सेरेब्रा एक वेगळा दृष्टीकोन घेते. त्याची वेफर-स्केल चिप्स प्रचंड प्रमाणात ऑन-चिप SRAM पॅक करतात — 44 GB प्रति WSE-3T वेफर — ज्याचा अर्थ कंपनीचे लक्ष्य ऑन-चिपचे वजन राखणे आहे, जेथे मेमरी ऍक्सेस कोणत्याही ऑफ-चिप लिंकपेक्षा नाटकीयरीत्या वेगवान आहे.

कंपनी म्हणते की हे आर्किटेक्चर 1,000 ते 2,000+ टोकन प्रति सेकंद या दराने मल्टी-ट्रिलियन-पॅरामीटर मॉडेल्स चालवू देते.

काम केलेले उदाहरण म्हणून Kimi K3

स्पष्टीकरण ठोस बनवण्यासाठी, सेरेब्रास किमी K3, अंदाजे 3 ट्रिलियन पॅरामीटर्स असलेले ओपन-सोर्स मॉडेल तैनात करत आहे. मॉडेल हायब्रिड आर्किटेक्चर वापरते: 69 रेखीय-लक्ष स्तर आणि 24 दाट स्तर.

बेंचमार्क परिणामांचा हवाला देत, ब्लॉग म्हणतो किमी K3 ने टर्मिनल-बेंच 2.1 वर 88.3% स्कोअर - GPT-5.6 Sol च्या 88.8% च्या अगदी मागे — आणि BrowseComp वर 91.2%, GPT-5.6 Sol च्या 90.4% च्या पुढे. सेरेब्रासचे म्हणणे आहे की, ते संख्या ओपन-वेट मॉडेलमध्ये फ्रंटियर-लेव्हल कोडिंग आणि एजंटिक क्षमता दर्शवतात, ज्यामुळे ते एक चांगले प्रदर्शन लक्ष्य बनते.

कार्य केलेले उदाहरण 256,000 टोकन सरासरी विनंती आकार, 4-बिट वेट क्वांटायझेशन (हगिंग फेस अंमलबजावणीशी जुळणारे) आणि 8-बिट केव्ही कॅशे गृहित धरते.

3T मॉडेलचे 44 GB तुकडे करणे

अंकगणित हा पोस्टचा सर्वात प्रकाश देणारा भाग आहे. 4 बिट प्रति पॅरामीटरवर, Kimi K3 चे 3 ट्रिलियन पॅरामीटर्स अंदाजे 1.5 TB कच्च्या वजनाच्या आहेत. मॉडेलच्या 93 स्तरांमध्ये विभागलेले, प्रत्येक स्तरासाठी सुमारे 16 GB आवश्यक आहे.

ते प्रत्येक वेफरवर उपलब्ध असलेल्या 44 GB मध्ये व्यवस्थित बसते, परंतु दोन लेयर प्रकार वेगळ्या प्रकारे विभागले जातात:

  • दाट थर ला KV कॅशेसाठी जागा आवश्यक आहे, कारण पूर्ण लक्ष प्रत्येक सक्रिय विनंतीमध्ये प्रत्येक टोकनसाठी की आणि मूल्ये संग्रहित करते. सेरेब्रा प्रति वेफर एक दाट थर ठेवतात, त्या कॅशेसाठी उर्वरित SRAM सोडतात.
  • रेखीय-लक्ष्य स्तर संदर्भ लांबीकडे दुर्लक्ष करून प्रति विनंती फक्त एक लहान, निश्चित-आकाराची स्थिती ठेवते, म्हणून कोणत्याही KV कॅशेची आवश्यकता नाही. त्यामुळे प्रति वेफर दोन रेखीय स्तरांसाठी जागा मिळते.

69 रेखीय स्तर आणि 24 दाट लेयर्ससह, मॉडेल रेखीय स्तरांसाठी 35 वेफर्स आणि दाट थरांसाठी 24 वेफर्स - किमी K3 च्या एका प्रतसाठी एकूण 59 वेफर्सवर मॅप करते.

वजन कधीच हलत नाही — फक्त ॲक्टिव्हेशन्स करतात

दुसरी महत्त्वाची कल्पना म्हणजे सेरेब्रास काय करतो - आणि नाही - त्या 59 वेफर्समध्ये पाठवतो. कंपनी पाईपलाईन म्हणून मॉडेल्स कार्यान्वित करते: कंपायलर वेफर्सच्या प्रदेशांवर लेयर्स मॅप केल्यानंतर, रनटाइम चार्ट वेफरपासून वेफरपर्यंत टोकन घेते.

महत्त्वाचे म्हणजे, प्रत्येक थर एका वेफरवर (किंवा दोन, रेखीय स्तरांसाठी) पूर्णपणे बसत असल्यामुळे, मॉडेलचे वजन कधीही हलवावे लागत नाही. वेफर्समध्ये थरांचे विभाजन होत नाही. साधारणपणे 2 मायक्रोसेकंदांच्या हॉप टाइमसह मानक इथरनेटवर RDMA वर वाहून नेले जाणारे फक्त सक्रियकरण एका वेफरपासून दुसऱ्या वेफरपर्यंत जातात.

तो डिझाईन पॉइंट सेरेब्रासच्या कामगिरीच्या दाव्यांबद्दल बरेच काही स्पष्ट करतो. GPU उपयोजनांमध्ये, वजन हलवणे किंवा डिव्हाइसेसमधील शार्डिंग स्थिती ही अनेकदा अडचण असते; सेरेब्रास हार्डवेअरवर, इंटरकनेक्टमध्ये फक्त खूप लहान सक्रियकरण टेन्सर्स असतात.

हे अनुमान बाजारासाठी महत्त्वाचे का आहे

पोस्ट अंशतः एक अभियांत्रिकी स्पष्टीकरण देणारी आहे आणि अंशतः एक युक्तिवाद आहे: वेफर-स्केल SRAM हा उद्योग शिपिंग करत असलेल्या वाढत्या प्रचंड मॉडेलची सेवा करण्याचा एक विश्वासार्ह मार्ग आहे. किमी K3 सारखे ओपन-वेट रिलीझ तीन ट्रिलियन पॅरामीटर्सपर्यंत पोहोचत असताना, मेमरी वॉल ही अनुमान अर्थशास्त्राची निर्णायक मर्यादा बनते आणि वजन स्थिर ठेवणारे दृष्टिकोन प्रति-टोकन गतीवर संरचनात्मक फायदा करतात.

हे प्रमाणीकरणावर किती अवलंबून आहे हे देखील अधोरेखित करते. संपूर्ण उपयोजन 4-बिट वजन आणि 8-बिट केव्ही कॅशेवर अवलंबून आहे — बेंचमार्क कार्यप्रदर्शन जतन करताना 16-बिट बेसलाइनच्या तुलनेत मेमरी फूटप्रिंट अंदाजे 75% किंवा अधिक कमी करणारे तंत्र. त्यांच्याशिवाय 59 वेफर्स देखील पुरेसे नसतील.

ट्रेड-ऑफ देखील वास्तविक आहेत. 59-वेफर सिस्टीम ही एक मोठी, विशेष मशीन आहे आणि पाइपलाइनचा दृष्टीकोन असे गृहीत धरतो की विनंत्या संपूर्ण सिस्टममध्ये कार्यक्षमतेने बॅच केल्या जाऊ शकतात. सेरेब्रासचा ब्लॉग त्याच्या मुख्य विषयांपैकी एक म्हणून एकरूपतेला संबोधित करतो, हे लक्षात घेते की आर्किटेक्चर एकाच वेळी मोठ्या संख्येने विनंत्या हाताळण्यासाठी डिझाइन केलेले आहे.

आत्तासाठी, हे पोस्ट चार-आकृती टोकन स्पीडवर फ्रंटियर-स्केल ओपन मॉडेलची सेवा देण्यासाठी प्रत्यक्षात काय घेते याचे सर्वात स्पष्ट सार्वजनिक स्पष्टीकरण आहे — आणि अनुमान हार्डवेअरबद्दलचे संभाषण चिप्सवरून संपूर्ण-वेफर सिस्टमकडे सरकत असल्याचे चिन्ह आहे.

स्रोत: सेरेब्रास ब्लॉग, “आम्ही सेरेब्रासवर ट्रिलियन-पॅरामीटर फ्रंटियर मॉडेल्स कसे उपयोजित करतो” (22 ऑक्टोबर 2026).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →