செரிப்ராஸ் அதன் வேஃபர் அளவிலான வன்பொருளில் டிரில்லியன்-பாராமீட்டர் AI மாதிரிகளை எவ்வாறு பயன்படுத்துகிறது என்பது பற்றிய விரிவான பொறியியல் முறிவை வெளியிட்டுள்ளது - எடைக்கு மட்டும் டெராபைட் நினைவகம் தேவைப்படும் மாடல்களுக்கான அல்ட்ராஃபாஸ்ட் அனுமானத்தின் பின்னால் உள்ள பிளம்பிங்கின் அரிய பார்வை.

22 அக்டோபர் 2026 அன்று செரிப்ராஸ் வலைப்பதிவில் சாரா சியெங் எழுதிய இடுகை, ஹேக்கர் செய்திகளின் முதல் பக்கத்தை அடைந்த பிறகு வார இறுதியில் மீண்டும் கவனத்தை ஈர்த்தது. அதன் மையக் கேள்வி எளிதானது: ஒரு செரிப்ராஸ் WSE-3T செதில் 44 ஜிபி ஆன்-சிப் நினைவகத்தைக் கொண்டுள்ளது, ஆனால் டிரில்லியன் அளவுரு எல்லை மாடல்களுக்கு அவற்றின் எடையைச் சேமிக்க டெராபைட்டுகள் தேவைப்படுகின்றன. அந்த இடைவெளியை எப்படிக் குறைப்பது? For more context on this story, see our ongoing AI news.

ஏன் டிரில்லியன்-பாராமீட்டர் மாதிரிகள் இயல்பான வன்பொருளை உடைக்கிறது

வழக்கமான முடுக்கிகளுக்கு ஒரு சங்கடமான உண்மையுடன் பதில் தொடங்குகிறது: முழு துல்லியமாக, மூன்று டிரில்லியன் அளவுருக்கள் கொண்ட ஒரு மாதிரி சந்தையில் உள்ள எந்த ஒரு சிப்பின் நினைவகத்திலும் பொருந்தாது. GPU க்ளஸ்டர்கள் பல சாதனங்களில் மாடல்களைப் பிரிப்பதன் மூலமும், அதிவேக இன்டர்கனெக்ட்களில் எடைகள் மற்றும் செயல்படுத்தல்களை தொடர்ந்து அனுப்புவதன் மூலமும் இதைத் தீர்க்கின்றன - பெரிய மாடல்களில் அனுமானம் ஏன் விலை உயர்ந்தது மற்றும் மெதுவாக உள்ளது.

பெருமூளை வேறுபட்ட அணுகுமுறையை எடுக்கிறது. அதன் வேஃபர் அளவிலான சில்லுகள் மகத்தான அளவில் ஆன்-சிப் SRAM-ஐ தொகுக்கிறது - ஒரு WSE-3T வேஃபருக்கு 44 ஜிபி - அதாவது, வெயிட்ஸை ஆன்-சிப்பில் வைத்திருப்பதே நிறுவனத்தின் குறிக்கோள் ஆகும், அங்கு நினைவக அணுகல் எந்த ஆஃப்-சிப் இணைப்பையும் விட வியத்தகு முறையில் வேகமாக இருக்கும்.

இந்த கட்டமைப்பு பல டிரில்லியன் அளவுரு மாதிரிகளை வினாடிக்கு 1,000 முதல் 2,000+ டோக்கன்களில் இயக்க அனுமதிக்கிறது என்று நிறுவனம் கூறுகிறது.

கிமி கே3 வேலை செய்த உதாரணம்

விளக்கத்தை உறுதியானதாக மாற்ற, செரிப்ராஸ் கிமி கே3, சுமார் 3 டிரில்லியன் அளவுருக்கள் கொண்ட ஒரு திறந்த மூல மாதிரியைப் பயன்படுத்துகிறது. மாடல் ஒரு கலப்பின கட்டமைப்பைப் பயன்படுத்துகிறது: 69 நேரியல்-கவனம் அடுக்குகள் மற்றும் 24 அடர்த்தியான அடுக்குகள்.

பெஞ்ச்மார்க் முடிவுகளை மேற்கோள் காட்டி, கிமி K3 டெர்மினல்-பெஞ்ச் 2.1 இல் 88.3% மதிப்பெண்களைப் பெற்றுள்ளது - GPT-5.6 Sol இன் 88.8%-க்குப் பின்னால் - மற்றும் BrowseComp இல் 91.2%, GPT-5.6 Sol இன் 90.4% ஐ விட முந்தியுள்ளது. அந்த எண்கள், செரிப்ராஸ் வாதிடுகிறது, ஒரு திறந்த எடை மாதிரியில் எல்லை-நிலை குறியீட்டு மற்றும் முகவர் திறனைக் காட்டுகிறது, இது ஒரு நல்ல ஆர்ப்பாட்ட இலக்காக அமைகிறது.

வேலை செய்த உதாரணம் 256,000-டோக்கன் சராசரி கோரிக்கை அளவு, 4-பிட் எடை அளவு (கட்டிப்பிடிக்கும் முகம் செயல்படுத்துதலுடன் பொருந்தும்) மற்றும் 8-பிட் KV கேச் ஆகியவற்றைக் கருதுகிறது.

3T மாடலை 44 ஜிபி துண்டுகளாக வெட்டுதல்

எண்கணிதம் இடுகையின் மிகவும் ஒளிரும் பகுதியாகும். ஒரு அளவுருவிற்கு 4 பிட்கள் என, கிமி K3 இன் 3 டிரில்லியன் அளவுருக்கள் தோராயமாக 1.5 TB raw வெயிட் ஆகும். மாதிரியின் 93 அடுக்குகளாகப் பிரிக்கப்பட்டால், ஒவ்வொரு லேயருக்கும் சுமார் 16 ஜிபி தேவை.

இது ஒவ்வொரு செதில்களிலும் கிடைக்கும் 44 ஜிபிக்கு நேர்த்தியாகப் பொருந்துகிறது, ஆனால் இரண்டு அடுக்கு வகைகளும் வித்தியாசமாகப் பிரிக்கப்படுகின்றன:

  • அடர்ந்த அடுக்குகள் ஒரு KV தற்காலிக சேமிப்பிற்கு இடம் தேவை, ஏனெனில் ஒவ்வொரு செயலில் உள்ள கோரிக்கையிலும் முழு கவனம் ஒவ்வொரு டோக்கனுக்கும் விசைகளையும் மதிப்புகளையும் சேமிக்கிறது. செரிப்ராஸ் ஒரு செதில் ஒன்றுக்கு ஒரு அடர்த்தியான அடுக்கை வைக்கிறது, மீதமுள்ள SRAM ஐ அந்த கேச்க்கு விட்டுவிடுகிறது.
  • நேரியல்-கவனம் அடுக்குகள் சூழல் நீளத்தைப் பொருட்படுத்தாமல் ஒரு கோரிக்கைக்கு ஒரு சிறிய, நிலையான அளவிலான நிலையை மட்டுமே வைத்திருக்கும், எனவே KV கேச் தேவையில்லை. இது ஒரு செதில் ஒன்றுக்கு இரண்டு நேரியல் அடுக்குகளுக்கு இடமளிக்கிறது.

69 நேரியல் அடுக்குகள் மற்றும் 24 அடர்த்தியான அடுக்குகளுடன், மாதிரியானது நேரியல் அடுக்குகளுக்கு 35 செதில்கள் மற்றும் அடர்த்தியான அடுக்குகளுக்கு 24 செதில்கள் - கிமி K3 இன் ஒரு பிரதிக்கு மொத்தம் 59 செதில்கள்.

எடைகள் ஒருபோதும் நகராது - செயல்படுத்தல்கள் மட்டுமே செய்யும்

அந்த 59 செதில்களுக்கு இடையில் செரிப்ராஸ் என்ன செய்கிறது - மற்றும் அனுப்பாது - இரண்டாவது முக்கிய யோசனை. நிறுவனம் மாதிரிகளை பைப்லைனாக செயல்படுத்துகிறது: கம்பைலர் செதில்களின் பகுதிகளுக்கு அடுக்குகளை வரைபடமாக்கிய பிறகு, இயக்க நேர அட்டவணையில் டோக்கன்கள் செதில் இருந்து செதில் வரை செல்லும் பாதையை விளக்குகிறது.

முக்கியமாக, ஒவ்வொரு அடுக்கும் ஒரு செதில் (அல்லது இரண்டு, நேரியல் அடுக்குகளுக்கு) முழுவதும் பொருந்துவதால், மாதிரி எடைகள் ஒருபோதும் நகர வேண்டியதில்லை. அடுக்குகள் செதில்கள் முழுவதும் பிரிக்கப்படவில்லை. செயல்கள் மட்டுமே ஒரு செதில் இருந்து அடுத்தது வரை கடக்கும், RDMA மூலம் நிலையான ஈதர்நெட்டில் சுமார் 2 மைக்ரோ விநாடிகள் ஹாப் நேரம் கொண்டு செல்லப்படுகிறது.

அந்த வடிவமைப்பு புள்ளி செரிப்ராஸின் செயல்திறன் கூற்றுக்கள் பற்றி நிறைய விளக்குகிறது. GPU வரிசைப்படுத்தல்களில், சாதனங்களுக்கு இடையே எடைகளை நகர்த்துவது அல்லது துண்டிக்கும் நிலை பெரும்பாலும் இடையூறாக இருக்கும்; செரிப்ராஸ் வன்பொருளில், இன்டர்கனெக்ட் மிகவும் சிறிய ஆக்டிவேஷன் டென்சர்களை மட்டுமே கொண்டுள்ளது.

அனுமான சந்தைக்கு இது ஏன் முக்கியமானது

இந்த இடுகை ஓரளவு பொறியியல் விளக்கமாகவும், ஒரு வாதமாகவும் உள்ளது: செதில் அளவிலான எஸ்ஆர்ஏஎம் என்பது தொழில்துறை அனுப்பும் மகத்தான மாடல்களுக்கு சேவை செய்வதற்கான நம்பகமான வழியாகும். கிமி கே3 போன்ற திறந்த-எடை வெளியீடுகள் மூன்று டிரில்லியன் அளவுருக்களை அணுகும் போது, ​​நினைவகச் சுவர் அனுமான பொருளாதாரத்தின் வரையறுக்கும் தடையாக மாறுகிறது, மேலும் எடைகளை நிலையாக வைத்திருக்கும் அணுகுமுறைகள் ஒரு டோக்கன் வேகத்தில் கட்டமைப்பு நன்மைகளைக் கொண்டுள்ளன.

அளவுப்படுத்தலில் எவ்வளவு சார்ந்துள்ளது என்பதையும் இது அடிக்கோடிட்டுக் காட்டுகிறது. முழு வரிசைப்படுத்துதலும் 4-பிட் எடைகள் மற்றும் 8-பிட் KV கேச் - 16-பிட் பேஸ்லைன்களுடன் ஒப்பிடும்போது நினைவக கால்தடங்களை தோராயமாக 75% அல்லது அதற்கும் அதிகமாக குறைக்கும் நுட்பங்கள் முக்கிய செயல்திறனைப் பாதுகாக்கின்றன. அவர்கள் இல்லாமல், 59 செதில்கள் கூட போதுமானதாக இருக்காது.

வர்த்தக பரிமாற்றங்களும் உண்மையானவை. 59-வேஃபர் சிஸ்டம் என்பது ஒரு பெரிய, பிரத்யேக இயந்திரமாகும், மேலும் பைப்லைன் அணுகுமுறை கோரிக்கைகளை கணினி முழுவதும் திறமையாகத் தொகுக்க முடியும் என்று கருதுகிறது. செரிப்ராஸின் வலைப்பதிவு அதன் முக்கிய தலைப்புகளில் ஒன்றாக ஒத்திசைவைக் குறிக்கிறது, அதிக எண்ணிக்கையிலான ஒரே நேரத்தில் கோரிக்கைகளைக் கையாளும் வகையில் கட்டிடக்கலை வடிவமைக்கப்பட்டுள்ளது என்பதைக் குறிப்பிடுகிறது.

இப்போதைக்கு, நான்கு இலக்க டோக்கன் வேகத்தில் எல்லைப்புற அளவிலான திறந்த மாதிரியை வழங்குவதற்கு உண்மையில் என்ன தேவை என்பது பற்றிய தெளிவான பொது விளக்கங்களில் ஒன்றாக இந்த இடுகை உள்ளது - மேலும் அனுமான வன்பொருள் பற்றிய உரையாடல் சில்லுகளிலிருந்து முழு-வேஃபர் அமைப்புகளுக்கு மாறுகிறது என்பதற்கான அறிகுறியாகும்.

ஆதாரம்: செரிப்ராஸ் வலைப்பதிவு, “செரிப்ராஸில் டிரில்லியன்-பாராமீட்டர் ஃபிராண்டியர் மாடல்களை நாங்கள் எவ்வாறு பயன்படுத்துகிறோம்” (22 அக்டோபர் 2026).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →