Google ने अपनी आठवीं पीढ़ी के TPU लाइनअप को दो नए विशिष्ट सिस्टमों के साथ विस्तारित किया है: TPU 8i Max, जो लंबे-संदर्भ एजेंटिक वर्कलोड के लिए एक ही पैकेज पर दो अनुमान चिप्स को जोड़ती है, और TPU 8tx, जो विनियमित उद्यमों और सरकारों के उद्देश्य से गोपनीय, हार्डवेयर-पृथक अनुमान के लिए बनाया गया है। टॉम्स हार्डवेयर ने गुरुवार को अतिरिक्त जानकारी दी।

यह कदम उस परिवार को समाप्त करता है जिसे Google ने अप्रैल में TPU 8t के साथ शुरू किया था, जिसे बड़े पैमाने पर AI प्रशिक्षण के लिए डिज़ाइन किया गया था, और TPU 8i, जिसे नमूनाकरण, सेवा और तर्क जैसे सामान्य प्रयोजन के अनुमान कार्य के लिए बनाया गया था। नए वेरिएंट के साथ, आठवीं पीढ़ी के लाइनअप में अब प्रशिक्षण, मानक अनुमान, सुरक्षित अनुमान और अधिकतम-बैंडविड्थ एजेंटिक अनुमान शामिल हैं - विकल्पों का एक मैट्रिक्स जो दर्शाता है कि उद्यम अब एआई हार्डवेयर का उपयोग कितने अलग तरीके से करते हैं। यह चिप समाचार एआई हार्डवेयर बाजार में हमारे नवीनतम एआई विकास कवरेज का हिस्सा है।

नए चिप्स क्या करते हैं

टीपीयू 8आई मैक्स एक पैकेज में दो 8आई चिप्स डालता है, जो मूल 8आई की गणना, एसआरएएम और हाई-बैंडविड्थ मेमोरी बैंडविड्थ को दोगुना कर देता है। डिज़ाइन लंबे-संदर्भ वाले एजेंटिक कार्य को लक्षित करता है - ऐसे परिदृश्य जिनमें एआई एजेंट बहु-चरणीय कार्यों में बहुत बड़े कार्य संदर्भों को ले जाते हैं।

टॉम के हार्डवेयर ने बैंडविड्थ दोहरीकरण को एक तरह से तैयार किया है जिसे Google मेमोरी वॉल कहता है, बैंडविड्थ बाधा जो तीव्र हो जाती है "जब दर्जनों एआई एजेंट पूरे सॉफ्टवेयर कोडबेस पर एक साथ काम करते हैं।" बड़े संदर्भ विंडो - बड़े मॉडल लगभग 1 मिलियन टोकन को लक्षित करते हैं - इसका मतलब है बड़े केवी कैश, आंशिक रूप से एसआरएएम में रखे गए, और उत्पन्न प्रत्येक नए टोकन को उस कैश को मेमोरी से वापस पढ़ना होगा। एकल पैकेज में एचबीएम बैंडविड्थ को दोगुना करना ठीक उसी बाधा पर हमला करता है, और प्रकाशन ने नोट किया कि यह संदर्भ के लिए स्टोरेज टियर के साथ डिकोडिंग के लिए दूसरे चिप प्रकार को जोड़ने के एनवीडिया के दृष्टिकोण से एक अलग मार्ग है।

इस बीच, TPU 8tx, पहले घोषित प्रशिक्षण-उन्मुख 8t के समान सिलिकॉन पर बनाया गया है, लेकिन गोपनीय कंप्यूटिंग के लिए कॉन्फ़िगर किया गया है: विनियमित उद्यमों और सरकारों के लिए हार्डवेयर-पृथक अनुमान जिन्हें प्रसंस्करण के दौरान उनके डेटा और मॉडल की सुरक्षा के प्रमाण की आवश्यकता होती है। सिस्टम 5वीं पीढ़ी के AMD EPYC प्रोसेसर के लिए 8t और 8i द्वारा उपयोग किए गए आर्म-आधारित एक्सियन होस्ट सीपीयू को स्वैप करता है और Google के बोर्डफ्लाई नेटवर्किंग को अपनाता है।

विशेष रूप से, Google ने अभी तक किसी भी नई प्रणाली के लिए विस्तृत विनिर्देश, कीमतें या शिप तिथियां साझा नहीं की हैं, इसलिए खरीदारों के पास वर्तमान में ऑर्डर करने योग्य उत्पादों के बजाय रेंडरिंग और स्थिति है।

घोषणा के साथ Google द्वारा प्रकाशित रेंडरिंग में एक TPU 8tx बोर्ड दिखाया गया है जिसमें चार चिप्स हैं, साथ ही चार TPU 8i मैक्स बोर्ड हैं, प्रत्येक एक पैकेज पर दो चिप्स ले जा रहा है - आठवीं पीढ़ी का परिवार पिछली पीढ़ियों के एक-चिप-फिट-सभी त्वरक मॉडल से कितना अलग हो गया है, इसका एक भौतिक चित्रण।

टीपीयू सिंक: एजेंट मेमोरी के लिए सॉफ्टवेयर परत

सिलिकॉन के साथ-साथ, Google एजेंट-मेमोरी समस्या को हल करने के लिए सॉफ़्टवेयर पर भी निर्भर है। टीपीयू सिंक एक ओपन-सोर्स "टीपीयू क्लस्टर्स के लिए मॉडल-स्टेट लेयर" है जो स्वचालित रूप से मिलीसेकंड में चिप से बड़े पैमाने पर केवी कैश को हटा देता है, उन्हें होस्ट डीआरएएम और प्रयोगात्मक रूप से साझा स्टोरेज में ले जाता है।

Google के अनुसार, यह केवी-कैश ट्रांसफर विलंबता को 90% से अधिक कम कर सकता है, साथ ही टाइम-टू-फर्स्ट-टोकन में इसी लाभ के साथ - एआई सिस्टम के प्रतिक्रिया शुरू करने से पहले उपयोगकर्ता को होने वाली देरी का अनुभव होता है। एजेंटिक वर्कलोड के लिए, जहां एक ही सत्र में दर्जनों अनुक्रमिक मॉडल कॉल शामिल हो सकते हैं, जिनमें से प्रत्येक को समान संचित संदर्भ तक पहुंच की आवश्यकता होती है, कैश प्रबंधन कच्चे गणना जितना महत्वपूर्ण होता जा रहा है।

एआई हार्डवेयर बाजार के लिए यह क्यों मायने रखता है

टीपीयू Google के लिए एक तेजी से बढ़ने वाला व्यवसाय बन गया है, जो चिप्स के लिए लगभग 100 ग्राहकों का दावा करता है - जिसमें मेटा भी शामिल है, जिसके डेटा केंद्रों में Google टीपीयू को अपनाने से एनवीडिया के क्षेत्र में सबसे महत्वपूर्ण प्रतिस्पर्धी घुसपैठ में से एक को चिह्नित किया गया है। कंपनी का कहना है कि आठवीं पीढ़ी के परिवार के साथ Google जितना अधिक मॉड्यूलर दृष्टिकोण अपना रहा है, वह उसे "वर्षों के बजाय कुछ ही महीनों में" विशेष सिस्टम प्रदान करने की अनुमति देता है, जिससे ग्राहक वृद्धि में मदद मिलती है।

घोषणा का समय आश्चर्यजनक है। Google का चिप विस्तार उसी दिन हुआ जब एनवीडिया ने घोषणा की कि सीईओ जेन्सेन हुआंग ने इस्तीफा दे दिया है, सीएफओ कोलेट क्रेस को अंतरिम सीईओ नियुक्त किया गया है - उसी कंपनी में एक असाधारण नेतृत्व व्यवधान जिसके जीपीयू बाजार पर हावी हैं, Google के टीपीयू दूर हो रहे हैं। ये दोनों घटनाएं असंबंधित हैं, लेकिन साथ में वे रेखांकित करती हैं कि एआई बुनियादी ढांचा बाजार कितना प्रतिस्पर्धी और कितना अस्थिर हो गया है।

एआई बुनियादी ढांचे का मूल्यांकन करने वाले उद्यमों के लिए, परिवर्धन संकेत देते हैं कि विकल्प सेट व्यापक हो रहा है: प्रशिक्षण-अनुकूलित सिलिकॉन, सामान्य अनुमान, विनियमित डेटा के लिए सुरक्षित अनुमान, और एजेंट बेड़े के लिए अधिकतम-बैंडविड्थ पैकेज एक आकार-फिट-सभी त्वरक के बजाय अलग-अलग उत्पाद श्रेणियां बन रहे हैं। जब Google मूल्य निर्धारण और उपलब्धता विवरण प्रकाशित करता है, तो खरीदारों के लिए व्यावहारिक प्रश्न यह होगा कि क्या 8i मैक्स की दोगुनी बैंडविड्थ मानक 8i तैनाती पर प्रीमियम को उचित ठहराने के लिए एजेंट बेड़े के लिए पर्याप्त थ्रूपुट में तब्दील हो जाती है।

मॉड्यूलैरिटी में आपूर्ति-पक्ष तर्क भी होता है। पूर्ण हार्डवेयर स्टैक के माध्यम से अगली पीढ़ी के डिज़ाइन को चक्रित करने के लिए वर्षों तक प्रतीक्षा करने के बजाय, Google मौजूदा सिलिकॉन को फिर से संयोजित कर सकता है - जैसा कि उसने 8t सिलिकॉन को एक अलग होस्ट सीपीयू के साथ एक सुरक्षित-अनुमान पैकेज में ले जाकर किया था - सभी वेरिएंट में एक सामान्य सॉफ़्टवेयर स्टैक रखते हुए, विशिष्ट खंडों तक तेजी से पहुंचने के लिए। यह गति अपने आप में एक ऐसे बाजार में एक प्रतिस्पर्धी हथियार है जहां ग्राहकों की आवश्यकताएं तिमाही आधार पर बदल रही हैं।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →