Google ने अपने आठवीं पीढ़ी के TPU पोर्टफोलियो को दो नई प्रणालियों के साथ विस्तारित किया है - सुरक्षित, गोपनीय अनुमान के लिए TPU 8tx और विशाल संदर्भ विंडो के लिए TPU 8i Max - यह पहली बार है कि कंपनी ने एक ही वर्ष में चार TPU सिस्टम भेजे हैं।
सोमवार को प्रकाशित एक ब्लॉग पोस्ट में, Google ने कहा कि दो परिवर्धन एक वर्कलोड प्रोफ़ाइल के लिए डिज़ाइन किए गए हैं जो एक दशक पहले पहली टीपीयू लॉन्च होने पर मुश्किल से अस्तित्व में थे: स्वायत्त एजेंटों के बेड़े विशाल संदर्भ विंडो पर तर्क करते हैं और संवेदनशील एंटरप्राइज़ डेटा को संभालते हैं। कंपनी ने लिखा, "कंप्यूटिंग मानव से एजेंट पैमाने की ओर बढ़ने के साथ, व्यवसाय ऐसे त्वरक की मांग कर रहे हैं जो एआई मॉडल की विशाल संदर्भ विंडो में तर्क कर सकें।" "इसके अलावा, कुछ उच्च विनियमित ग्राहक अद्वितीय कार्यभार के लिए विशेष एन्क्रिप्शन क्षमताओं की मांग कर रहे हैं।" For more context on this story, see our ongoing latest AI developments.
एजेंट जीवनचक्र के प्रत्येक चरण के लिए एक प्रणाली
आठवीं पीढ़ी अप्रैल में Google क्लाउड नेक्स्ट पर TPU 8t के साथ शुरू हुई, जिसे बड़े पैमाने पर प्रशिक्षण के लिए बनाया गया था, और TPU 8i, जिसे वास्तविक समय तर्क के लिए बनाया गया था। Google ने पिछली पीढ़ी की तुलना में 8टी के लिए 2.7 गुना बेहतर प्रशिक्षण प्रदर्शन और 8आई के लिए 80% बेहतर अनुमान मूल्य-प्रदर्शन का हवाला दिया।
दो नए आगमन ने शेष क्षेत्र को विभाजित कर दिया। जैसा कि Google ने कहा है, चार प्रणालियाँ मिलकर ग्राहकों को "एजेंटिक जीवनचक्र के हर चरण के लिए एक उद्देश्य-निर्मित त्वरक" प्रदान करती हैं: स्केल-अप प्रशिक्षण के लिए TPU 8t, कम-विलंबता तर्क के लिए TPU 8i, गोपनीय कंप्यूटिंग के लिए TPU 8tx, और बड़े पैमाने पर संदर्भ विंडो और प्रति रैक उच्चतम गणना घनत्व के लिए TPU 8i Max।
TPU 8tx: हार्डवेयर में निर्मित सुरक्षा
TPU 8tx सुरक्षित और गोपनीय अनुमान के लिए अनुकूलित है और, Google नोट्स, छोटे पैमाने के प्रशिक्षण के लिए भी उपयुक्त है। लक्षित ग्राहक स्पष्ट है: सीमांत या मालिकाना मॉडल चलाने वाले विनियमित उद्यम और सरकारें और उनके सबसे संवेदनशील डेटा के साथ स्वायत्त एजेंट।
इंजीनियरिंग दृष्टिकोण सुरक्षित कंप्यूटिंग में लंबे समय से चले आ रहे तनाव को संबोधित करता है। संग्रहीत या संचारित होने पर डेटा को आम तौर पर एन्क्रिप्ट किया जाता है, लेकिन कंप्यूटर द्वारा इसे संसाधित करते समय इसे मेमोरी में अनलॉक करना पड़ता है - जिस क्षण यह सबसे अधिक उजागर होता है। TPU 8t के समान सिलिकॉन पर निर्मित और 5वीं पीढ़ी के AMD EPYC CPU होस्ट के साथ जोड़ा गया, TPU 8tx सीधे हार्डवेयर परत में सुरक्षा बनाता है, सक्रिय उपयोग के दौरान भी संवेदनशील डेटा और मॉडल वजन को सुरक्षित और अलग रखता है।
सिस्टम उसी कम-विलंबता "बोर्डफ्लाई" नेटवर्क का उपयोग करता है जिसे Google ने वास्तविक समय तर्क के लिए बनाया है, जिसका अर्थ है कि यह प्रशिक्षण-ग्रेड गणना और तेज़ अनुमान को एक साथ संभाल सकता है। Google का कहना है कि इससे संगठनों को निजी डेटा के साथ मॉडल को बेहतर बनाने, बड़े मॉडल को छोटे मॉडल में बदलने और एक ही सिस्टम पर सुदृढीकरण सीखने के माध्यम से एजेंटों को प्रशिक्षित करने की सुविधा मिलती है - अलग-अलग समूहों के बीच संवेदनशील डेटा को स्थानांतरित किए बिना।
टीपीयू 8आई मैक्स: मेमोरी वॉल पर हमला
TPU 8i Max पूरी तरह से एक अलग बाधा से निपटता है। गूगल ने लिखा, "जब दर्जनों एआई एजेंट पूरे सॉफ्टवेयर कोडबेस या घंटों के वीडियो पर एक साथ काम करते हैं, तो मेमोरी बैंडविड्थ जल्दी ही बाधा बन जाती है।" कंपनी का उत्तर वास्तुशिल्प है: दो कम-विलंबता टीपीयू 8i चिप्स एक ही पैकेज में संयुक्त हैं।
परिणाम एक ऐसी प्रणाली है जो लॉकस्टेप में गणना और मेमोरी को मापती है - गणना को दोगुना, एसआरएएम को दोगुना और टीपीयू 8i के एचबीएम बैंडविड्थ को दोगुना करती है। और क्योंकि TPU 8i मैक्स मौजूदा रैक फ़ुटप्रिंट के भीतर दोगुने सिलिकॉन में फिट बैठता है, Google का कहना है कि डेटा सेंटर प्रति वर्ग फुट और प्रति वाट में काफी अधिक कंप्यूटिंग शक्ति तैनात कर सकते हैं, यह एक सार्थक विचार है जब पावर और फ़्लोरस्पेस एआई क्षमता विस्तार पर बाध्यकारी बाधाएं हैं।
सिस्टम क्यों, चिप्स नहीं
सोमवार की घोषणा में एक महत्वपूर्ण बारीकियां यह है कि Google इन्हें नए चिप्स के बजाय नए सिस्टम के रूप में तैयार कर रहा है। कंपनी बताती है कि एक चिप डिजाइन करना, भौतिकी और विनिर्माण समयसीमा से बंधे अरबों ट्रांजिस्टर को बिछाने की एक बहु-वर्षीय प्रक्रिया है। एक प्रणाली - एक चिप के चारों ओर गणना, नेटवर्किंग, भंडारण और पैकेजिंग की व्यवस्था कैसे की जाती है - को बहुत तेजी से समायोजित किया जा सकता है।
वह मॉड्यूलैरिटी Google की AI हाइपरकंप्यूटर रणनीति का मूल है, और इसने एक ही पीढ़ी के भीतर चार विशेष प्रणालियों को शिप करने की अनुमति दी है। Google ने इस बात पर भी प्रकाश डाला कि उसका अपना AI बुनियादी ढांचा अब हार्डवेयर के निर्माण में कितना खर्च करता है: कंपनी डीपमाइंड के अल्फाचिप सुदृढीकरण सीखने की प्रणाली का उपयोग करती है, और कहती है कि जेमिनी अब चिप लेआउट को "हफ्तों के बजाय घंटों में" वितरित करने में मदद करता है। Google इसे "सच्चा सह-डिज़ाइन" और एक अद्वितीय विभेदक कहता है।
प्रतिस्पर्धी संदर्भ
एआई एक्सेलेरेटर में बढ़ती प्रतिस्पर्धा के बीच यह विस्तार हुआ। टीपीयू की तैनाती ने Google की अपनी दीवारों के बाहर मॉडलों की सेवा में उनकी भूमिका के लिए ध्यान आकर्षित किया है - कंपनी नोट करती है कि टीपीयू अब अपने जेमिनी मॉडल, एजेंटिक वर्कलोड, Google क्लाउड ग्राहक सेवाओं और हाल ही में ग्राहकों के अपने डेटा केंद्रों में टीपीयू की प्रत्यक्ष तैनाती के लिए बिजली प्रशिक्षण और सेवा दे रही है। Google TPU को "तेजी से बढ़ने वाला व्यवसाय" के रूप में वर्णित करता है।
टेकपावरअप और इलेक्ट्रॉनिक्स वीकली के अंशों सहित घोषणा के कवरेज ने स्पष्ट रूप से प्रतिस्पर्धी शर्तों में इस कदम को तैयार किया - Google अपने कस्टम-सिलिकॉन लाइनअप का विस्तार कर रहा है क्योंकि यह एआई वर्कलोड को कोर्ट करता है जो अन्यथा एनवीआईडीआईए हार्डवेयर पर चल सकता है। अपनी ओर से, एनवीआईडीआईए ने अपने स्वयं के रैक-स्केल सिस्टम की लगातार पीढ़ियों तक शिपिंग जारी रखी है, जिससे एआई इंफ्रास्ट्रक्चर खरीदारों को व्यापारी और कस्टम सिलिकॉन के बीच तेजी से विश्वसनीय विकल्प मिल गया है।
डेवलपर्स के लिए इसका क्या मतलब है
डेवलपर्स के लिए, व्यावहारिक महत्व किसी एक बेंचमार्क के बारे में कम और फिट के बारे में अधिक है। लंबे दस्तावेज़ों, बड़े कोडबेस, या विस्तारित वीडियो संदर्भ के माध्यम से काम करने वाले एजेंटिक उत्पादों का निर्माण करने वाली टीमें मेमोरी-बैंडविड्थ की सीमा को प्रभावित कर रही हैं, जिसे कच्चे FLOPS हल नहीं करते हैं - समस्या 8i Max के लिए बनाई गई है। वित्त, स्वास्थ्य सेवा और सरकार की टीमें जो संवेदनशील कार्यभार को साझा बुनियादी ढांचे में स्थानांतरित नहीं कर सकती थीं क्योंकि प्रसंस्करण के दौरान डेटा को डिक्रिप्ट करना पड़ता था, अब उनके पास 8tx में हार्डवेयर-समर्थित विकल्प है।
Google ने हार्डवेयर समाचार को सॉफ़्टवेयर एक्सेसिबिलिटी मैसेजिंग के साथ जोड़ा, जो उसकी हालिया PyTorch घोषणाओं और TPU को "सामान्य प्रयोजन हार्डवेयर के रूप में उपयोग में आसान" बनाने के उसके घोषित उद्देश्य की ओर इशारा करता है। कंपनी ने नई प्रणालियों के बारे में विस्तार से बताने के लिए सोमवार को एक प्रसारण की मेजबानी की और कहा कि ग्राहक Google क्लाउड वेबसाइट पर संपूर्ण बुनियादी ढांचा लाइनअप का पता लगा सकते हैं।
एआई से आगे रहें
कस्टम सिलिकॉन एआई बिल्डआउट का रणनीतिक युद्धक्षेत्र बन रहा है। एआई बज़ वायर के साथ एआई से आगे रहें - एआई हार्डवेयर, मॉडल और उन्हें बनाने वाली कंपनियों के कवरेज को तोड़ते हुए।
अधिक AI समाचार पढ़ें →
