Google ने आपल्या आठव्या पिढीतील TPU लाइनअप दोन नवीन विशेष प्रणालींसह विस्तारित केले आहे: TPU 8i Max, जे दीर्घ-संदर्भ एजंटिक वर्कलोड्ससाठी एकाच पॅकेजवर दोन अनुमान चिप्स एकत्र करते आणि TPU 8tx, गोपनीय, हार्डवेअर-पृथक अनुमानांसाठी तयार केलेले नियमन केलेले उपक्रम आणि सरकार यांच्या उद्देशाने. टॉमच्या हार्डवेअरने गुरुवारी जोडणी नोंदवली.

Google ने एप्रिलमध्ये मोठ्या प्रमाणावर AI प्रशिक्षणासाठी डिझाइन केलेले TPU 8t आणि सॅम्पलिंग, सर्व्हिंग आणि तर्क यांसारख्या सामान्य हेतूच्या कामासाठी तयार केलेल्या TPU 8i सोबत एका कुटुंबाची सुरुवात केली आहे. नवीन व्हेरियंटसह, आठव्या पिढीच्या लाइनअपमध्ये आता प्रशिक्षण, मानक अनुमान, सुरक्षित अनुमान आणि कमाल-बँडविड्थ एजंटिक अनुमान यांचा समावेश आहे — पर्यायांचा मॅट्रिक्स जो एंटरप्राइजेस आता AI हार्डवेअरचा वापर किती वेगळ्या पद्धतीने करतात हे दर्शवते. ही चिप न्यूज आमच्या नवीनतम AI घडामोडी संपूर्ण AI हार्डवेअर मार्केटमधील कव्हरेजचा भाग आहे.

नवीन चिप्स काय करतात

TPU 8i मॅक्स एका पॅकेजवर दोन 8i चिप्स ठेवते, मूळ 8i ची गणना, SRAM आणि उच्च-बँडविड्थ मेमरी बँडविड्थ दुप्पट करते. डिझाइन दीर्घ-संदर्भ एजंटिक कार्याला लक्ष्य करते — परिस्थिती ज्यामध्ये एआय एजंट बहु-चरण कार्यांमध्ये खूप मोठे कार्य संदर्भ घेतात.

टॉमच्या हार्डवेअरने बँडविड्थ दुप्पट करण्याचा मार्ग तयार केला आहे ज्याला Google मेमरी वॉल म्हणतो, बँडविड्थ अडथळा जो "जेव्हा डझनभर एआय एजंट संपूर्ण सॉफ्टवेअर कोडबेसवर एकत्र काम करतात." मोठ्या संदर्भ विंडो - सुमारे 1 दशलक्ष टोकन लक्ष्यित मोठ्या मॉडेल्ससह - म्हणजे मोठ्या KV कॅशे, अंशतः SRAM मध्ये ठेवलेले, आणि प्रत्येक नवीन टोकन व्युत्पन्न केलेले कॅशे मेमरीमधून परत वाचणे आवश्यक आहे. एकाच पॅकेजमध्ये HBM बँडविड्थ दुप्पट करणे त्या अडथळ्यावर हल्ला करते आणि प्रकाशनाने नमूद केले आहे की संदर्भासाठी स्टोरेज टियरसह डीकोडिंगसाठी दुसरा चिप प्रकार जोडण्याच्या Nvidia च्या दृष्टिकोनापेक्षा हा एक वेगळा मार्ग आहे.

दरम्यान, TPU 8tx, पूर्वी घोषित केलेल्या प्रशिक्षण-ओरिएंटेड 8t प्रमाणेच सिलिकॉनवर तयार केले गेले आहे, परंतु ते गोपनीय संगणनासाठी कॉन्फिगर केले आहे: नियमन केलेल्या उपक्रमांसाठी आणि सरकारांसाठी हार्डवेअर-पृथक अनुमान ज्यांना त्यांचा डेटा आणि मॉडेल्स प्रक्रियेदरम्यान संरक्षित आहेत याचा पुरावा हवा आहे. सिस्टीम 5th Gen AMD EPYC प्रोसेसरसाठी 8t आणि 8i द्वारे वापरलेले आर्म-आधारित Axion होस्ट CPUs बदलते आणि Google चे बोर्डफ्लाय नेटवर्किंग स्वीकारते.

विशेष म्हणजे, Google ने अद्याप एकतर नवीन प्रणालीसाठी तपशीलवार तपशील, किमती किंवा जहाजाच्या तारखा शेअर केल्या आहेत, त्यामुळे खरेदीदारांकडे सध्या ऑर्डर करण्यायोग्य उत्पादनांऐवजी रेंडरिंग आणि स्थिती आहे.

घोषणेच्या बाजूने प्रकाशित केलेले Google प्रस्तुतीकरण चार चिप्स असलेले TPU 8tx बोर्ड दाखवतात, चार TPU 8i मॅक्स बोर्डसह, प्रत्येकामध्ये दोन चिप्स एकाच पॅकेजवर असतात — आठव्या पिढीचे कुटुंब पूर्वीच्या पिढ्यांमधील एक-चिप-फिट-सर्व ऍक्सिलेटर मॉडेलपासून किती दूर गेले आहे याचे भौतिक चित्रण.

TPU सिंक: एजंट मेमरीसाठी सॉफ्टवेअर स्तर

सिलिकॉनच्या बरोबरीने, एजंट-मेमरी समस्या सोडवण्यासाठी Google सॉफ्टवेअरवर झुकत आहे. TPU Sync हा एक ओपन-सोर्स "TPU क्लस्टर्ससाठी मॉडेल-स्टेट लेयर" आहे जो चिपमधून मोठ्या KV कॅशेला मिलिसेकंदांमध्ये आपोआप टियर करतो, त्यांना होस्ट DRAM आणि प्रायोगिकरित्या, शेअर्ड स्टोरेजवर हलवतो.

Google च्या मते, हे केव्ही-कॅशे ट्रान्सफर लेटन्सी 90% पेक्षा जास्त कमी करू शकते, टाइम-टू-फर्स्ट-टोकनमध्ये संबंधित नफ्यासह - एआय सिस्टम प्रतिसाद देण्यास सुरुवात करण्यापूर्वी वापरकर्त्याला होणारा विलंब. एजंटिक वर्कलोड्ससाठी, जिथे एकाच सत्रात डझनभर अनुक्रमिक मॉडेल कॉल्स असू शकतात ज्यांना प्रत्येकाला समान संचित संदर्भामध्ये प्रवेश आवश्यक असतो, कॅशे व्यवस्थापन हे कच्च्या गणनेइतकेच महत्त्वाचे होत आहे.

AI हार्डवेअर मार्केटसाठी ते का महत्त्वाचे आहे

TPUs हा Google साठी झपाट्याने वाढणारा व्यवसाय बनला आहे, जो चिप्ससाठी जवळपास 100 ग्राहकांचा दावा करतो — मेटासह, ज्यांच्या डेटा सेंटर्समध्ये Google TPUs स्वीकारणे हे Nvidia च्या क्षेत्रामध्ये सर्वात लक्षणीय स्पर्धात्मक घुसखोरी आहे. गुगल आठव्या पिढीच्या कुटुंबासोबत अधिक मॉड्यूलर दृष्टीकोन घेत आहे, कंपनी म्हणते, "वर्षांऐवजी काही महिन्यांत" विशेष प्रणाली वितरीत करण्यास अनुमती देते, ज्यामुळे ग्राहक वाढण्यास मदत होते.

घोषणेची वेळ धक्कादायक आहे. Google च्या चिपचा विस्तार त्याच दिवशी झाला ज्या दिवशी Nvidia ने घोषणा केली की CEO जेन्सेन हुआंग यांनी राजीनामा दिला आहे, CFO Colette Kress ने अंतरिम CEO नियुक्त केले आहे — ज्या कंपनीच्या GPU चे प्रभुत्व आहे त्या कंपनीमध्ये एक विलक्षण नेतृत्व व्यत्यय Google चे TPUs कमी होत आहेत. दोन घटना कारणास्तव असंबंधित आहेत, परंतु ते एकत्रितपणे एआय इन्फ्रास्ट्रक्चर मार्केट किती स्पर्धात्मक आणि किती अस्थिर झाले आहे हे अधोरेखित करतात.

एआय इन्फ्रास्ट्रक्चरचे मूल्यमापन करणाऱ्या उद्योगांसाठी, निवड संच रुंदावत असल्याचे जोडणे सूचित करतात: प्रशिक्षण-अनुकूलित सिलिकॉन, सामान्य अनुमान, नियमन केलेल्या डेटासाठी सुरक्षित अनुमान आणि एजंट फ्लीट्ससाठी कमाल-बँडविड्थ पॅकेजेस एक-आकार-फिट-सर्व प्रवेगकांच्या ऐवजी वेगळ्या उत्पादन श्रेणी बनत आहेत. जेव्हा Google किंमत आणि उपलब्धता तपशील प्रकाशित करते, तेव्हा खरेदीदारांसाठी व्यावहारिक प्रश्न असेल की 8i मॅक्सची दुप्पट बँडविड्थ एजंटिक फ्लीट्ससाठी मानक 8i उपयोजनांपेक्षा प्रीमियमचे समर्थन करण्यासाठी पुरेसे थ्रूपुटमध्ये अनुवादित करते का.

मॉड्यूलरिटीमध्ये पुरवठा-साइड लॉजिक देखील आहे. संपूर्ण हार्डवेअर स्टॅकवर सायकल चालवण्यासाठी पुढील पिढीच्या डिझाइनसाठी वर्षे वाट पाहण्याऐवजी, Google विद्यमान सिलिकॉन पुन्हा एकत्र करू शकते — जसे की त्याने 8t सिलिकॉनला वेगळ्या होस्ट CPU सह सुरक्षित-अनुमान पॅकेजमध्ये हलवून केले — कोनाडा विभागांपर्यंत जलद पोहोचण्यासाठी, सर्व प्रकारांमध्ये एक सामान्य सॉफ्टवेअर स्टॅक ठेवताना. ग्राहकांच्या गरजा त्रैमासिक बदलत असलेल्या बाजारपेठेत हा वेग स्वतःच एक स्पर्धात्मक शस्त्र आहे.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →