Google ने आपला आठव्या पिढीचा TPU पोर्टफोलिओ दोन नवीन प्रणालींसह विस्तारित केला आहे - सुरक्षित, गोपनीय अनुमानांसाठी TPU 8tx आणि मोठ्या संदर्भ विंडोसाठी TPU 8i Max — कंपनीने एकाच वर्षात चार TPU प्रणाली पाठवल्याची पहिलीच वेळ आहे.

सोमवारी प्रकाशित झालेल्या एका ब्लॉग पोस्टमध्ये, Google ने सांगितले की, दोन जोडण्या एका दशकापूर्वी पहिल्या TPU लाँच झालेल्या वर्कलोड प्रोफाइलसाठी तयार केल्या गेल्या आहेत: स्वायत्त एजंट्सचा ताफा प्रचंड संदर्भ विंडोवर तर्क करतो आणि संवेदनशील एंटरप्राइझ डेटा हाताळतो. "संगणन मानवाकडून एजंट स्केलकडे जात असताना, व्यवसाय प्रवेगकांसाठी विचारत आहेत जे एआय मॉडेल्सच्या मोठ्या संदर्भ विंडोमध्ये तर्क करू शकतात," कंपनीने लिहिले. "याव्यतिरिक्त, काही अत्यंत नियमन केलेले ग्राहक अद्वितीय वर्कलोडसाठी विशेष एन्क्रिप्शन क्षमता विचारत आहेत." For more context on this story, see our ongoing AI trends.

एजंटिक जीवनचक्राच्या प्रत्येक टप्प्यासाठी एक प्रणाली

आठवी पिढी एप्रिलमध्ये Google क्लाउड नेक्स्टमध्ये TPU 8t सह सुरू झाली, मोठ्या प्रमाणात प्रशिक्षणासाठी तयार केली गेली आणि TPU 8i, रिअल-टाइम तर्कासाठी तयार केली गेली. Google ने मागील पिढीच्या तुलनेत 8t साठी 2.7 पट अधिक चांगले प्रशिक्षण कार्यप्रदर्शन आणि 8i साठी 80% चांगले अनुमान किंमत-कार्यप्रदर्शन उद्धृत केले.

दोन नवीन आगमनांनी उर्वरित प्रदेश विभाजित केला. Google ने म्हटल्याप्रमाणे, चार प्रणाली एकत्रितपणे ग्राहकांना "एजंटिक जीवनचक्राच्या प्रत्येक टप्प्यासाठी एक उद्देश-निर्मित प्रवेगक" देतात: स्केल-अप प्रशिक्षणासाठी TPU 8t, कमी-विलंब तर्कासाठी TPU 8i, गोपनीय संगणनासाठी TPU 8tx, आणि TPU 8i मॅक्स मोठ्या संदर्भ विंडोसाठी आणि सर्वोच्च गणना रॅकडेनसाठी.

TPU 8tx: हार्डवेअरमध्ये बिल्ट सुरक्षा

TPU 8tx हे सुरक्षित आणि गोपनीय अनुमानांसाठी ऑप्टिमाइझ केलेले आहे आणि, Google नोट्स, लहान-प्रशिक्षणासाठी देखील योग्य आहे. लक्ष्य ग्राहक स्पष्ट आहे: नियमन केलेले उपक्रम आणि सरकार चालवणारे सीमावर्ती किंवा मालकीचे मॉडेल आणि स्वायत्त एजंट त्यांच्या सर्वात संवेदनशील डेटासह.

अभियांत्रिकी दृष्टीकोन सुरक्षित संगणनामध्ये दीर्घकाळ चाललेल्या तणावाचे निराकरण करते. डेटा सामान्यतः संचयित किंवा प्रसारित केल्यावर कूटबद्ध केला जातो, परंतु संगणक त्यावर प्रक्रिया करत असताना मेमरीमध्ये अनलॉक करणे आवश्यक आहे - ज्या क्षणी तो सर्वात जास्त उघड होतो. TPU 8t सारख्याच सिलिकॉनवर तयार केलेले आणि 5व्या जनरेशनच्या AMD EPYC CPU होस्ट्ससह पेअर केलेले, TPU 8tx सक्रिय वापरात असतानाही संवेदनशील डेटा आणि मॉडेलचे वजन संरक्षित आणि वेगळे ठेवून हार्डवेअर लेयरमध्ये थेट सुरक्षा तयार करते.

सिस्टीम Google ने रिअल-टाइम रिझनिंगसाठी तयार केलेले समान लो-लेटन्सी "बोर्डफ्लाय" नेटवर्क वापरते, याचा अर्थ ती एकाच वेळी प्रशिक्षण-श्रेणी गणना आणि वेगवान अनुमान हाताळू शकते. Google म्हणते की हे संस्थांना खाजगी डेटासह मॉडेल्स चांगले-ट्यून करू देते, मोठ्या मॉडेलला लहान मॉडेलमध्ये डिस्टिल करू देते आणि एका सिस्टीमवर रीइन्फोर्समेंट लर्निंगद्वारे एजंटना प्रशिक्षण देते — वेगळ्या क्लस्टर्समध्ये संवेदनशील डेटा स्थलांतरित न करता.

TPU 8i मॅक्स: मेमरी वॉलवर हल्ला करणे

TPU 8i Max संपूर्णपणे वेगळ्या अडचणी हाताळते. "जेव्हा डझनभर एआय एजंट संपूर्ण सॉफ्टवेअर कोडबेस किंवा व्हिडिओच्या तासांवर एकाच वेळी एकत्र काम करतात, तेव्हा मेमरी बँडविड्थ त्वरीत अडथळा बनते," Google ने लिहिले. कंपनीचे उत्तर आर्किटेक्चरल आहे: दोन लो-लेटेंसी TPU 8i चिप्स एकाच पॅकेजवर एकत्रित.

परिणाम म्हणजे एक प्रणाली जी लॉकस्टेपमध्ये गणना आणि मेमरी मोजते — दुप्पट गणना, SRAM दुप्पट आणि TPU 8i ची HBM बँडविड्थ दुप्पट करते. आणि TPU 8i Max विद्यमान रॅक फूटप्रिंटमध्ये सिलिकॉनच्या दुप्पट बसत असल्याने, Google म्हणतो की डेटा सेंटर्स प्रति चौरस फूट आणि प्रति वॅट लक्षणीयरीत्या अधिक संगणकीय शक्ती उपयोजित करू शकतात, जेव्हा पॉवर आणि फ्लोअरस्पेस हे AI क्षमतेच्या विस्तारासाठी बंधनकारक बंधने असतात तेव्हा एक अर्थपूर्ण विचार केला जातो.

प्रणाली का, चिप्स नाही

सोमवारच्या घोषणेतील एक महत्त्वाचा मुद्दा म्हणजे Google या नवीन चिप्सऐवजी नवीन सिस्टम म्हणून तयार करत आहे. चिप डिझाईन करणे, कंपनी स्पष्ट करते, भौतिकशास्त्र आणि उत्पादन टाइमलाइनने बांधलेले अब्जावधी ट्रान्झिस्टर घालण्याची एक बहु-वर्षीय प्रक्रिया आहे. एक प्रणाली — चिपभोवती गणना, नेटवर्किंग, स्टोरेज आणि पॅकेजिंग कशी व्यवस्था केली जाते — खूप जलद समायोजित केली जाऊ शकते.

ती मॉड्यूलरिटी ही Google च्या AI हायपरकॉम्प्युटर रणनीतीचा गाभा आहे आणि यामुळेच चार विशेष प्रणालींना एकाच पिढीमध्ये पाठवण्याची परवानगी मिळाली. Google ने हे देखील हायलाइट केले की त्याच्या स्वतःच्या AI पायाभूत सुविधा आता हार्डवेअर तयार करण्यासाठी किती परत जातात: कंपनी DeepMind च्या AlphaChip रीइन्फोर्समेंट लर्निंग सिस्टमचा वापर करते आणि म्हणते की जेमिनी आता चिप लेआउट "आठवड्यांऐवजी तासांमध्ये" वितरित करण्यात मदत करते. Google याला "खरे सह-डिझाइन" आणि एक अद्वितीय भिन्नता म्हणते.

स्पर्धात्मक संदर्भ

AI प्रवेगकांमधील तीव्र स्पर्धा दरम्यान विस्तार उतरला. TPU उपयोजनांनी Google च्या स्वतःच्या भिंतीबाहेर मॉडेल्स सर्व्ह करण्याच्या त्यांच्या भूमिकेकडे लक्ष वेधले आहे — कंपनीने नोंदवले आहे की TPUs आता पॉवर ट्रेनिंग आणि सेवा देत आहेत जेमिनी मॉडेल्स, एजंटिक वर्कलोड्स, Google क्लाउड ग्राहक सेवा आणि अगदी अलीकडे ग्राहकांच्या स्वतःच्या डेटा सेंटरमध्ये TPU ची थेट तैनाती. Google TPU चे वर्णन "एक वेगाने वाढणारा व्यवसाय" असे करते.

TechPowerUp आणि Electronics Weekly च्या तुकड्यांसह घोषणेच्या कव्हरेजने स्पष्टपणे स्पर्धात्मक अटींमध्ये ही हालचाल तयार केली — Google ने त्याची कस्टम-सिलिकॉन लाइनअप वाढवली आहे कारण ती AI वर्कलोडला न्यायालय देते जे अन्यथा NVIDIA हार्डवेअरवर चालते. NVIDIA ने, त्याच्या स्वतःच्या रॅक-स्केल सिस्टीमची लागोपाठ पिढ्या पाठवणे सुरू ठेवले आहे, ज्यामुळे AI पायाभूत सुविधा खरेदीदारांना व्यापारी आणि सानुकूल सिलिकॉनमधील वाढत्या विश्वासार्ह निवडी आहेत.

विकसकांसाठी याचा अर्थ काय आहे

विकसकांसाठी, व्यावहारिक महत्त्व कोणत्याही एका बेंचमार्कबद्दल कमी आणि फिटबद्दल अधिक आहे. लांब दस्तऐवज, मोठे कोडबेस किंवा विस्तारित व्हिडिओ संदर्भ ग्राइंड करणाऱ्या एजंटिक उत्पादने बनवणाऱ्या टीम मेमरी-बँडविड्थ सीलिंगला मारत आहेत जे कच्चे FLOPS सोडवत नाहीत — समस्या 8i Max साठी तयार केली आहे. फायनान्स, हेल्थकेअर आणि सरकारमधील टीम जे संवेदनशील वर्कलोड्स शेअर्ड इन्फ्रास्ट्रक्चरमध्ये हलवू शकले नाहीत कारण प्रोसेसिंग दरम्यान डेटा डिक्रिप्ट करणे आवश्यक होते आता 8tx मध्ये हार्डवेअर-बॅक्ड पर्याय आहे.

Google ने हार्डवेअरच्या बातम्यांना सॉफ्टवेअर ऍक्सेसिबिलिटी मेसेजिंगसह जोडले, त्याच्या अलीकडील PyTorch घोषणांकडे लक्ष वेधले आणि TPUs "सामान्य-उद्देशाच्या हार्डवेअरइतके वापरण्यास-सोपे" बनवण्याचे उद्दिष्ट दिले. कंपनीने सोमवारी नवीन सिस्टम्सच्या तपशीलासाठी एक प्रसारण आयोजित केले आणि सांगितले की ग्राहक Google क्लाउड वेबसाइटवर संपूर्ण पायाभूत सुविधांचा शोध घेऊ शकतात.

AI च्या पुढे रहा

सानुकूल सिलिकॉन हे एआय बिल्डआउटचे धोरणात्मक युद्धभूमी बनत आहे. AI Buzz Wire सह AI च्या पुढे राहा — AI हार्डवेअर, मॉडेल्स आणि ते तयार करणाऱ्या कंपन्यांचे ब्रेकिंग कव्हरेज.

अधिक एआय बातम्या वाचा →