Google தனது எட்டாவது தலைமுறை TPU வரிசையை இரண்டு புதிய சிறப்பு அமைப்புகளுடன் விரிவுபடுத்தியுள்ளது: TPU 8i Max, நீண்ட சூழல் முகவர் பணிச்சுமைக்காக ஒரே தொகுப்பில் இரண்டு அனுமான சில்லுகளை இணைக்கிறது மற்றும் TPU 8tx, ஒழுங்குபடுத்தப்பட்ட நிறுவனங்கள் மற்றும் அரசாங்கங்களை இலக்காகக் கொண்ட இரகசிய, வன்பொருள்-தனிப்படுத்தப்பட்ட அனுமானத்திற்காக உருவாக்கப்பட்டுள்ளது. டாம்ஸ் ஹார்டுவேர் வியாழக்கிழமை சேர்த்தல்களை அறிவித்தது.

இந்த நடவடிக்கையானது பெரிய அளவிலான AI பயிற்சிக்காக வடிவமைக்கப்பட்ட TPU 8t உடன் ஏப்ரல் மாதத்தில் கூகுள் தொடங்கிய குடும்பம் மற்றும் TPU 8i, மாதிரிகள், சேவைகள் மற்றும் பகுத்தறிவு போன்ற பொது நோக்கத்திற்கான அனுமான வேலைகளுக்காக கட்டமைக்கப்பட்டது. புதிய மாறுபாடுகளுடன், எட்டாவது தலைமுறை வரிசை இப்போது பயிற்சி, நிலையான அனுமானம், பாதுகாப்பான அனுமானம் மற்றும் அதிகபட்ச அலைவரிசை முகவர் அனுமானம் ஆகியவற்றை உள்ளடக்கியது - நிறுவனங்கள் இப்போது AI வன்பொருளை எவ்வாறு வித்தியாசமாகப் பயன்படுத்துகின்றன என்பதைப் பிரதிபலிக்கும் விருப்பங்களின் மேட்ரிக்ஸ். AI வன்பொருள் சந்தை முழுவதும் எங்கள் சமீபத்திய AI வளர்ச்சிகள் கவரேஜின் ஒரு பகுதியாக இந்த சிப் செய்தி உள்ளது.

புதிய சில்லுகள் என்ன செய்கின்றன

TPU 8i Max ஒரு தொகுப்பில் இரண்டு 8i சில்லுகளை வைத்து, அசல் 8i இன் கம்ப்யூட், SRAM மற்றும் உயர் அலைவரிசை நினைவக அலைவரிசையை இரட்டிப்பாக்குகிறது. வடிவமைப்பு நீண்ட-சூழல் முகவர் வேலையை குறிவைக்கிறது - AI முகவர்கள் பல-படி பணிகளில் மிகப் பெரிய வேலை சூழல்களைக் கொண்டு செல்லும் காட்சிகள்.

டாம்ஸ் ஹார்டுவேர், கூகிள் மெமரி வால் என்று அழைக்கும் அலைவரிசையை இரட்டிப்பாக்குகிறது, இது "ஒரு முழு மென்பொருள் கோட்பேஸ் முழுவதும் டஜன் கணக்கான AI முகவர்கள் ஒன்றாக வேலை செய்யும் போது" கடுமையான அலைவரிசை இடையூறாக மாறும். பெரிய சூழல் சாளரங்கள் - சுமார் 1 மில்லியன் டோக்கன்களை இலக்காகக் கொண்ட பெரிய மாடல்கள் - பெரிய KV தற்காலிக சேமிப்புகள், ஓரளவு SRAM இல் வைக்கப்படுகின்றன, மேலும் உருவாக்கப்படும் ஒவ்வொரு புதிய டோக்கனும் நினைவகத்திலிருந்து அந்த தற்காலிக சேமிப்பைப் படிக்க வேண்டும். ஒரே தொகுப்பில் HBM அலைவரிசையை இரட்டிப்பாக்குவது அந்தத் தடையைத் துல்லியமாகத் தாக்குகிறது, மேலும் இது சூழலுக்கான சேமிப்பக அடுக்குடன் டிகோடிங்கிற்கான இரண்டாவது சிப் வகையை இணைப்பதற்கான என்விடியாவின் அணுகுமுறையிலிருந்து வேறுபட்ட பாதை என்று வெளியீடு குறிப்பிட்டது.

TPU 8tx, இதற்கிடையில், முன்னர் அறிவிக்கப்பட்ட பயிற்சி-சார்ந்த 8t போன்ற அதே சிலிக்கானில் கட்டமைக்கப்பட்டுள்ளது, ஆனால் ரகசியக் கணினிக்காக கட்டமைக்கப்பட்டுள்ளது: ஒழுங்குபடுத்தப்பட்ட நிறுவனங்கள் மற்றும் அரசாங்கங்களுக்கான வன்பொருள்-தனிப்பட்ட அனுமானம், அவற்றின் தரவு மற்றும் மாதிரிகள் செயலாக்கத்தின் போது பாதுகாக்கப்படுகின்றன. 5வது ஜெனரல் AMD EPYC செயலிக்கு 8t மற்றும் 8i பயன்படுத்திய ஆர்ம்-அடிப்படையிலான Axion ஹோஸ்ட் CPUகளை இந்த அமைப்பு மாற்றுகிறது மற்றும் Google இன் போர்டுஃபிளை நெட்வொர்க்கிங்கை ஏற்றுக்கொள்கிறது.

குறிப்பிடத்தக்க வகையில், Google இன்னும் விரிவான விவரக்குறிப்புகள், விலைகள் அல்லது ஒரு புதிய அமைப்புக்கான கப்பல் தேதிகளை பகிர்ந்து கொள்ளவில்லை, எனவே வாங்குபவர்கள் தற்போது ஆர்டர் செய்யக்கூடிய தயாரிப்புகளை விட ரெண்டரிங் மற்றும் பொருத்துதல் ஆகியவற்றைக் கொண்டுள்ளனர்.

கூகுள் அறிவிப்புடன் வெளியிடப்பட்ட ரெண்டரிங்கில், நான்கு சில்லுகள் கொண்ட TPU 8tx போர்டு, நான்கு TPU 8i மேக்ஸ் போர்டுகளுடன், ஒவ்வொன்றும் ஒரே தொகுப்பில் இரண்டு சில்லுகளை எடுத்துச் செல்லும் - எட்டாவது தலைமுறை குடும்பம் முந்தைய தலைமுறைகளின் ஒரு சிப்-அனைத்து முடுக்கி மாதிரியிலிருந்து எவ்வளவு தூரம் விலகியிருக்கிறது என்பதற்கான இயற்பியல் விளக்கம்.

TPU ஒத்திசைவு: முகவர் நினைவகத்திற்கான மென்பொருள் அடுக்கு

சிலிக்கானுடன், முகவர்-நினைவக சிக்கலைத் தீர்க்க கூகிள் மென்பொருளில் சாய்ந்து கொண்டிருக்கிறது. TPU ஒத்திசைவு என்பது ஒரு திறந்த மூல "TPU கிளஸ்டர்களுக்கான மாடல்-ஸ்டேட் லேயர்" ஆகும், இது சிப்பில் இருந்து பாரிய KV கேச்களை தானாக அடுக்கி, DRAM ஐ ஹோஸ்ட் செய்ய கீழே நகர்த்துகிறது மற்றும், சோதனை ரீதியாக, பகிரப்பட்ட சேமிப்பிடமாகும்.

கூகிளின் கூற்றுப்படி, இது KV-கேச் பரிமாற்ற தாமதத்தை 90% க்கும் அதிகமாக குறைக்கலாம், நேரத்திலிருந்து முதல் டோக்கனில் தொடர்புடைய ஆதாயங்களுடன் - AI அமைப்பு பதிலளிக்கத் தொடங்கும் முன் ஒரு பயனர் அனுபவிக்கும் தாமதம். ஏஜென்டிக் பணிச்சுமைகளுக்கு, ஒரு அமர்வில் டஜன் கணக்கான தொடர் மாதிரி அழைப்புகள் இருக்கலாம், ஒவ்வொன்றும் ஒரே திரட்டப்பட்ட சூழலுக்கு அணுகல் தேவை, கேச் மேலாண்மை மூலக் கணக்கீடு போலவே முக்கியமானது.

AI வன்பொருள் சந்தைக்கு இது ஏன் முக்கியமானது

கூகிளுக்கு TPUகள் வேகமாக வளர்ந்து வரும் வணிகமாக மாறியுள்ளன, இது சில்லுகளுக்கு கிட்டத்தட்ட 100 வாடிக்கையாளர்களைக் கோருகிறது - மெட்டா உட்பட, அதன் தரவு மையங்களில் Google TPUகளை ஏற்றுக்கொண்டது என்விடியாவின் எல்லைக்குள் மிக முக்கியமான போட்டி ஊடுருவல்களில் ஒன்றாகும். எட்டாவது தலைமுறை குடும்பத்துடன் கூகுள் எடுத்துக்கொண்டிருக்கும் மிகவும் மட்டுப்படுத்தப்பட்ட அணுகுமுறை, வாடிக்கையாளர்களின் வளர்ச்சிக்கு உதவும் சிறப்பு அமைப்புகளை "வருடங்களை விட சில மாதங்களில்" வழங்க அனுமதிக்கிறது என்று நிறுவனம் கூறுகிறது.

அறிவிப்பின் நேரம் வியக்க வைக்கிறது. கூகுளின் சிப் விரிவாக்கம் அதே நாளில் என்விடியா தலைமை நிர்வாக அதிகாரி ஜென்சன் ஹுவாங் ராஜினாமா செய்ததாக அறிவித்தது, CFO Colette Kress இடைக்கால தலைமை நிர்வாக அதிகாரியாக நியமிக்கப்பட்டார் - இது GPUகள் சந்தையில் ஆதிக்கம் செலுத்தும் நிறுவனத்தில் ஒரு அசாதாரண தலைமைத்துவ சீர்குலைவு Google இன் TPU கள் சிப்பிங் ஆகும். இரண்டு நிகழ்வுகளும் காரணத்தினால் தொடர்பில்லாதவை, ஆனால் AI உள்கட்டமைப்பு சந்தை எவ்வளவு போட்டித்தன்மையுடன் மற்றும் எவ்வளவு நிலையற்றதாக மாறியுள்ளது என்பதை அவை ஒன்றாகக் கோடிட்டுக் காட்டுகின்றன.

AI உள்கட்டமைப்பை மதிப்பிடும் நிறுவனங்களுக்கு, தேர்வுத் தொகுப்பு விரிவடைகிறது என்பதற்கான சமிக்ஞை: பயிற்சி-உகந்த சிலிக்கான், பொது அனுமானம், ஒழுங்குபடுத்தப்பட்ட தரவுகளுக்கான பாதுகாப்பான அனுமானம் மற்றும் முகவர் கடற்படைகளுக்கான அதிகபட்ச அலைவரிசை தொகுப்புகள் ஒரு அளவு-பொருத்தமான-அனைத்து முடுக்கிகளைக் காட்டிலும் தனித்துவமான தயாரிப்பு வகைகளாக மாறி வருகின்றன. கூகுள் விலை மற்றும் கிடைக்கும் விவரங்களை வெளியிடும் போது, ​​8i மேக்ஸின் இரட்டிப்பான அலைவரிசையானது, நிலையான 8i வரிசைப்படுத்தல்களை விட பிரீமியத்தை நியாயப்படுத்த, ஏஜென்டிக் ஃப்ளீட்களுக்கு போதுமான செயல்திறனாக மொழிபெயர்க்கப்படுமா என்பது வாங்குபவர்களின் நடைமுறை கேள்வியாக இருக்கும்.

மாடுலாரிட்டி சப்ளை பக்க தர்க்கத்தையும் கொண்டுள்ளது. முழு வன்பொருள் அடுக்கின் மூலம் அடுத்த தலைமுறை வடிவமைப்பிற்காக பல ஆண்டுகள் காத்திருப்பதற்குப் பதிலாக, Google ஏற்கனவே உள்ள சிலிக்கானை மீண்டும் ஒருங்கிணைக்க முடியும் - 8t சிலிக்கானை வேறு ஹோஸ்ட் CPU உடன் பாதுகாப்பான-அனுமதி தொகுப்பாக நகர்த்தியது போல - அனைத்து வகைகளிலும் பொதுவான மென்பொருள் அடுக்கை வைத்து, முக்கிய பகுதிகளை விரைவாக அடையலாம். வாடிக்கையாளர் தேவைகள் காலாண்டுக்கு ஒருமுறை மாறும் சந்தையில் அந்த வேகம் ஒரு போட்டி ஆயுதமாகும்.

---

AIக்கு முன்னால் இருங்கள்

சமீபத்திய AI செய்திகள், பகுப்பாய்வு மற்றும் முன்னேற்றங்கள் - அனைத்தையும் ஒரே இடத்தில் பெறுங்கள்.

மேலும் AI செய்திகளைப் படிக்கவும் →