அமேசான் ஓப்பன் சோர்ஸ் டார்ச் நியூரான், என்விடியாவின் CUDA க்கு சவாலாக AWS டிரெய்னியத்திற்கு நேட்டிவ் பைடார்ச் ஆதரவைக் கொண்டுவருகிறது

அமேசான் TorchNeuron, அதன் Trainium குடும்ப AI சில்லுகளுக்கான திறந்த மூல சொந்த PyTorch பின்தளத்தை அறிவித்துள்ளது, இது இயந்திர கற்றல் பணிச்சுமைகளுக்கு தனிப்பயன் சிலிக்கானைப் பயன்படுத்துவதற்கான மிகப்பெரிய நடைமுறை தடைகளில் ஒன்றை நீக்குகிறது. அக்டோபர் 20 அன்று PyTorch மாநாட்டிற்கு முன்னதாக வெளியிடப்பட்ட PyTorch வலைப்பதிவின் அதிகாரப்பூர்வ இடுகையின்படி, டெவலப்பர்கள் தனியுரிம கருவியைச் சுற்றி தங்கள் பணிப்பாய்வுகளை மீண்டும் எழுதுவதற்குப் பதிலாக, தற்போதுள்ள PyTorch மாதிரிக் குறியீட்டை Trainium இல் ஒற்றை வரி மாற்றத்துடன் இயக்கலாம்.

இந்த அறிவிப்பு உடனடி கவனத்தை ஈர்த்தது, ஏனெனில் ஆய்வாளர்கள் நீண்டகாலமாக என்விடியாவின் மிக நீடித்த நன்மை என விவரித்ததை குறிவைத்தது: ரா சிப் செயல்திறன் அல்ல, ஆனால் அதன் GPU களுடன் டெவலப்பர்களை இணைக்கும் CUDA மென்பொருள் சுற்றுச்சூழல் அமைப்பு. அமேசான் அதன் AI சில்லுகள் AI இல் மிகவும் பிரபலமான மேம்பாட்டு கட்டமைப்புடன் வேலை செய்யும் என்று ராய்ட்டர்ஸ் இந்த வெளியீட்டை வடிவமைத்துள்ளது, அதே நேரத்தில் TechCrunch TorchNeuron ஐ என்விடியாவில் நிறுவனத்தின் மிகப்பெரிய ஷாட் என்று அழைத்தது. முடுக்கி சந்தை எவ்வாறு மாறுகிறது என்பதைப் பற்றிய விரிவான பார்வைக்கு, எங்களின் தற்போதைய AI வன்பொருள் செய்தித் தகவல் இந்த முன்னேற்றங்கள் வெளிப்படும்போது அவற்றைக் கண்காணிக்கும்.

TorchNeuron உண்மையில் என்ன மாறுகிறது

TorchNeuron இன் முக்கிய வாக்குறுதி எளிமை. PyTorch வலைப்பதிவில் வெளியிடப்பட்ட எடுத்துக்காட்டில், `.to('neuron')` உடன் மாடலை புதிய சாதனத்திற்கு நகர்த்துவதைத் தவிர வேறெதுவும் இல்லாமல், Trainium இல் ஏற்கனவே உள்ள பயிற்சி வளையம் இயங்குகிறது. `torch.accelerator`க்கு எதிராக எழுதப்பட்ட குறியீடு, PyTorch இன் பரிந்துரைக்கப்பட்ட சாதனம்-அஞ்ஞான API, இடுகையின் படி, மாற்றப்படாமல் இயங்குகிறது. தொகுக்கப்பட்ட பணிச்சுமைகளுக்கு, டெவலப்பர்கள் இயல்புநிலை பின்தளத்தை ஒரு முறை `torch.compiler.set_default_backend("neuron")` உடன் அமைத்து, பின்னர் எந்த மாற்றமும் இல்லாமல் `model.compile()` ஐ அழைக்கவும்.

ஹூட்டின் கீழ், TorchNeuron தனிப்பயன் வன்பொருள் பின்தளங்களுக்கான PyTorch இன் அதிகாரப்பூர்வ நீட்டிப்பு புள்ளியான PrivateUse1 மூலம் Trainium ஐப் பதிவுசெய்கிறது, அதாவது சிப் கட்டமைப்பில் இணைக்கப்பட்ட ஒரு பிற்சேர்க்கைக்கு பதிலாக நிலையான PyTorch சாதனமாக செயல்படுகிறது. AWS பல செயல்படுத்தல் முறைகளை உள்ளடக்கிய ஒருங்கிணைப்பை விவரிக்கிறது:

• ஆவலுடன் செயல்படுத்துதல் ஆராய்ச்சி மற்றும் பிழைத்திருத்தம், ஒரு சோதனை "அடாப்டிவ் ஆவல் மோட்" மூலம் வெளியீட்டு மேல்நிலையைக் குறைக்கிறது

• torch.compile உற்பத்தி செயல்திறனுக்காக, ஃப்ளெக்ஸ் அட்டென்ஷனுக்கான சொந்த ஆதரவுடன், நியூரான் கம்பைலர் மேம்படுத்தும் வரைபடங்களாக மாடல்களைப் பிடிக்கிறது

• The Neuron Kernel Interface (NKI) தனிப்பயன், குறைந்த-நிலை கர்னல்கள் தேவைப்படும் ஆராய்ச்சியாளர்களுக்கு

அறிவிப்பின்படி, Trainium2 மற்றும் புதிய Trainium3 சில்லுகள் இரண்டிலும் பின்தளம் வேலை செய்கிறது.

என்விடியாவின் மென்பொருள் மோட்டில் நேரடி வேலைநிறுத்தம்

AI கம்ப்யூட்டிங்கில் என்விடியாவின் பிடியானது வேகமான வன்பொருளில் மட்டும் தங்கியிருக்கவில்லை. நிறுவனத்தின் இரண்டு தசாப்தங்கள் பழமையான மென்பொருள் தளமான CUDA, பெரும்பாலான AI ஆராய்ச்சிக் குறியீடு எழுதப்பட்டு, டியூன் செய்யப்பட்டு, பயன்படுத்தப்படுகிறது, மேலும் AMD இன் இன்ஸ்டிங்க்ட் லைன் முதல் கூகுளின் TPUகள் மற்றும் Amazon's Trainium வரையிலான ஒவ்வொரு சவாலான சிப்பும் - டெவலப்பர்களை விட்டு வெளியேறச் சொல்லும் செலவைச் சமாளிக்க வேண்டியிருந்தது. GeekWire, Benzinga மற்றும் GuruFocus இல் TorchNeuron வெளியீட்டின் கவரேஜ், அந்த அகழியின் மீதான தாக்குதலாக அறிவிப்பை ஒரே மாதிரியாக வடிவமைத்தது.

அமேசான் டெவலப்பர்களை வெற்றிபெற PyTorch இலிருந்து வெளியேற்ற முயற்சிக்கவில்லை. அதற்கு பதிலாக, இது ட்ரெய்னியத்தை பைடார்ச்சிற்குள் கொண்டு வருகிறது, எனவே கட்டமைப்பின் மகத்தான பயனர் தளம் பழக்கத்தை மாற்றாமல் சிப்பைப் பின்பற்றலாம். PyTorch வலைப்பதிவு இடுகையில் மெட்டாவின் ஒப்புதல் அடங்கியுள்ளது, இது கட்டமைப்பைப் பராமரிக்கிறது: "AWS Trainium க்கான பூர்வீக ஆதரவு அந்தத் தேர்வை விரிவுபடுத்துகிறது, ஆராய்ச்சியாளர்கள் மற்றும் பொறியாளர்கள் தங்களுக்கு ஏற்கனவே தெரிந்த ஆர்வமுள்ள செயல்படுத்தல் மற்றும் விநியோகிக்கப்பட்ட APIகளைப் பயன்படுத்தி பரிசோதனை செய்து மீண்டும் மீண்டும் செய்ய உதவுகிறது," என Meta இல் PyTorch இன்ஜினியரிங் இயக்குனர் ஜானா வான் க்ரூனென் கூறினார்.

AWS இன் கிளவுட் வணிகத்திற்கு அந்த ஃப்ரேமிங் முக்கியமானது. பயிற்சி மற்றும் அனுமானத்திற்காக என்விடியா ஜிபியுக்களுக்கு குறைந்த விலை மாற்றாக டிரெய்னியம் நிகழ்வுகள் சந்தைப்படுத்தப்பட்டுள்ளன, மேலும் சிப்கள் ஏற்கனவே மார்க்யூ AI வாடிக்கையாளர்களை ஈர்த்துள்ளன. சில்லுகளை PyTorch க்கு சொந்தமாக உணர வைப்பது, பரந்த தத்தெடுப்பை மெதுவாக்கிய ஆட்சேபனையை நேரடியாக நிவர்த்தி செய்கிறது: போர்டிங் முயற்சி.

தொழில்நுட்ப நோக்கம், குறிப்பேடுகள் முதல் கிளஸ்டர் அளவிலான பயிற்சி வரை

PyTorch வலைப்பதிவில் பட்டியலிடப்பட்டுள்ள திறன்கள், அமேசான் பொழுதுபோக்கிற்கான சோதனைகளுக்கு அப்பாற்பட்ட இலக்கைக் கொண்டிருப்பதாகக் கூறுகின்றன. TorchNeuron ஆனது உரை, மல்டிமாடல், மற்றும் பார்வை-மொழி மாதிரிகள் மற்றும் படம் மற்றும் வீடியோ உருவாக்கம், மாநில விண்வெளி மாதிரிகள் மற்றும் உலக மாதிரிகள், BF16, FP32 மற்றும் FP16 துல்லியத்துடன் காணப்பட்ட ஆபரேட்டர் தொகுப்புகளை உள்ளடக்கியது; TorchAO மற்றும் FP8 ஆதரவு அடுத்த வெளியீட்டில் பொதுக் கிடைக்கும் முன் தனியார் பீட்டாவில் உள்ளன.

விநியோகிக்கப்பட்ட பயிற்சி, ஒற்றை-GPU குறியீட்டை கிளஸ்டர்-அளவிலான ரன்களாக மாற்றும் ஒழுங்குமுறை, நிலையான PyTorch APIகள் மூலம் ஆதரிக்கப்படுகிறது - DDP, FSDP2, SimpleFSDP, டென்சர் மற்றும் பைப்லைன் பேரலலிசம், மற்றும் பல பரிமாண செயல்முறை குழுக்களுக்கான DTensor மற்றும் DeviceMesh உடன் ZeRO-பாணி ஷார்டிங். ஸ்ட்ரீம்கள் மற்றும் நிகழ்வுகள் பைடார்ச்சின் சொற்பொருள்களை டிரெய்னியத்தின் ஹார்டுவேர் வரிசைகளில் வரைபடமாக்குகின்றன என்று அந்த இடுகை கூறுகிறது.

அனுமானத்திற்கு, அமேசானின் நியூரான் அடுக்குகள் அதே அடித்தளத்தில் உருவாக்கப்படுகின்றன: vLLM நியூரான் பெரிய மொழி மாதிரிகளை வழங்குகிறது, அதே நேரத்தில் vLLM ஆம்னி நியூரான் படம் மற்றும் வீடியோ உருவாக்கத்திற்கான பரவல் மாதிரிகளை வழங்குகிறது. நியூரான் கர்னல் இடைமுகமானது, ஆர்வமுள்ள மற்றும் தொகுக்கப்பட்ட செயல்பாட்டிற்காக தனிப்பயன் ஆபரேட்டர்களை எழுத ஆராய்ச்சியாளர்களை அனுமதிக்கிறது, மேலும் AWS என்பது திறந்த-மூல NKI-lib ஆகும், இது FlashAttention மற்றும் MoE பிளாக்வைஸ் கணக்கீடுகளை பிரதான LLM மற்றும் மல்டிமாடல் காட்சிகளுக்காக உள்ளடக்கிய டிரெய்னியம்-உகந்த கர்னல்களின் தொகுப்பாகும்.

செயல்திறன் கருவியும் சேர்க்கப்பட்டுள்ளது. நியூரான் எக்ஸ்ப்ளோரர் நிலையான `torch.profiler`ஐ கட்டமைப்பிலிருந்து வன்பொருளுக்குத் தடமறிவதற்கு விரிவுபடுத்துகிறது, ஒவ்வொரு நிகழ்வையும் அதன் மூலக் கோட்டுடன் இணைக்கிறது, மேலும் தானியங்கி இடையூறு பகுப்பாய்விற்காக முகவர்களால் இடுகைக் குறிப்புகளை உட்கொள்ளக்கூடிய பார்க்வெட்-வடிவமைக்கப்பட்ட அளவீடுகளை ஏற்றுமதி செய்யலாம்.

கிடைக்கும் மற்றும் அடுத்து என்ன

டார்ச் நியூரான் அதன் திறந்த மூல வெளியீட்டிற்காக அக்டோபர் 20 ஆம் தேதி வட அமெரிக்காவில் உள்ள பைடார்ச் மாநாட்டில் அமைக்கப்பட்டுள்ளது, வலைப்பதிவு இடுகையின் படி, இணக்கத்தன்மை ஹக்கிங் ஃபேஸ் டிரான்ஸ்ஃபார்மர்ஸ் v5 வரை நீட்டிக்கப்பட்டுள்ளது. AWS டிரெய்னியத்தை கிளவுட் அளவிலான AI பயிற்சி மற்றும் அனுமானத்திற்காக தரையில் இருந்து வடிவமைக்கப்பட்ட சிப்களின் போர்ட்ஃபோலியோ என்று விவரிக்கிறது.

மூலோபாய சூழல் என்பது ஒரு சந்தையாகும், இதில் ஒவ்வொரு பெரிய கிளவுட் வழங்குநரும் ஒரே நேரத்தில் என்விடியா முடுக்கிகளின் மிகப்பெரிய வாங்குபவர் மற்றும் போட்டியாளராக இருக்க வேண்டும். மைக்ரோசாப்ட், கூகுள் மற்றும் மெட்டா அனைத்தும் தனிப்பயன் சிலிக்கானை உருவாக்குகின்றன, மேலும் Huawei உள்ளிட்ட சீன நிறுவனங்கள் CUDA இன் ஈர்ப்பு விசையிலிருந்து தப்பிக்க தங்கள் சொந்த மென்பொருள் அடுக்குகளை உருவாக்குகின்றன. டெவலப்பர்களை இடம்பெயரச் சொல்வதை விட PyTorch க்குள் டெவலப்பர்களைச் சந்திப்பதன் மூலம், அமேசான் அந்தப் போட்டியில் குறைந்தபட்ச இடையூறு விளைவிக்கும் பாதையைத் தேர்ந்தெடுத்துள்ளது - மேலும் டெவலப்பர் அனுபவம் இருந்தால், Nvidia வன்பொருளில் இருந்து உண்மையான பயிற்சிப் பணிச்சுமைகளை நகர்த்துவதற்கான வாய்ப்பை அமேசான் தேர்வு செய்துள்ளது.

TorchNeuron உண்மையிலேயே CUDA இன் நன்மையை அழிக்கிறதா என்பது, அளவு மற்றும் நிஜ உலக மாடல்களின் நீண்ட வால் ஆகியவற்றின் செயல்திறன் சார்ந்தது, வெளியீட்டு பொருட்கள் பதிலளிக்காத கேள்விகளுக்கு. ஆனால் பெரும்பாலான PyTorch டெவலப்பர்கள் Trainium-ஐ முயற்சிப்பதில் இருந்து தடையாக இருந்தது - மீண்டும் எழுதப்பட்டது - இப்போது குறியீட்டின் ஒற்றை வரிக்கு குறைக்கப்பட்டுள்ளது.

---

AIக்கு முன்னால் இருங்கள்

சமீபத்திய AI செய்திகள், பகுப்பாய்வு மற்றும் முன்னேற்றங்கள் - அனைத்தையும் ஒரே இடத்தில் பெறுங்கள்.

மேலும் AI செய்திகளைப் படிக்கவும் →