செயற்கை நுண்ணறிவில் மிக வேகமாக வளர்ந்து வரும் செலவு சில்லுகளாக இல்லாமல் இருக்கலாம் - அது அவர்களுக்கு உணவளிக்கும் மின்சாரமாக இருக்கலாம். அக்டோபர் 12 அன்று, மிச்சிகன் பல்கலைக்கழகம், உலகின் ஆதிக்கம் செலுத்தும் AI கம்ப்யூட்டிங் நிறுவனமான NVIDIA, பெரிய மொழி மாதிரிகளைப் பயிற்றுவிப்பதற்காக NVIDIAவின் பரவலாகப் பயன்படுத்தப்படும் திறந்த மூல தளமான Megatron-LM இல் இரண்டு U-M ஆற்றல் சேமிப்புக் கருவிகளை எவ்வாறு சேர்ப்பது என்பதை மதிப்பீடு செய்வதாக அறிவித்தது. பல்கலைக்கழகத்தின் கூற்றுப்படி, மென்பொருளானது AI-யைப் பயிற்றுவிக்கத் தேவையான ஆற்றலை 50% வரை குறைக்கலாம் - பயிற்சி வேகம் அல்லது மாதிரி செயல்திறனை பாதிக்காமல்.
ஒரு ஆய்வகத்தின் வெளியீட்டுப் பதிவைத் தாண்டி செய்தி முக்கியமானது. Megatron-LM என்பது ஒரு முக்கிய ஆராய்ச்சிக் கோட்பேஸ் அல்ல: நிறுவனங்கள் அதை நேரடியாகவோ அல்லது தங்களின் தனிப்பட்ட, தனிப்பயனாக்கப்பட்ட பயிற்சி தளங்களுக்கு அடித்தளமாகவோ பயன்படுத்தலாம், மேலும் இது NVIDIAவின் முதன்மையான Nemotron மாடல்களைப் பயிற்றுவிக்கப் பயன்படும் தளமாகும், பயனர்கள் தங்கள் சொந்த வன்பொருளில் பதிவிறக்கம் செய்யலாம். U-M கருவிகள் அதை Megatron-LM ஆக மாற்றினால், ஒரு கல்வி ஆய்வகத்தில் உருவாக்கப்பட்ட திறன் மேம்பாடுகள் உலகின் AI பயிற்சி ஓட்டங்களில் பெரும் பங்காக பரவும். AIக்குப் பின்னால் உள்ள உள்கட்டமைப்பு பந்தயத்தின் தற்போதைய கவரேஜுக்கு, எங்கள் முகப்புப் பக்கத்தில் சமீபத்திய AI மேம்பாடுகளைப் பின்பற்றவும்.
கேரியஸ் மற்றும் பெர்சியஸ் உண்மையில் என்ன செய்கிறார்கள்
இரண்டு கருவிகளும் விநியோகிக்கப்பட்ட பயிற்சியில் வெவ்வேறு கழிவு மூலங்களைத் தாக்குகின்றன, மேலும் அவற்றின் சேமிப்பு அடுக்கையும்.
பெர்சியஸ்: செயலி வேகத்தை நிர்வகித்தல்
பெர்சியஸ் மிகைப்படுத்தப்பட்ட கணக்கீட்டைக் குறிப்பிடுகிறார். ஒரு பெரிய பயிற்சி ஓட்டத்தில், ஒவ்வொரு செயலியும் ஒவ்வொரு நொடியிலும் பயனுள்ள வேலையைச் செய்வதில்லை, ஆனால் அவை அனைத்தும் சக்தியைப் பெறுகின்றன. பயிற்சியின் ஒவ்வொரு புள்ளியிலும் கிடைக்கும் உண்மையான வேலையுடன் பொருந்தக்கூடிய செயலி வேகத்தை நிர்வகிப்பதன் மூலம், யு-எம் படி, பெர்சியஸ் AIக்கு பயிற்சி அளிக்கத் தேவையான ஆற்றலை 30% வரை குறைக்கிறது.
கேரியஸ்: கம்ப்யூட் மற்றும் தகவல்தொடர்புக்கான சிறந்த நேரம்
கேரியஸ் ஒரு நுட்பமான சிக்கலை குறிவைக்கிறார். நவீன மாடல்களைப் பயிற்றுவிப்பதற்கு நூற்றுக்கணக்கான முதல் ஆயிரக்கணக்கான செயலிகளை ஒருங்கிணைக்க வேண்டும், மேலும் பணியானது கணக்கீடு மற்றும் சிப்-டு-சிப் தொடர்பு ஆகியவற்றுக்கு இடையே பிளவுபடுகிறது. அந்த பயிற்சி மற்றும் தகவல் தொடர்புப் பணிகளுக்கு இடையே மிகவும் திறமையான நேரத்தையும் வளப் பகிர்வையும் கண்டுபிடிப்பதன் மூலம் கரேஸ் பயிற்சி ஆற்றலைக் கூடுதலாக 15% முதல் 30% வரை குறைக்கிறார் - ஒவ்வொன்றும் மற்றவருக்காகக் காத்திருக்காமல் சும்மா இருக்காமல் திட்டமிடுகிறது.
ஒன்றாக, பல்கலைக்கழகம் கூறுகிறது, கருவிகள் அதே பயிற்சி வேகம் மற்றும் இறுதி மாதிரி செயல்திறனை வழங்கும் போது AI க்கு பயிற்சி அளிக்க பயன்படுத்தப்படும் ஆற்றலில் பாதியை சேமிக்க முடியும். கேரியஸ் ஒரு சக மதிப்பாய்வு செய்யப்பட்ட முடிவு: ஜூலையில் இயங்குதளங்கள் வடிவமைப்பு மற்றும் செயல்படுத்தல் (OSDI) பற்றிய USENIX சிம்போசியத்தில் இந்த கருவி வழங்கப்பட்டது, இது கணினி ஆராய்ச்சிக்கான சிறந்த இடங்களில் ஒன்றாகும்.
ஏன் என்விடியாவின் ஆர்வம் உண்மையான கதை
கல்வித் திறன் ஆராய்ச்சி பொதுவாக உற்பத்திக்கான நீண்ட பாதையை எதிர்கொள்கிறது. இது எங்கு இறங்கியது என்பதன் காரணமாக இது வேறுபட்டிருக்கலாம். ஒரு முனைவர் பட்டம் பெற்ற மாணவர், Ruofan Wu, கடந்த கோடையில் NVIDIA இல் U-M மென்பொருளை Megatron-LM உடன் ஒருங்கிணைத்து இன்டர்ன்ஷிப்பின் ஒரு பகுதியாகக் கழித்தார் - அதாவது கருவிகள் ஒரு முன்மொழிவு அல்ல, ஆனால் NVIDIA இன் பயிற்சி அடுக்கிற்குள் செயல்படும் குறியீடு, இப்போது முறையான மதிப்பீட்டில் உள்ளது.
"மாதிரிகள் பெரிதாகி, அதிகமான மக்கள் மாடல்களைப் பயிற்றுவிக்க விரும்புவதால், AI ஆற்றல்-கட்டுப்படுத்தப்பட்டதாக மாறுகிறது, ஆனால் குறைந்த ஆற்றலைப் பயன்படுத்தி அதே பயிற்சி வேகத்தையும் செயல்திறனையும் நாம் அடைய முடியும்" என்று U-M இல் கணினி அறிவியல் மற்றும் பொறியியலில் முனைவர் பட்டம் பெற்ற மாணவர் வூ பல்கலைக்கழகத்தின் அறிவிப்பில் கூறினார். "மென்பொருள் மற்றும் வன்பொருள் மட்டத்தில் AI ஆற்றல் பயன்பாட்டை மேம்படுத்த நிறைய வாய்ப்புகள் உள்ளன, மேலும் இன்டர்ன்ஷிப்பின் மிகவும் பலனளிக்கும் பகுதிகளில் ஒன்று எனது ஆராய்ச்சியிலிருந்து உற்பத்தி அமைப்புகளில் யோசனைகளைக் கொண்டுவருவதற்கான வாய்ப்பாகும்," என்று அவர் மேலும் கூறினார்.
அந்த வார்த்தை - அதிகாரம் கட்டுப்படுத்தப்பட்ட - தொழில்துறையின் புதிய குறிச்சொல். முனைவர் பட்ட மாணவர்களான ஜெஃப் மா மற்றும் ஜே-வோன் சுங் மற்றும் இணை பேராசிரியர் மொஷரஃப் சௌத்ரி ஆகியோரையும் உள்ளடக்கிய U-M ஆராய்ச்சிக் குழு, NVIDIA உடன் ஒருங்கிணைப்பில் செயல்படுகிறது. குழுவின் கட்டமைப்பானது நேரடியானது: நூற்றுக்கணக்கான மற்றும் ஆயிரக்கணக்கான செயலிகளில் பயிற்சியை ஒருங்கிணைக்க மிகவும் திறமையான வழியைக் கண்டறிவதன் மூலம் குறைந்த ஆற்றல் மற்றும் செலவில் AI மிகவும் பயனுள்ள வேலையைச் செய்வதே குறிக்கோள்.
ஆற்றல் இப்போது முதல் தரக் கட்டுப்பாடு
எல்லைப் பயிற்சியின் அளவுதான் சதவீத சேமிப்பை மூலோபாய எண்களாக மாற்றுகிறது. மெட்டா இந்த வாரம் தனது புதிய மியூஸ் வொண்டர் மாதிரிகள் ப்ரோமிதியஸில் பயிற்சி பெற்றதாகக் கூறியது, இது ஜிகாவாட் அளவிலான தரவு மையமாக விவரிக்கிறது. ஒரு பயிற்சி பிரச்சாரம் அந்த அளவில் இயங்கும் போது, ஒரு சதவீத அளவிலான ஆற்றல் குறைப்பு ஒரு ரவுண்டிங் பிழை அல்ல; இது ஒரு பவர் பட்ஜெட்டுக்குள் ஒரு பயிற்சியை பொருத்துகிறதா இல்லையா என்பதற்கு இடையே உள்ள வித்தியாசம்.
பொருளாதாரம் இயற்பியலைப் பின்பற்றுகிறது. AI விரிவாக்கத்திற்கான கேட்டிங் ஆதாரங்களில் ஒன்றாக ஆற்றல் மாறியுள்ளது. பயிற்சி ஓட்டத்தின் மின்சாரக் கட்டணத்தை பாதியாகக் குறைக்கும் மென்பொருள் - ஏற்கனவே உள்ள வன்பொருளைப் பயன்படுத்தி - ஒவ்வொரு நிறுவனத்திற்கும் அதன் சொந்த மாதிரிகளைப் பயிற்றுவிப்பதற்கான கால்குலஸை மாற்றுகிறது, குறிப்பாக ஆற்றல் செலவுகள் கட்டுப்படுத்தும் சிறிய வீரர்களுக்கு.
இது AI ஐச் சுற்றியுள்ள சுற்றுச்சூழல் விவாதத்தையும் மறுவடிவமைக்கிறது. பொது விவாதத்தின் பெரும்பகுதி அனுமான ஆற்றலில் கவனம் செலுத்துகிறது - ஒவ்வொரு சாட்போட் வினவலாலும் பயன்படுத்தப்படும் சக்தி. ஆனால் பயிற்சி என்பது மிகப்பெரிய ஒற்றை ஆற்றல் தொகுதிகள் குவிந்திருக்கும் இடமாகும், மேலும் அதை பாதியாக குறைக்கும் சக மதிப்பாய்வு செய்யப்பட்ட, விற்பனையாளர்-அஞ்ஞான மென்பொருள் அணுகுமுறை வன்பொருள் வரைபடத்தை விட அரிதான ஒன்றை வழங்குகிறது: அடுத்த தரவு மையத்தை உருவாக்குவதை விட அடுத்த திறந்த மூல வெளியீட்டில் வரக்கூடிய செயல்திறன் ஆதாயங்கள்.
அடுத்து என்ன நடக்கும்
என்விடியா தனது திறந்த மூல பயிற்சி தளத்தில் மென்பொருளை எவ்வாறு சேர்ப்பது என்பதை மதிப்பீடு செய்து வருவதாக பல்கலைக்கழகம் கூறுகிறது. இது Megatron-LM இல் அனுப்பப்பட்டால், தொழில்துறையிலும் கல்வித்துறையிலும் கட்டமைப்பானது எவ்வளவு பரவலாகப் பயன்படுத்தப்படுகிறது என்பதைக் கருத்தில் கொண்டு தத்தெடுப்பு விரைவாக பரவக்கூடும். U-M குழுவின் பரந்த ஆராய்ச்சித் திட்டம், மென்பொருள் மற்றும் வன்பொருள் அடுக்கு முழுவதும் ஆற்றல் சேமிப்புகளைத் தொடர்ந்து தேடுகிறது - இது ஒரு சில ஆண்டுகளுக்கு முன்பு முக்கியமானதாகத் தோன்றி இப்போது விளையாட்டின் மையமாகத் தெரிகிறது.
