திங்கிங் மெஷின்ஸ் லேப், முன்னாள் ஓபன்ஏஐ தலைமை தொழில்நுட்ப அதிகாரி மீரா முராட்டியால் நிறுவப்பட்ட ஆராய்ச்சி நிறுவனம், பெரிய மொழி மாதிரிகளை 4-பிட் துல்லியத்தில் எவ்வாறு பயிற்றுவிக்கிறது என்பது பற்றிய விரிவான தொழில்நுட்ப விளக்கத்தை வெளியிட்டுள்ளது - இது என்விடியாவின் புதிய தரவு மைய வன்பொருளில் முக்கிய வேகம் மற்றும் நினைவக சேமிப்பை திறக்கும் என்று நிறுவனம் கூறுகிறது.
"End-to-End 4-Bit Training" என்ற தலைப்பிலான வலைப்பதிவு இடுகை, நவம்பர் 13 அன்று நிறுவனத்தின் இணையதளத்தில் வெளியிடப்பட்டது, குறைந்த துல்லியமான பயிற்சிக்குப் பின்னால் உள்ள எண்ணியல் வர்த்தகம் மற்றும் அதன் Inkling 2 Small மாடலைப் பயிற்றுவிக்கும் போது குழு அவற்றை எவ்வாறு நிர்வகித்தது என்பதை விவரிக்கிறது. சமீபத்திய AI மேம்பாடுகளைப் பின்பற்றும் வாசகர்களுக்கு, ஒரு எல்லை அளவிலான பயிற்சிக்கு உண்மையில் எவ்வளவு செலவாகும் என்பதைத் தீர்மானிக்கும் பொறியியல் முடிவுகளைப் பற்றிய அரிய பொதுப் பார்வையை இடுகை வழங்குகிறது.
ஏன் குறைவான பிட்கள் என்றால் வேகமான பயிற்சி
ஒரு பெரிய மொழி மாதிரியைப் பயிற்றுவிப்பது என்பது எண்ணிலடங்கா எண்களைக் கணக்கிட்டு சேமிப்பதை உள்ளடக்கியது. ஒவ்வொரு மதிப்புக்கும் குறைவான பிட்களைப் பயன்படுத்துவது நினைவகப் பயன்பாட்டைக் குறைக்கிறது மற்றும் GPU கள் எண்கணிதத்தை வேகமாகச் செய்ய அனுமதிக்கிறது. செலவு துல்லியமானது: குறைவான பிட்கள் குறைவான பிரதிநிதித்துவ எண்களைக் குறிக்கும், எனவே மதிப்புகள் இன்னும் தீவிரமாக வட்டமிடப்பட வேண்டும்.
நிறுவனம் ஒரு எளிய உதாரணத்துடன் சிக்கலை விளக்குகிறது. ஒரு வடிவம் 3 மற்றும் 4 எண்களை மட்டுமே குறிக்கும் என்றால், 3.2 ஐச் சேமிக்க 3 க்கு ரவுண்டிங் செய்ய வேண்டும், 0.2 இன் அளவுப்படுத்தல் பிழையை அறிமுகப்படுத்துகிறது. ஒரு ஒற்றை ரவுண்டிங் பிழை அற்பமானது, ஆனால் பயிற்சியின் போது இந்த பிழைகள் அடுக்குகள் மற்றும் தேர்வுமுறை படிகள் முழுவதும் குவிந்து, அவை கற்றல் செயல்முறையிலேயே தலையிடலாம்.
"குறைந்த துல்லியமான பயிற்சியின் மைய சவால் இது: கற்றலில் குறுக்கிடும் பிழைகளை அறிமுகப்படுத்தாமல் வேகமான எண்கணிதத்திலிருந்து நாம் எவ்வாறு பயனடைவது?" நிறுவனம் இடுகையில் எழுதியது.
மூன்று வடிவங்கள், ஒரு பயிற்சி ஓட்டம்
ஒரு துல்லியமான நிலைக்குச் செல்வதற்குப் பதிலாக, திங்கிங் மெஷின்கள் பயிற்சியின் வெவ்வேறு நிலைகளில் மூன்று எண் வடிவங்களைப் பயன்படுத்துகின்றன: BF16, MXFP8 மற்றும் NVFP4. ஒவ்வொரு வடிவமைப்பிலும் நிலையான துல்லியம் உள்ளது, ஆனால் அதன் வேகம் அதை இயக்கும் வன்பொருளைப் பொறுத்தது.
நிறுவனம் என்விடியாவின் கிரேஸ் பிளாக்வெல் அல்ட்ரா இயங்குதளமான GB300 இல் பயிற்சியளிக்கிறது, இது குறிப்பாக NVFP4 இல் மேட்ரிக்ஸ் பெருக்கங்களை துரிதப்படுத்த வடிவமைக்கப்பட்டுள்ளது. இடுகையின் படி, GB300 கணினிகளில் 6 மடங்கு வேகமாக இயங்கும் போது NVFP4 BF16 ஐ விட 3.6 மடங்கு குறைவான பிட்களுடன் மதிப்புகளை சேமிக்கிறது. மூல செயல்திறன் அடிப்படையில், நிறுவனம் GB300 செயல்திறனை NVFP4 இல் தோராயமாக 15 PFLOPS, MXFP8 இல் 5 PFLOPS மற்றும் BF16 இல் 2.5 PFLOPS என பட்டியலிடுகிறது.
கேட்ச் என்னவெனில், NVFP4 இன் ஆக்கிரமிப்பு சுருக்கமானது பரந்த வடிவங்களைக் காட்டிலும் அதிக அளவு பிழையை அறிமுகப்படுத்துகிறது. அந்த பிழையானது பயிற்சியின் சில நிலைகளில் ஏற்றுக்கொள்ளக்கூடியது மற்றும் மற்றவற்றில் ஏற்றுக்கொள்ள முடியாதது, அதனால்தான் நிறுவனம் ஒவ்வொரு கட்டத்தையும் தனித்தனியாகக் கருதுகிறது.
வெவ்வேறு நிலைகள், வெவ்வேறு விதிகள்
வலைப்பதிவு இடுகை பயிற்சியை நான்கு நிலைகளாகப் பிரிக்கிறது - முன் பயிற்சியின் முன்னோக்கி மற்றும் பின்தங்கிய பாஸ்கள், வலுவூட்டல் கற்றல் மாதிரி மற்றும் RL பயிற்சியாளர் - மேலும் ஒவ்வொன்றுக்கும் பிழையைக் குறைத்தல், சார்புகளைக் குறைத்தல், வேகத்தை அதிகரிப்பது மற்றும் நினைவகப் பயன்பாட்டைக் குறைத்தல் ஆகியவற்றுக்கு இடையே வெவ்வேறு முன்னுரிமைகளின் சமநிலையை ஒதுக்குகிறது.
அதிக அளவு படிகளில் வேகம் மிகவும் முக்கியமானது: டிரில்லியன் கணக்கான டோக்கன்களுக்கு மேல் இயங்கும் முன் பயிற்சி மற்றும் பெரிய அளவிலான வெளியீடுகளை உருவாக்கும் RL மாதிரி. இருப்பினும், பின்தங்கிய பாஸ்கள் ஒரு சிறப்பு வழக்கு. ஒரு தொகுப்பில் உள்ள பல டோக்கன்களுக்கு மேல் பின்தங்கிய சராசரியை கடந்து செல்கிறது, இது தோராயமாக விநியோகிக்கப்பட்ட ரவுண்டிங் பிழைகளின் தாக்கத்தை நீர்த்துப்போகச் செய்கிறது - ஆனால் அவை அளவுப்படுத்தல் சார்புக்கு அதிக உணர்திறன் கொண்டவை, மதிப்புகள் தொடர்ந்து ஒரு திசையில் சுற்றும் போது ஏற்படும் முறையான சறுக்கல். சீரற்ற சத்தம் போலல்லாமல், அந்த சார்பு அடுக்குகள், மாதிரிகள் மற்றும் பயிற்சி படிகள் முழுவதும் கூட்டும்.
Apache 2.0 உரிமத்தின் கீழ் இந்த மாத தொடக்கத்தில் வெளியிட்ட திறந்த எடை கலவை மாடலான Inkling 2 Small க்கு பயிற்சியளிக்கும் போது இந்த வர்த்தக பரிமாற்றங்களை நிர்வகித்ததாக நிறுவனம் கூறுகிறது. ஓட்டத்தின் ஒவ்வொரு பகுதியும் 4 பிட்களில் இயங்கியதாக இடுகை கூறவில்லை; மாறாக, ஒவ்வொரு கூறுகளின் துல்லியமும் முன்னிருப்பாகப் பெறுவதற்குப் பதிலாக வேண்டுமென்றே தேர்ந்தெடுக்கப்பட்ட ஒரு இறுதி முதல் இறுதி உத்தியை விவரிக்கிறது.
ஏன் குறைந்த துல்லியமான பயிற்சி முக்கியமானது
இங்கே பொருளாதாரம் நேரடியானது. ஃபிராண்டியர் மாடல் மேம்பாட்டில் கம்ப்யூட் முக்கிய செலவாகும், மேலும் வன்பொருள் விற்பனையாளர்கள் ஒவ்வொரு புதிய சிப் தலைமுறைக்கும் குறைந்த-துல்லிய முடுக்கம் சேர்க்க பந்தயத்தில் ஈடுபட்டுள்ளனர். என்விடியா அதன் பிளாக்வெல் அல்ட்ரா பிளாட்ஃபார்மில் NVFP4 ஆதரவை ஒரு தலைப்பு அம்சமாக நிலைநிறுத்தியுள்ளது, மேலும் AMD, Google மற்றும் பிறவற்றின் போட்டி முடுக்கிகள் தங்களின் சொந்த குறைக்கப்பட்ட-துல்லிய வடிவங்களை விளம்பரப்படுத்துகின்றன.
ஆராய்ச்சி ஆய்வகங்கள் 4-பிட் எண்கணிதத்தில் அதிகமான பயிற்சிக் குழாய்களைப் பாதுகாப்பாகத் தள்ள முடிந்தால், அதே வன்பொருள் பட்ஜெட் அதிக சோதனைகள், அதிக டோக்கன்கள் அல்லது பெரிய மாதிரிகளை வாங்குகிறது. அதிநவீன முடுக்கிகளுக்கான அணுகல் பற்றாக்குறை மற்றும் விலையுயர்ந்த சந்தையில் இது ஒரு அர்த்தமுள்ள நன்மையாகும். இது அளவுப்படுத்தல்-விழிப்புணர்வு அனுமானம் மற்றும் ஊக டிகோடிங் போன்ற திறன் நுட்பங்களை நோக்கிய தொழில்துறையின் பரந்த உந்துதலைக் கூட்டுகிறது, இவை இரண்டும் நிலையான வன்பொருளிலிருந்து அதிக திறனைப் பிழிகின்றன.
இந்த இடுகை ஆராய்ச்சி சமூகம் எங்கு செல்கிறது என்பதற்கான சமிக்ஞையாகும். குறைந்த துல்லியமான பயிற்சி நீண்ட காலமாக அனுமானத்திற்கு அப்பாற்பட்ட எதற்கும் மிகவும் ஆபத்தானதாகக் கருதப்பட்டது, ஏனெனில் ரவுண்டிங் பிழைகள் கற்றலை சிதைப்பதாகக் கருதப்பட்டது. திங்கிங் மெஷின்கள் வெளியிடப்பட்டதைப் போன்ற கவனமாக கட்டம்-படி-நிலை பகுப்பாய்வு - அந்த அனுமானம் எவ்வாறு சோதிக்கப்படுகிறது மற்றும், முடிந்தால், தலைகீழாக மாற்றப்படுகிறது.
வலைப்பதிவு இடுகையிலிருந்து திறந்த எடைகள் வரை
வெளிப்படுத்தல் குறிப்பிடத்தக்கது என்னவென்றால், அது முற்றிலும் தத்துவார்த்தமானது அல்ல. நிறுவனம் இந்த நுட்பத்தை நேரடியாக அனுப்பிய மாதிரியுடன் இணைத்தது. Inkling 2 Small நவம்பர் தொடக்கத்தில் தரவிறக்கம் செய்யக்கூடிய எடையுடன் வெளியிடப்பட்டது, மேலும் புதிய இடுகை அதன் பயிற்சியின் பின்னணியில் உள்ள எண்ணியல் உத்தியை விளக்குகிறது. மாடலைப் பதிவிறக்கும் பயிற்சியாளர்கள், நிறுவனம் விவரிக்கும் குறைந்த-துல்லியமான முறையின் வேலைப் பொருளைப் பெறுகின்றனர்.
திங்கிங் மெஷின்கள் வழக்கத்திற்கு மாறாக எல்லைப்புற அளவிலான ஆய்வகத்திற்காக திறக்கப்பட்டு, அதன் மாதிரி வெளியீடுகளுடன் தொழில்நுட்ப வலைப்பதிவு இடுகைகளை வெளியிடுகின்றன. அந்த வெளிப்படைத்தன்மை வெளி ஆராய்ச்சியாளர்களுக்கு அரிதான ஒன்றை அளிக்கிறது: ஒரு நவீன பயிற்சி ஓட்டம் கலப்பு-துல்லியமான எண்கணிதத்தின் குழப்பமான எண் உண்மைகளை எவ்வாறு கையாளுகிறது என்பதற்கான ஆவணப்படுத்தப்பட்ட, மீண்டும் உருவாக்கக்கூடிய கணக்கு.
பரந்த தொழில்துறையைப் பொறுத்தவரை, 4-பிட் பயிற்சி ஆராய்ச்சி ஆர்வத்திலிருந்து உற்பத்தி நுட்பத்திற்கு நகர்ந்துள்ளது என்பதே செய்தி. பல ஆய்வகங்கள் இதேபோன்ற உத்திகளைப் பின்பற்றுவதால், கோட்பாட்டு வன்பொருள் உச்ச செயல்திறன் மற்றும் உணரப்பட்ட பயிற்சி செயல்திறன் ஆகியவற்றுக்கு இடையேயான இடைவெளி குறையும் - மற்றும் பயிற்சி திறன் மாதிரிகளின் விலை தொடர்ந்து குறையும்.
AIக்கு முன்னால் இருங்கள்
எல்லை மாதிரிகளுக்குப் பின்னால் உள்ள நுட்பங்கள் வாரந்தோறும் உருவாகின்றன. AI Buzz Wire ஐப் பின்தொடரவும் புலத்தை வடிவமைக்கும் ஆராய்ச்சி பற்றிய தெளிவான, ஆதாரமான அறிக்கையிடல்.
மேலும் AI செய்திகளைப் படிக்கவும் →
