ஜெர்மன் AI நிறுவனமான அலெஃப் ஆல்பா, கொலிப்ரியை வெளியிட்டது, இது ஜெர்மன் மற்றும் ஆங்கிலத்திற்கு அடித்தளத்திலிருந்து கட்டமைக்கப்பட்ட ஒரு திறந்த-எடை-நிபுணர்களின் மொழி மாதிரி. மாடல் 78.1 பில்லியன் மொத்த அளவுருக்களைக் கொண்டுள்ளது, ஆனால் ஒரு டோக்கனுக்கு 3.46 பில்லியனை மட்டுமே செயல்படுத்துகிறது - சுமார் 4.4 சதவீதம் - மற்றும் ஹக்கிங் ஃபேஸில் அனுமதிக்கப்பட்ட Apache 2.0 உரிமத்தின் கீழ் அனுப்பப்படுகிறது. இது 1,048,576 சூழல் டோக்கன்கள் வரை ஏற்றுக்கொள்கிறது மற்றும் பயனர்கள் ஒரு கோரிக்கைக்கு நியாயமான முயற்சியை அமைக்க அனுமதிக்கிறது. திறந்த எடை சுற்றுச்சூழல் அமைப்பைக் கண்காணிக்கும் வாசகர்களுக்கு, இது எங்கள் சமீபத்திய AI வளர்ச்சிகள் உடன் இணைக்கப்பட்டுள்ளது.

Aleph Alpha தனது சந்தையை எங்கு பார்க்கிறது என்பது பற்றிய வேண்டுமென்றே வெளியிடப்பட்ட அறிக்கை: பொது நிர்வாகம், தொழில்துறை மற்றும் விண்வெளி போன்ற ஒழுங்குபடுத்தப்பட்ட துறைகளில் இறையாண்மை வரிசைப்படுத்தல், அங்கு ஒரு மாதிரி எங்கு பயிற்சி பெற்றது, எந்த தரவு மற்றும் எந்த சட்ட கட்டமைப்பின் கீழ் இருப்பது நல்லது அல்ல, ஆனால் கொள்முதல் தேவை.

உண்மையில் கோலிப்ரி என்றால் என்ன

தொழில்நுட்பப் பொருட்களில் கோலிப்ரி-1 என குறிப்பிடப்படும் கோலிப்ரி, இருமொழி ஆங்கிலம்-ஜெர்மன் MoE டிரான்ஸ்பார்மர் ஆகும், இது ஜெர்மனியில் உள்ள அணிகளால் இறுதியில் உருவாக்கப்பட்டதாக அலெஃப் ஆல்பா கூறுகிறார். நிறுவனத்தின் தொழில்நுட்ப ஆராய்ச்சி அறிக்கையின்படி, குழு முழு பைப்லைனைக் கட்டுப்படுத்தியது - தரவு, கட்டிடக்கலை, பயிற்சி உள்கட்டமைப்பு, பயிற்சிக்குப் பிந்தைய மற்றும் மதிப்பீடு - மற்றொரு ஆய்வகத்தின் சோதனைச் சாவடியிலிருந்து தொடங்குவதற்குப் பதிலாக.

ஜெர்மனி மற்றும் பின்லாந்தில் உள்ள உள்கட்டமைப்பு குறித்து பயிற்சி நடத்தப்பட்டது. வடிவமைப்பு செயல்முறையானது EU பொது-நோக்கம் AI நடைமுறைக் குறியீடு, EU AI சட்டம் மற்றும் GDPR ஆகியவற்றுடன் இணங்குவதை வெளிப்படையாக இலக்காகக் கொண்டது, மேலும் அலெஃப் ஆல்பா அந்தக் குறியீட்டில் கையொப்பமிட்டவர். நிறுவனம் தனது தரவுக் குழாய் பயிற்சிக்கு முன் தனிப்பட்ட தரவை மறுபரிசீலனை செய்கிறது, இது பொதுத்துறை வாங்குபவர்களை நேரடியாக நோக்கமாகக் கொண்டது, அவர்கள் குடிமக்களின் தரவை சட்டப்பூர்வமாக தெளிவற்ற ஆதாரங்களின் மாதிரிகளாக மாற்ற முடியாது.

இது ஒரு GPU இல் இயங்குகிறது

வரிசைப்படுத்துதல் என்பது ஒரு வடிவமைப்புக் கட்டுப்பாடு என்பது தெளிவாகத் தெரிந்ததே தவிர, பின் சிந்தனை அல்ல. FP8 சோதனைச் சாவடி தோராயமாக 78ஜிபி எடையுடையது மற்றும் ஒரு NVIDIA B200, B300, அல்லது H200 - அல்லது இரண்டு H100 SXM5 GPU களில் - vLLM மூலம் பிரத்யேக கோலிப்ரி பகுத்தறிவு மற்றும் டூல்-கால் பார்சர்களுடன் இயங்குகிறது. 78-பில்லியன் அளவுரு மாதிரிக்கு, இது ஒரு சாதாரண வன்பொருள் தடம், மேலும் இது ஸ்பேஸ் MoE வடிவமைப்பின் நேரடிப் பலன்: ஒரு டோக்கனுக்கு 3.46 பில்லியன் அளவுருக்கள் மட்டுமே செயலில் இருப்பதால், அனுமானச் செலவு மொத்தத்தை விட செயலில் உள்ள அளவுரு எண்ணிக்கையைக் கண்காணிக்கிறது.

அரிதான நிபுணர்கள் மற்றும் கலப்பின கவனம்

ஹூட்டின் கீழ், கோலிப்ரி 2,560 மாதிரி அகலத்துடன் 50 மின்மாற்றி தொகுதிகளை அடுக்கி வைக்கிறது. ஒவ்வொரு MoE லேயரும் சிக்மாய்டு ரூட்டர் மூலம் அனைத்து 384 வழித்தட நிபுணர்களுக்கும் மதிப்பெண்களை வழங்குகிறது, ஒவ்வொரு டோக்கனையும் முதல் 6 பேருக்கு அனுப்புகிறது, மேலும் எப்போதும் 1 பகிரப்பட்ட நிபுணரை அவர்களுடன் இயக்குகிறது. அகரவரிசை-சூப் பெயர்களைக் கொண்ட இரண்டு நுட்பங்களைப் பயன்படுத்தி நிபுணர் சுமை சமநிலைப்படுத்தப்படுகிறது - துல்லியமான அளவு சமநிலை மற்றும் சுமை-எரர் ஊசி - இது ஒரு சில நிபுணர்களின் மீது அனைத்து போக்குவரத்தையும் சரிவடையாமல் தடுக்கிறது.

கட்டிடக்கலை மிகவும் சுவாரஸ்யமாக இருக்கும் இடத்தில் கவனம். கோலிப்ரி 48 வினவல் தலைகள் மற்றும் 4 KV தலைகள் கொண்ட குழுவான-வினவல் கவனத்தைப் பயன்படுத்துகிறது, ஆனால் அடுக்குகள் ஒரே மாதிரியாக இல்லை: ஒவ்வொரு ஐந்தாவது தொகுதியும் நிலை குறியாக்கம் இல்லாமல் முழு கவனத்தையும் பயன்படுத்துகிறது, மற்ற 40 தொகுதிகள் RoPE உடன் 512 முந்தைய டோக்கன்களில் நெகிழ்-சாளர கவனத்தைப் பயன்படுத்துகின்றன. நடைமுறை விளைவு நினைவக செயல்திறன் - நெகிழ் சாளர அடுக்குகள் நிலையான அளவு KV தற்காலிக சேமிப்பை வைத்திருக்கின்றன, எனவே 50 அடுக்குகளில் 10 மட்டுமே சூழல் நீளத்துடன் வளரும். பொருத்தப்பட்ட கணக்கீட்டில், கலப்பின வடிவமைப்பு சமமான முழு-கவனம் மாதிரியை விட நான்கு மடங்கு நீளமான காட்சிகளை ஆதரிக்கிறது என்று Aleph Alpha தெரிவிக்கிறது. இந்த அளவின் மாதிரியானது கவர்ச்சியான உள்கட்டமைப்பு இல்லாமல் ஒரு மில்லியன் டோக்கன் சூழல் சாளரத்தைக் கோருகிறது.

ஜெர்மன் மொழிக்காக உருவாக்கப்பட்ட ஒரு டோக்கனைசர்

பெரும்பாலான எல்லைப்புற டோக்கனைசர்கள் ஜேர்மனியை ஒரு பின் சிந்தனையாகக் கருதுகின்றன, அதன் நீண்ட கலவை வார்த்தைகளை டோக்கன் எண்ணிக்கை மற்றும் பயனுள்ள செலவுகளை உயர்த்தும் துண்டுகளாகப் பிரிக்கின்றன. Aleph Alpha இதை UniBPE உடன் நேரடியாகத் தாக்கினார், இது 128,000-டோக்கன் சொற்களஞ்சியம் BPE செய்யும் விதத்தை உருவாக்குகிறது, ஆனால் Unigram இழப்பின் மூலம் ஒவ்வொன்றையும் ஒன்றிணைக்கிறது.

எண்கள் வழக்கை உருவாக்குகின்றன. ஜெர்மன் உரையில், கோலிப்ரியின் டோக்கனைசர் ஒரு டோக்கனுக்கு 4.90 பைட்டுகளை எட்டும், GPT-5 டோக்கனைசருக்கு 4.35 - அதாவது ஜெர்மன் வலை உரையில் 11.2 சதவீதம் குறைவான டோக்கன்கள். ஆங்கிலத்தில், கோலிப்ரி உண்மையில் GPT-5 இன் 4.67க்கு எதிராக ஒரு டோக்கனுக்கு 4.58 பைட்டுகள் என்ற அளவில் வருகிறது. டோக்கன் மூலம் பணம் செலுத்தும் நிறுவன வாடிக்கையாளர்களுக்கு, இது ஒவ்வொரு ஜெர்மன் மொழி பணிச்சுமைக்கும் நேரடி தள்ளுபடியாகும்.

எல்லை அளவில் பயிற்சி

கோலிப்ரிக்கு பின்னால் நடத்தப்படும் பயிற்சி கணிசமானது. முன் பயிற்சி 768 NVIDIA B200 GPUகளில் 20 டிரில்லியன் டோக்கன்களை உள்ளடக்கியது, அதைத் தொடர்ந்து 65,536-டோக்கன் வரிசை நீளத்தில் 3.44 டிரில்லியன் நடுப் பயிற்சி டோக்கன்கள். பைப்லைன் பின்னர் மேற்பார்வையிடப்பட்ட ஃபைன்-டியூனிங் மற்றும் வலுவூட்டல் கற்றல் நிலைகள் வழியாக இறுதி அறிவுறுத்தல்-பின்வரும், பகுத்தறிவு திறன் கொண்ட மாதிரியை உருவாக்கியது. நிறுவனம் ஒரு தொழில்நுட்ப ஆராய்ச்சி அறிக்கையை வெளியிட்டது, செயல்முறையை உள்ளடக்கியது, ஒரு ஐரோப்பிய ஆய்வகத்திற்கான அசாதாரண அளவிலான வெளிப்படுத்தல் மற்றும் ஒழுங்குபடுத்தப்பட்ட வாடிக்கையாளர்களுடன் நம்பிக்கையை வளர்ப்பதை தெளிவாக நோக்கமாகக் கொண்டுள்ளது.

ஐரோப்பாவின் AI உந்துதலுக்கான அர்த்தம்

அமெரிக்க மற்றும் சீன ஆய்வகங்களில் இருந்து திறந்த எடை வெளியீடுகள் உரையாடலில் ஆதிக்கம் செலுத்தும் சந்தையில் கோலிப்ரி நுழைகிறது, மேலும் ஐரோப்பிய அரசாங்கங்கள் டிஜிட்டல் இறையாண்மை பற்றி பெருகிய முறையில் குரல் கொடுத்துள்ளன. அலெஃப் ஆல்பாவின் பந்தயம் என்னவென்றால், அந்த சந்தையின் ஒரு பகுதி - அமைச்சகங்கள், பாதுகாப்பு-அருகிலுள்ள தொழில்துறை, முக்கியமான உள்கட்டமைப்பு - வெறும் திறந்த எடையுடன் இல்லாமல், அதன் தரவு கையாளுதல், பயிற்சி இடம் மற்றும் சட்டப்பூர்வ தோரணையில் சரிபார்க்கக்கூடிய ஐரோப்பிய மாதிரிக்கு பணம் செலுத்தும்.

அந்த பந்தயம் பலனளிக்குமா என்பது, வெளியீடு இன்னும் பதிலளிக்காத கேள்விகளைப் பொறுத்தது: நிலையான மதிப்பீடுகளில் எல்லைப்புற திறந்த மாதிரிகளுக்கு எதிராக கோலிப்ரி வரையறைகளை எவ்வாறு உருவாக்குகிறது மற்றும் அதைச் சுற்றியுள்ள கருவிகளின் சுற்றுச்சூழல் அமைப்பு எவ்வளவு விரைவாக உருவாகிறது. இந்த வெளியீடு நிறுவுவது என்னவென்றால், ஒரு முழு-அடுக்கு, எல்லை-அருகிலுள்ள பயிற்சி திறன் இப்போது ஐரோப்பிய ஒன்றியத்திற்குள் உள்ளது, அதற்கான ஆவணங்களுடன். GDPR மற்றும் AI சட்டத்திற்கு கட்டுப்பட்ட நிறுவனங்களுக்கு, லீடர்போர்டு நிலைகளை விட அந்த கலவை முக்கியமானதாக இருக்கலாம்.

---

AIக்கு முன்னால் இருங்கள்

சமீபத்திய AI செய்திகள், பகுப்பாய்வு மற்றும் முன்னேற்றங்கள் - அனைத்தையும் ஒரே இடத்தில் பெறுங்கள்.

மேலும் AI செய்திகளைப் படிக்கவும் →