ஜெர்மன் கூட்டமைப்பு Soofi S, ஒரு திறந்த 30B மாடலை வெளியிடுகிறது, இது ஆங்கிலம் மற்றும் ஜெர்மன் தரவரிசைகளில் முதலிடம் வகிக்கிறது

ஜெர்மன் ஆராய்ச்சி நிறுவனங்கள் மற்றும் AI நிறுவனங்களின் கூட்டமைப்பு Soofi S 30B-A3B ஐ வெளியிட்டது, இது ஒரு திறந்த மொழி மாதிரியை முழுமையாக திறந்த மாதிரிகளில் ஆங்கிலம் மற்றும் ஜெர்மன் அளவுகோல்களில் அதிக மதிப்பெண்களை அடைகிறது என்று திட்டம் கூறுகிறது. ஜேர்மனியின் தேசிய AI சங்கமான KI Bundesverband ஆல் ஒருங்கிணைக்கப்பட்ட இந்த வெளியீடு, முனிச்சில் உள்ள Deutsche Telekom's Industrial AI Cloud இல் முழுமையாகப் பயிற்றுவிக்கப்பட்ட முதல் பெரிய மொழி மாடல்களில் ஒன்றாகும். [சமீபத்திய AI மேம்பாடுகளை] (https://aibuzzwire.news) கண்காணிக்கும் டெவலப்பர்களுக்கு, அசாதாரண செயல்திறன் மற்றும் கட்டிடக்கலையில் சுடப்பட்ட மொழிக் கவனம் ஆகியவற்றைக் காட்டிலும், மூல அளவிற்கே குறைவாகவே இந்த வெளியீடு குறிப்பிடத்தக்கது.

3.2 பில்லியன் செயலில் உள்ள அளவுருக்கள் மட்டுமே கொண்ட ஒரு கலப்பின வடிவமைப்பு

Soofi S என்பது நிபுணர்களின் (MoE) மாடலாக மொத்தம் 31.6 பில்லியன் அளவுருக்கள் உள்ளன, ஆனால் இது உருவாக்கப்பட்ட டோக்கனுக்கு சுமார் 3.2 பில்லியன் மட்டுமே செயல்படுத்துகிறது. இது வழக்கமான 30 பில்லியன் அளவுரு அடர்த்தியான மாடலை விட அதன் கணக்கீட்டுச் செலவை 3 பில்லியன் அளவுரு மாதிரிக்கு நெருக்கமாக வைக்கிறது, இது வெளிநாட்டு கிளவுட் வழங்குநர்களை நம்பாமல் ஐரோப்பிய உள்கட்டமைப்பில் இயங்கும் அளவுக்கு மலிவான அனுமானத்தை வைத்திருப்பதை நோக்கமாகக் கொண்ட வடிவமைப்புத் தேர்வாகும்.

கட்டிடக்கலை என்விடியாவின் நெமோட்ரான் 3 நானோவில் இருந்து கடன் வாங்கப்பட்டது, இது மாம்பா-2 அடுக்குகளை ஒரு கலப்பின அமைப்பில் நிலையான கவனம் அடுக்குகளுடன் இணைக்கிறது. திட்டத்தின் முன் பயிற்சி அறிக்கையின்படி, மாடலின் 52 அடுக்குகளில் 6 மட்டுமே முக்கிய மதிப்பு (KV) தற்காலிக சேமிப்பை பராமரிக்கின்றன - கவனத்தை கணக்கிடுவதற்கு முந்தைய டோக்கன்களை சேமிக்கும் நினைவக அமைப்பு. வழக்கமான மின்மாற்றிகளில், அந்த கேச் சூழல் நீளத்துடன் நேர்கோட்டில் வளரும் மற்றும் நீண்ட சூழல் அனுமானத்தின் போது ஒரு பெரிய இடையூறாக மாறும்.

நடைமுறை ஊதியம் செயல்திறனில் காண்பிக்கப்படுகிறது. 32 இணையான கோரிக்கைகளுடன் 40,000 டோக்கன்களின் சூழல் நீளத்தில், 14-லிருந்து 24-பில்லியன் அளவுருக்கள் வரம்பில் உள்ள அடர்த்தியான மாடல்களை விட சூஃபி எஸ் ஒரு GPU ஒன்றுக்கு வினாடிக்கு சுமார் எட்டு மடங்கு அதிகமான டோக்கன்களை உருவாக்குகிறது. சூழல் வளரும்போது வழக்கமான மாடல்களுக்கான உற்பத்தி வேகம் வெகுவாகக் குறையும் போது, ​​Soofi S ஆனது 4,000 டோக்கன்களிலிருந்து 256,000 டோக்கன்கள் வரை கிட்டத்தட்ட சமமாக இருக்கும். கூட்டமைப்பின் அளவீடுகளில் ஒப்பிடக்கூடிய ஒரே மாதிரியானது அலிபாபாவின் Qwen3.5 35B-A3B ஆகும், இது ஒரு கலப்பின கட்டிடக்கலையையும் பயன்படுத்துகிறது.

ஆங்கிலத்தை தியாகம் செய்யாமல், ஜெர்மன் மொழிக்கு பயிற்சி பெற்றார்

ஜெர்மன் மீது வேண்டுமென்றே கவனம் செலுத்துவது திட்டத்திற்கு மையமானது. முதல் பயிற்சி கட்டத்தில், தரவு கலவையில் ஜெர்மன் 7.2 சதவீதத்தை உருவாக்குகிறது; இரண்டாவது கட்டத்தில், அந்த பங்கு 15.3 சதவீதமாக உயர்கிறது. ஒப்பிடுகையில், என்விடியாவின் நெமோட்ரான் குறிப்பு செய்முறையில் அனைத்து ஆங்கிலம் அல்லாத மொழிகளும் இணைந்து பயிற்சி கலவையில் 5 சதவீதம் மட்டுமே உள்ளன.

தரவு ஆதாரங்களில் HPLT கார்பஸ், வெளிப்படையாக உரிமம் பெற்ற ஜெர்மன் காமன்ஸ் கார்பஸ், FinePDFகள் மற்றும் FineWiki ஆகியவற்றின் ஜெர்மன் பகுதிகள் மற்றும் 916 ஜெர்மன் வெளியீடுகளிலிருந்து பெறப்பட்ட 193 மில்லியன் செய்தித்தாள் கட்டுரைகளின் வணிக உரிமம் பெற்ற ஜீனியோஸ் காப்பகம் ஆகியவை அடங்கும். இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்ட மற்றும் செயற்கையாக உருவாக்கப்பட்ட ஜெர்மன் உரைகள் கலவையை முழுவதுமாக சுற்றி வருகின்றன.

இந்த மாதிரி மூன்று பயிற்சி கட்டங்களில் சுமார் 27 டிரில்லியன் டோக்கன்களை செயலாக்கியது: முதல் கட்டத்தில் சுமார் 20 டிரில்லியன் டோக்கன்கள் பரந்த வலை, குறியீடு, கணிதம் மற்றும் டொமைன் சார்ந்த உரை; இரண்டாவதாக சுமார் 6 டிரில்லியன் உயர்தர டோக்கன்கள்; மற்றும் ஒரு மில்லியன் டோக்கன்கள் வரையிலான ஆவணங்களைப் பயன்படுத்தி சூழல் சாளரத்தை நீட்டிக்கும் குறுகிய மூன்றாம் கட்டம்.

பெஞ்ச்மார்க் முடிவுகள்: ஜெர்மன் மற்றும் ஆங்கிலத்தில் முன்னோக்கி, கணிதத்தில் பலவீனம்

மற்ற 16 திறந்த மாடல்களுக்கு எதிரான மதிப்பீடுகளில், கூட்டமைப்பின்படி, ஜெர்மன் மற்றும் ஆங்கிலம் ஆகிய இரண்டிற்கும் மொத்த மதிப்பெண்களில் Soofi S அனைத்து முழு திறந்த மாடல்களையும் வழிநடத்துகிறது. இதில் AIக்கான ஆலன் இன்ஸ்டிட்யூட்டின் OLMo 3 32B மற்றும் ETH சூரிச் மற்றும் EPFL இன் Apertus 70B ஆகியவை அடங்கும். ஒவ்வொரு ஐரோப்பிய இறையாண்மை அடிப்படைக்கு எதிராகவும், தொகுப்பில் உள்ள அனைத்து ஜெர்மன் அளவுகோல்களிலும், சில நேரங்களில் இரட்டை இலக்க விளிம்புகளில் மாடல் வெளிவருகிறது.

குறியீடு பணிகளில், Soofi S ஆனது HumanEval இல் 73.8 சதவிகிதம், MBPP இல் 70.2 மற்றும் ஜெர்மன் MBPP மாறுபாட்டில் 84.2 மதிப்பெண்களைப் பெற்றுள்ளது - இது திறந்த மூல சக நண்பர்களிடையே சிறந்த முடிவு. INCLUDE-DE இல், ஜெர்மனி-குறிப்பிட்ட பிராந்திய அறிவுக்கான சோதனை, Soofi S பெரிய Qwen3.5 35B-A3B உடன் 61.2 புள்ளிகளுடன் முதல் இடத்தைப் பிடித்தது. நெமோட்ரான் அடிப்படையுடன் ஒப்பிடும்போது, ​​ஜெர்மன் எடையுள்ள தரவு செய்முறையானது மொழித் திறனை 15.1 புள்ளிகளாலும், GPQA-டயமண்ட் அறிவியல் அளவுகோல் 9.6 புள்ளிகளாலும் ஆங்கில செயல்திறனை பாதிக்காமல் மேம்படுத்துகிறது.

தெளிவான பலவீனங்கள் உள்ளன. ஜெர்மன் போட்டிக் கணிதத்தில் (மினெர்வா மேத்-டிஇ), சூஃபி எஸ் 56 புள்ளிகளைப் பெற்றுள்ளார், கியூவென்3.5 35பி-ஏ3பிக்கு 76.5 மற்றும் ஜெம்மா 3 27பி 65.6க்கு பின்தங்கியுள்ளார். இது நேச்சுரல் வினாக்களில் திறந்த உண்மை மீட்டெடுப்பையும் பின்தொடர்கிறது, குழுவானது சுமார் 3 பில்லியன் செயலில் உள்ள அளவுருக்களை மட்டுமே கொண்டிருப்பதாகக் கூறுகிறது, எனவே அடர்த்தியான 27B மாதிரியைக் காட்டிலும் குறைவான உலக அறிவை சேமிக்கிறது. RULER நீண்ட-சூழல் சோதனை மற்றொரு இடைவெளியை உருவாக்குகிறது: மாதிரியானது ஒரு நீண்ட உரையிலிருந்து அடிக்கடி நிகழும் சொற்களைப் பிரித்தெடுக்க வேண்டியிருக்கும் போது, ​​அதன் வெற்றி விகிதம் 32,000 டோக்கன்களுக்கு அப்பால் 3 சதவிகிதம் குறைகிறது, அதே சமயம் ஒப்பிடக்கூடிய Nemotron மாதிரி இன்னும் 60 முதல் 64 சதவிகிதத்தை நிர்வகிக்கிறது.

முனிச்சில் 512 Nvidia B200 GPUகளில் பயிற்சியளிக்கப்பட்டது

முனிச்சில் உள்ள Deutsche Telekom's Industrial AI Cloud இல் 512 Nvidia B200 GPUகளில் மார்ச் மற்றும் மே 2026 க்கு இடையில் பயிற்சி ஓட்டம் நடைபெற்றது, மொத்தம் சுமார் 253,000 GPU-மணிநேரம். இந்த வசதி முற்றிலும் புதுப்பிக்கத்தக்க ஆற்றலில் இயங்குகிறது, Eisbach கால்வாயில் இருந்து தண்ணீரால் குளிரூட்டப்பட்டு, சுற்றியுள்ள Tucherpark சுற்றுப்புறத்திற்கு கழிவு வெப்பத்தை ஊட்டுகிறது என்று அறிக்கை கூறுகிறது. இந்த உள்கட்டமைப்பில் மேற்கொள்ளப்பட்ட முதல் பெரிய பயிற்சி ஓட்டங்களில் சூஃபி எஸ்.

ஐரோப்பிய IPCEI-CIS திட்டத்தின் ஒரு பகுதியாக பொருளாதார விவகாரங்கள் மற்றும் எரிசக்திக்கான ஜேர்மன் மத்திய அமைச்சகத்தால் இந்த மாதிரியின் பின்னால் உள்ள கூட்டமைப்பு நிதியளிக்கப்படுகிறது. பங்கேற்பாளர்களில் Fraunhofer Institutes IAIS மற்றும் IIS, செயற்கை நுண்ணறிவுக்கான ஜெர்மன் ஆராய்ச்சி மையம் (DFKI), TU Darmstadt, Würzburg பல்கலைக்கழகம், L3S ஆராய்ச்சி மையம், பெர்லின் பயன்பாட்டு அறிவியல் பல்கலைக்கழகம் மற்றும் AI நிறுவனங்களான Ellamind மற்றும் Merantix Momentum ஆகியவை அடங்கும்.

'அதிகப் பயிற்சி' பற்றிய விவாதம்

2022 ஆம் ஆண்டில் கூகுள் டீப் மைண்ட் வெளியிட்ட கிளாசிக் சின்சில்லா ஸ்கேலிங் சட்டங்களின் தரங்களால் சூஃபி எஸ் அதிகப் பயிற்சி பெற்றதாக விமர்சகர்கள் வாதிட்டனர். 27 டிரில்லியன் டோக்கன்கள் மற்றும் தோராயமாக 30 பில்லியன் அளவுருக்களுடன், சூஃபி எஸ் ஒரு அளவுருவிற்கு பல நூறு டோக்கன்கள்; 3.2 பில்லியன் செயலில் உள்ள அளவுருக்களை மட்டுமே எண்ணுவது விகிதத்தை ஆயிரங்களில் தள்ளுகிறது.

திட்டத்தின் தொழில்நுட்பத் தலைமையின் ஒரு பகுதியான மைக்கேல் ஃப்ரோம், அந்த விமர்சனத்தை பின்னுக்குத் தள்ளினார், அந்த விதிகள் MoE கட்டமைப்புகளுக்குச் செல்லவில்லை என்று வாதிட்டார். "அடர்த்தியான மாதிரிகளிலிருந்து பழைய அளவிடுதல் சட்டங்கள் இனி MoE கட்டமைப்புகளுக்குப் பொருந்தாது என்பதைக் காட்டும் புதிய ஆராய்ச்சி உள்ளது," என்று ஃப்ரோம் கூறினார், அதே ஆவணங்களை ஒரு பெரிய, உயர்தர தரவுத்தொகுப்பில் மீண்டும் மீண்டும் பார்ப்பதன் மூலம் தனிப்பட்ட வல்லுநர்கள் பயனடைகிறார்கள். ஒப்பிடுகையில், அவர் என்விடியாவை சுட்டிக்காட்டினார், இது 25 டிரில்லியன் டோக்கன்களில் அதன் சொந்த மாடல்களைப் பயிற்றுவித்துள்ளது.

எது வெளியாகிறது, எது வெளியாகாது

தேர்ந்தெடுக்கப்பட்ட இடைநிலை சோதனைச் சாவடிகள், முழுமையான பயிற்சி மற்றும் மதிப்பீட்டுக் குறியீடு மற்றும் மூல டோக்கன் எண்ணிக்கைகள், சகாப்த எண்கள் மற்றும் ஒரு மூலத்திற்கான பயனுள்ள பங்களிப்புகளை பட்டியலிடும் விரிவான தரவு சரக்குகளுடன் சேர்ந்து மாதிரி எடைகளை ஆராய்ச்சியாளர்கள் வெளியிடுகின்றனர். குழுவின் கூற்றுப்படி, இதன் பொருள் Soofi S திறந்த மூல முன்முயற்சியிலிருந்து திறந்த மூல AI வரையறை 1.0 ஐ சந்திக்கிறது.

ஒவ்வொரு பயிற்சி டோக்கனும் இலவசமாக விநியோகிக்கப்பட வேண்டிய ஐரோப்பிய திறந்த-தரவு வரையறைக்கான கடுமையான முன்மொழிவு நிறைவேற்றப்படவில்லை, ஏனெனில் கலவையில் 1.3 சதவீதம் வணிக ரீதியாக உரிமம் பெற்ற ஜீனியோஸ் கார்பஸிலிருந்து வருகிறது. 99 சதவீத பயிற்சி தரவுகளை இன்னும் சுயாதீனமாக புனரமைக்க முடியும் என்று அறிக்கை கூறுகிறது. வெளியீட்டின் போது மாடலின் வெளியீட்டிற்கான சரியான உரிமம் இறுதி செய்யப்படவில்லை.

தொழில்நுட்ப ஆவணங்கள், குறியீடு உருவாக்கம் மற்றும் முகவர் சார்ந்த அமைப்புகளை உள்ளடக்கிய பயன்பாடுகளில் Soofi S ஐ சோதிக்க அடுத்த கட்டமாக தொழில் கூட்டாளர்களை கூட்டமைப்பு இப்போது தேடுகிறது. ஓப்பன் வெயிட் மாடல் வெளியீடுகள், இறையாண்மை AI உள்கட்டமைப்பு மற்றும் ஐரோப்பிய AI சுற்றுச்சூழல் அமைப்பு பற்றி மேலும் அறிய, இங்கு வெளியிடப்பட்ட AI தொழில்துறை கவரேஜ் ஐப் பற்றித் தெரிந்துகொள்ளவும்.

ஓப்பன் சோர்ஸ் AI இல் முன்னோக்கி இருங்கள்

அமெரிக்கா, சீனா மற்றும் இப்போது ஐரோப்பாவில் உள்ள ஆய்வகங்களில் இருந்து ஓப்பன் வெயிட் வெளியீடுகள் வாரந்தோறும் வருகின்றன, மேலும் மிகப்பெரிய தனியுரிம மாதிரிகள் மற்றும் சிறந்த திறந்த மாற்றுகளுக்கு இடையே உள்ள இடைவெளி குறைந்து கொண்டே வருகிறது. முழுப் படத்திற்கும் பிரேக்கிங் AI செய்தி மற்றும் பெஞ்ச்மார்க் பகுப்பாய்வைப் பின்பற்றவும்.

மேலும் படிக்க AI மாதிரி கவரேஜ் →