សម្ព័ន្ធនៃស្ថាប័នស្រាវជ្រាវអាល្លឺម៉ង់ និងក្រុមហ៊ុន AI បានចេញផ្សាយ Soofi S 30B-A3B ដែលជាគំរូភាសាបើកចំហដែលគម្រោងនេះនិយាយថាសម្រេចបានពិន្ទុខ្ពស់បំផុតទាំងភាសាអង់គ្លេស និងស្តង់ដារអាល្លឺម៉ង់ក្នុងចំណោមគំរូបើកចំហពេញលេញ។ ដោយមានការសម្របសម្រួលដោយ KI Bundesverband ដែលជាសមាគម AI ជាតិរបស់ប្រទេសអាល្លឺម៉ង់ ការចេញផ្សាយនេះគឺជាគំរូភាសាដ៏ធំដំបូងគេដែលត្រូវបានបណ្តុះបណ្តាលទាំងស្រុងលើ AI Cloud របស់ Deutsche Telekom នៅក្នុងទីក្រុង Munich ហើយត្រូវបានដាក់ជាជម្រើសដ៏អធិបតេយ្យភាពរបស់អឺរ៉ុបចំពោះសហរដ្ឋអាមេរិក និងចិនដែលមានការចេញផ្សាយទម្ងន់បើកចំហ។ សម្រាប់អ្នកអភិវឌ្ឍន៍ដែលតាមដាន [ការវិវឌ្ឍន៍ AI ចុងក្រោយបង្អស់] (https://aibuzzwire.news) ការបើកដំណើរការគឺគួរឱ្យកត់សម្គាល់តិចជាងសម្រាប់ទំហំឆៅជាងសម្រាប់ប្រសិទ្ធភាពមិនធម្មតា និងការផ្តោតអារម្មណ៍ភាសាចូលទៅក្នុងស្ថាបត្យកម្ម។

ការរចនាកូនកាត់ដែលមានប៉ារ៉ាម៉ែត្រសកម្មត្រឹមតែ 3.2 ពាន់លាន

Soofi S គឺជាគំរូ mix-of-experts (MoE) ដែលមានប៉ារ៉ាម៉ែត្រសរុបចំនួន 31.6 ពាន់លាន ប៉ុន្តែវាដំណើរការបានតែប្រហែល 3.2 ពាន់លានក្នុងមួយនិមិត្តសញ្ញាដែលបានបង្កើត។ នោះធ្វើឱ្យការចំណាយលើការគណនារបស់វាខិតទៅជិតគំរូប៉ារ៉ាម៉ែត្រ 3 ពាន់លានជាងគំរូក្រាស់ប៉ារ៉ាម៉ែត្រ 30 ពាន់លានធម្មតា ដែលជាជម្រើសនៃការរចនាដែលមានគោលបំណងរក្សាការសន្និដ្ឋានថោកគ្រប់គ្រាន់ដើម្បីដំណើរការលើហេដ្ឋារចនាសម្ព័ន្ធអឺរ៉ុបដោយមិនពឹងផ្អែកលើអ្នកផ្តល់សេវាពពកក្រៅប្រទេស។

ស្ថាបត្យកម្មនេះត្រូវបានខ្ចីពី Nemotron 3 Nano របស់ Nvidia ដោយរួមបញ្ចូលគ្នានូវស្រទាប់ Mamba-2 ជាមួយនឹងស្រទាប់យកចិត្តទុកដាក់ស្តង់ដារនៅក្នុងប្លង់កូនកាត់។ យោងតាមរបាយការណ៍ pretraining របស់គម្រោង មានតែ 6 ស្រទាប់នៃ 52 របស់ម៉ូដែលប៉ុណ្ណោះដែលរក្សាឃ្លាំងសម្ងាត់តម្លៃ (KV) ដែលជារចនាសម្ព័ន្ធអង្គចងចាំដែលរក្សាទុកសញ្ញាសម្ងាត់ពីមុនសម្រាប់ការគណនាការយកចិត្តទុកដាក់។ នៅក្នុងម៉ាស៊ីនបំប្លែងធម្មតា ឃ្លាំងសម្ងាត់នោះលូតលាស់តាមបន្ទាត់ជាមួយប្រវែងបរិបទ ហើយក្លាយជាឧបសគ្គដ៏សំខាន់មួយក្នុងអំឡុងពេលការសន្និដ្ឋានបរិបទវែង។

ការទូទាត់ជាក់ស្តែងបង្ហាញនៅក្នុងលំហូរ។ នៅប្រវែងបរិបទនៃ 40,000 ថូខឹនដែលមានសំណើស្របគ្នាចំនួន 32 Soofi S បង្កើតថូខឹនប្រហែលប្រាំបីដងក្នុងមួយវិនាទីក្នុងមួយ GPU ជាងម៉ូដែលក្រាស់នៅក្នុងជួរប៉ារ៉ាម៉ែត្រពី 14 ទៅ 24 ពាន់លាន។ ខណៈពេលដែលល្បឿននៃជំនាន់សម្រាប់ម៉ូដែលធម្មតាធ្លាក់ចុះយ៉ាងខ្លាំងនៅពេលដែលបរិបទកើនឡើង Soofi S ស្ថិតនៅជិតស្មើពី 4,000 token រហូតទៅដល់ 256,000 tokens។ គំរូដែលអាចប្រៀបធៀបបានតែមួយគត់នៅក្នុងការវាស់វែងរបស់ក្រុមហ៊ុនគឺ Qwen3.5 35B-A3B របស់ក្រុមហ៊ុន Alibaba ដែលប្រើប្រាស់ស្ថាបត្យកម្មកូនកាត់ផងដែរ។

បណ្តុះបណ្តាលភាសាអាល្លឺម៉ង់ដោយមិនលះបង់ភាសាអង់គ្លេស

ការផ្តោតអារម្មណ៍ដោយចេតនាលើអាល្លឺម៉ង់គឺជាចំណុចកណ្តាលនៃគម្រោង។ នៅក្នុងដំណាក់កាលបណ្តុះបណ្តាលដំបូង អាល្លឺម៉ង់បង្កើតបាន 7.2 ភាគរយនៃល្បាយទិន្នន័យ។ នៅក្នុងដំណាក់កាលទីពីរ ភាគហ៊ុននោះកើនឡើងដល់ 15.3 ភាគរយ។ តាមការប្រៀបធៀប នៅក្នុងរូបមន្តយោង Nemotron របស់ Nvidia រាល់ភាសាដែលមិនមែនជាភាសាអង់គ្លេសរួមបញ្ចូលគ្នាមានប្រហែល 5 ភាគរយនៃល្បាយបណ្តុះបណ្តាលប៉ុណ្ណោះ។

ប្រភពទិន្នន័យរួមមានអត្ថបទគេហទំព័រអាឡឺម៉ង់ពី HPLT corpus សាកសពអាល្លឺម៉ង់ដែលមានអាជ្ញាប័ណ្ណបើកចំហ ផ្នែកអាល្លឺម៉ង់នៃ FinePDFs និង FineWiki និងបណ្ណសារ Genios ដែលមានអាជ្ញាប័ណ្ណពាណិជ្ជកម្មនៃអត្ថបទកាសែតចំនួន 193 លានដែលដកស្រង់ចេញពីការបោះពុម្ពអាល្លឺម៉ង់ 916 ។ អត្ថបទ​អាល្លឺម៉ង់​ដែល​បកប្រែ​ដោយ​ម៉ាស៊ីន និង​សំយោគ​បង្កើត​ឡើង​ជុំវិញ​ការ​លាយ​បញ្ចូល​គ្នា។

គំរូនេះបានដំណើរការថូខឹនប្រហែល 27 ពាន់ពាន់លាននៅទូទាំងដំណាក់កាលបណ្តុះបណ្តាលបី: អំពី 20 ពាន់ពាន់លានសញ្ញាសម្ងាត់នៃគេហទំព័រទូលំទូលាយ កូដ គណិតវិទ្យា និងអត្ថបទជាក់លាក់ដែននៅក្នុងដំណាក់កាលទីមួយ។ ប្រហែល 6 ពាន់ពាន់លានថូខឹនដែលមានគុណភាពខ្ពស់នៅក្នុងទីពីរ; និងដំណាក់កាលទីបីខ្លីជាងដែលពង្រីកវិនដូបរិបទដោយប្រើឯកសាររហូតដល់មួយលានថូខឹនវែង។

លទ្ធផលគោល៖ នាំមុខអាល្លឺម៉ង់ និងអង់គ្លេស ខ្សោយជាងគណិតវិទ្យា

នៅក្នុងការវាយតម្លៃធៀបនឹងម៉ូដែលបើកចំហ 16 ផ្សេងទៀត Soofi S ដឹកនាំម៉ូដែលបើកចំហពេញលេញទាំងអស់លើពិន្ទុសរុបសម្រាប់ទាំងអាល្លឺម៉ង់ និងអង់គ្លេស នេះបើយោងតាមសម្ព័ន្ធ។ នោះរួមមាន OLMo 3 32B ពីវិទ្យាស្ថាន Allen សម្រាប់ AI និង Apertus 70B ពី ETH Zurich និង EPFL ។ ប្រឆាំងនឹងរាល់បន្ទាត់មូលដ្ឋានអធិបតេយ្យភាពអឺរ៉ុប ម៉ូដែលនេះចេញមកនាំមុខលើស្តង់ដារអាល្លឺម៉ង់ទាំងអស់នៅក្នុងឈុត ជួនកាលដោយរឹមពីរខ្ទង់។

នៅលើកិច្ចការកូដ Soofi S ទទួលបានពិន្ទុ 73.8 ភាគរយលើ HumanEval, 70.2 នៅលើ MBPP និង 84.2 លើវ៉ារ្យ៉ង់ MBPP របស់អាឡឺម៉ង់ ដែលជាលទ្ធផលល្អបំផុតក្នុងចំណោមដៃគូរប្រភពបើកចំហ។ នៅលើ INCLUDE-DE ការធ្វើតេស្តសម្រាប់ចំនេះដឹងក្នុងតំបន់ជាក់លាក់របស់អាល្លឺម៉ង់ Soofi S ទទួលបានចំណាត់ថ្នាក់លេខ 1 នៅ 61.2 ពិន្ទុជាមួយនឹង Qwen3.5 35B-A3B ធំជាង។ បើប្រៀបធៀបជាមួយនឹងបន្ទាត់គោល Nemotron រូបមន្តទិន្នន័យទម្ងន់របស់អាល្លឺម៉ង់ធ្វើអោយប្រសើរឡើងនូវជំនាញភាសាដោយ 15.1 ពិន្ទុ និង GPQA-Diamond ស្តង់ដារវិទ្យាសាស្រ្តដោយ 9.6 ពិន្ទុដោយមិនប៉ះពាល់ដល់ការអនុវត្តភាសាអង់គ្លេស។

មានភាពទន់ខ្សោយច្បាស់លាស់។ នៅលើគណិតវិទ្យាប្រកួតប្រជែងរបស់អាឡឺម៉ង់ (Minerva MATH-DE) Soofi S ទទួលបានពិន្ទុ 56 បានយ៉ាងល្អតាមពីក្រោយ Qwen3.5 35B-A3B នៅ 76.5 និង Gemma 3 27B នៅ 65.6 ។ វាក៏តាមដានលើការទាញយកការពិតបើកចំហនៅក្នុង NaturalQuestions ដែលក្រុមសន្មតថាមានប៉ារ៉ាម៉ែត្រសកម្មប្រហែល 3 ពាន់លានប៉ុណ្ណោះ ដូច្នេះហើយចំណេះដឹងពិភពលោកត្រូវបានរក្សាទុកតិចជាងគំរូ 27B ក្រាស់។ ការធ្វើតេស្តបរិបទវែងរបស់ RULER បង្ហាញពីគម្លាតមួយទៀត៖ នៅពេលដែលគំរូត្រូវទាញយកពាក្យដែលកើតឡើងញឹកញាប់ពីអត្ថបទវែង អត្រានៃការវាយលុករបស់វាធ្លាក់ចុះប្រហែល 3 ភាគរយលើសពីសញ្ញាសម្ងាត់ 32,000 ខណៈដែលគំរូ Nemotron ដែលអាចប្រៀបធៀបបាននៅតែគ្រប់គ្រងពី 60 ទៅ 64 ភាគរយ។

បានបណ្តុះបណ្តាលលើ 512 Nvidia B200 GPUs នៅទីក្រុង Munich

ការរត់ការហ្វឹកហ្វឺនធ្វើឡើងនៅចន្លោះខែមីនា និងឧសភា ឆ្នាំ 2026 លើ Nvidia B200 GPUs រហូតដល់ទៅ 512 Nvidia B200 នៅ Industrial AI Cloud របស់ Deutsche Telekom ក្នុងទីក្រុង Munich ដែលមានចំនួនសរុបប្រហែល 253,000 GPU-hours ។ រោងចក្រនេះដំណើរការទាំងស្រុងលើថាមពលកកើតឡើងវិញ ត្រូវបានធ្វើឱ្យត្រជាក់ជាមួយនឹងទឹកពីប្រឡាយ Eisbach និងផ្តល់កំដៅកាកសំណល់ទៅក្នុងសង្កាត់ Tucherpark ជុំវិញ។ Soofi S គឺជាវគ្គបណ្តុះបណ្តាលដ៏សំខាន់ដំបូងគេដែលដំណើរការលើហេដ្ឋារចនាសម្ព័ន្ធនេះ។

សម្ព័ន្ធនៅពីក្រោយគំរូនេះត្រូវបានផ្តល់មូលនិធិដោយក្រសួងសហព័ន្ធអាល្លឺម៉ង់សម្រាប់កិច្ចការសេដ្ឋកិច្ច និងថាមពល ដែលជាផ្នែកមួយនៃកម្មវិធី IPCEI-CIS អឺរ៉ុប។ អ្នកចូលរួមរួមមានវិទ្យាស្ថាន Fraunhofer IAIS និង IIS មជ្ឈមណ្ឌលស្រាវជ្រាវអាឡឺម៉ង់សម្រាប់ប្រាជ្ញាសិប្បនិម្មិត (DFKI), TU Darmstadt, សាកលវិទ្យាល័យ Würzburg, មជ្ឈមណ្ឌលស្រាវជ្រាវ L3S, សាកលវិទ្យាល័យ Berlin of Applied Sciences និងក្រុមហ៊ុន AI Ellamind និង Merantix Momentum ។

ការជជែកវែកញែកអំពី 'ការបណ្តុះបណ្តាលលើសចំណុះ'

ភ្លាមៗបន្ទាប់ពីការបើកដំណើរការ អ្នករិះគន់បានប្រកែកថា Soofi S ត្រូវបានបណ្តុះបណ្តាលយ៉ាងខ្លាំងដោយស្តង់ដារនៃច្បាប់ធ្វើមាត្រដ្ឋាន Chinchilla បុរាណដែលត្រូវបានបោះពុម្ពផ្សាយដោយ Google DeepMind ក្នុងឆ្នាំ 2022 ដែលស្នើឱ្យមានចំណុចផ្អែមល្ហែមនៃសញ្ញាសម្ងាត់ 20 ក្នុងមួយប៉ារ៉ាម៉ែត្រ។ ជាមួយនឹង 27 ពាន់ពាន់លានសញ្ញាសម្ងាត់និងប្រហែល 30 ពាន់លានប៉ារ៉ាម៉ែត្រ Soofi S ចុះចតនៅរាប់រយសញ្ញាសម្ងាត់ក្នុងមួយប៉ារ៉ាម៉ែត្រ; រាប់តែប៉ារ៉ាម៉ែត្រសកម្ម 3.2 ពាន់លានជំរុញសមាមាត្រទៅជារាប់ពាន់។

លោក Michael Fromm ដែលជាផ្នែកមួយនៃការដឹកនាំផ្នែកបច្ចេកទេសរបស់គម្រោងបានរុញច្រានការរិះគន់នោះមកវិញ ដោយលើកហេតុផលថាច្បាប់ទាំងនោះមិនអនុវត្តចំពោះស្ថាបត្យកម្ម MoE ទេ។ លោក Fromm បាននិយាយថា "មានការស្រាវជ្រាវថ្មីដែលបង្ហាញថាច្បាប់ធ្វើមាត្រដ្ឋានចាស់ពីគំរូក្រាស់លែងអនុវត្តចំពោះស្ថាបត្យកម្ម MoE" ដោយកត់សម្គាល់ថាអ្នកជំនាញម្នាក់ៗទទួលបានអត្ថប្រយោជន៍ពីការមើលឃើញឯកសារដដែលម្តងហើយម្តងទៀតនៅក្នុងសំណុំទិន្នន័យដែលមានគុណភាពខ្ពស់។ ក្នុងនាមជាចំណុចមួយនៃការប្រៀបធៀបគាត់បានចង្អុលទៅ Nvidia ដែលបានបណ្តុះបណ្តាលគំរូផ្ទាល់ខ្លួនរបស់ខ្លួនលើនិមិត្តសញ្ញារហូតដល់ 25 ពាន់ពាន់លាន។

អ្វី​ដែល​ត្រូវ​បាន​ដោះលែង​ហើយ​អ្វី​ដែល​មិន​បាន​

អ្នកស្រាវជ្រាវកំពុងបញ្ចេញទម្ងន់គំរូ រួមជាមួយនឹងចំណុចត្រួតពិនិត្យកម្រិតមធ្យមដែលបានជ្រើសរើស លេខកូដបណ្តុះបណ្តាល និងវាយតម្លៃពេញលេញ និងបញ្ជីសារពើភណ្ឌទិន្នន័យលម្អិតដែលរាយបញ្ជីលេខសម្ងាត់ លេខសម័យ និងការរួមចំណែកប្រកបដោយប្រសិទ្ធភាពក្នុងមួយប្រភព។ យោងតាមក្រុមនេះ មានន័យថា Soofi S បានជួប Open Source AI Definition 1.0 ពី Open Source Initiative។

សំណើដ៏តឹងរ៉ឹងសម្រាប់និយមន័យទិន្នន័យចំហរបស់អឺរ៉ុប ដែលនឹងតម្រូវឱ្យគ្រប់និមិត្តសញ្ញាបណ្តុះបណ្តាលនីមួយៗអាចចែកចាយបានដោយសេរី មិនត្រូវបានសម្រេចទេ ដោយសារ 1.3 ភាគរយនៃល្បាយបានមកពីអង្គភាព Genios ដែលមានអាជ្ញាប័ណ្ណពាណិជ្ជកម្ម។ របាយការណ៍នេះនិយាយថាប្រហែល 99 ភាគរយនៃទិន្នន័យបណ្តុះបណ្តាលនៅតែអាចបង្កើតឡើងវិញដោយឯករាជ្យ។ អាជ្ញាប័ណ្ណពិតប្រាកដសម្រាប់ការចេញផ្សាយរបស់ម៉ូដែលនេះមិនត្រូវបានបញ្ចប់នៅពេលនៃការបោះពុម្ពផ្សាយនោះទេ។

ឥឡូវនេះសម្ព័ន្ធកំពុងស្វែងរកដៃគូឧស្សាហកម្មសម្រាប់ដំណាក់កាលបន្ទាប់ដើម្បីសាកល្បង Soofi S នៅក្នុងកម្មវិធីដែលពាក់ព័ន្ធនឹងឯកសារបច្ចេកទេស ការបង្កើតកូដ និងប្រព័ន្ធផ្អែកលើភ្នាក់ងារ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីការចេញផ្សាយគំរូទម្ងន់បើកចំហ ហេដ្ឋារចនាសម្ព័ន្ធ AI ដ៏អធិបតេយ្យ និងប្រព័ន្ធអេកូឡូស៊ី AI របស់អឺរ៉ុប សូមតាមដាន [ការគ្របដណ្តប់ឧស្សាហកម្ម AI] (https://aibuzzwire.news) ដែលបានបោះពុម្ពនៅទីនេះ។

បន្តទៅមុខនៅលើប្រភពបើកចំហ AI

ការចេញផ្សាយទម្ងន់បើកចំហកំពុងមកដល់ស្ទើរតែរៀងរាល់សប្តាហ៍ពីមន្ទីរពិសោធន៍នៅសហរដ្ឋអាមេរិក ប្រទេសចិន និងឥឡូវនេះនៅអឺរ៉ុប ហើយគម្លាតរវាងម៉ូដែលដែលមានកម្មសិទ្ធិធំជាងគេ និងជម្រើសបើកចំហដ៏ល្អបំផុតនៅតែរួមតូច។ តាមដាន [ព័ត៌មាន AI ដ៏ទម្លាយ] (https://aibuzzwire.news) និងការវិភាគគោលនៅទីនេះសម្រាប់រូបភាពពេញលេញ។

អានការគ្របដណ្តប់ម៉ូដែល AI បន្ថែមទៀត →