ក្រុមហ៊ុន AI របស់អាឡឺម៉ង់ Aleph Alpha បានបញ្ចេញ Kolibri ដែលជាគំរូភាសា Mixture-of-Experts បើកចំហរដែលបង្កើតឡើងតាំងពីមូលដ្ឋានសម្រាប់អាល្លឺម៉ង់ និងអង់គ្លេស។ ម៉ូដែលនេះផ្ទុកប៉ារ៉ាម៉ែត្រសរុបចំនួន 78.1 ពាន់លាន ប៉ុន្តែធ្វើឱ្យសកម្មត្រឹមតែ 3.46 ពាន់លាននៃពួកវាក្នុងមួយនិមិត្តសញ្ញា - ប្រហែល 4.4 ភាគរយ - និងដឹកជញ្ជូនក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ដែលមានការអនុញ្ញាតនៅលើ Hugging Face ។ វាទទួលយកបានរហូតដល់ទៅ 1,048,576 tokens នៃបរិបទ និងអនុញ្ញាតឱ្យអ្នកប្រើកំណត់ការខិតខំប្រឹងប្រែងហេតុផលក្នុងមួយសំណើ។ សម្រាប់អ្នកអានដែលតាមដានប្រព័ន្ធអេកូឡូស៊ីដែលមានទម្ងន់បើកចំហ វាស្ថិតនៅក្បែរ [ការអភិវឌ្ឍ AI ចុងក្រោយបំផុត] (https://aibuzzwire.news) របស់យើង។
ការចេញផ្សាយនេះគឺជាសេចក្តីថ្លែងការណ៍ដោយចេតនាអំពីកន្លែងដែល Aleph Alpha មើលឃើញទីផ្សាររបស់ខ្លួន៖ ការដាក់ពង្រាយជាអធិបតេយ្យភាពនៅក្នុងវិស័យដែលមានការគ្រប់គ្រងដូចជា រដ្ឋបាលសាធារណៈ ឧស្សាហកម្ម និងលំហអាកាស ដែលដឹងច្បាស់ពីកន្លែងដែលគំរូត្រូវបានបណ្តុះបណ្តាល លើទិន្នន័យអ្វី និងក្រោមក្របខណ្ឌច្បាប់ណាដែលមិនមែនជាការចង់បាន ប៉ុន្តែជាតម្រូវការលទ្ធកម្ម។
អ្វីទៅជា Kolibri
Kolibri ដែលហៅថា Kolibri-1 នៅក្នុងសម្ភារៈបច្ចេកទេស គឺជាឧបករណ៍បំលែង MoE ភាសាអង់គ្លេស-អាល្លឺម៉ង់ ពីរភាសា ដែល Aleph Alpha និយាយថាត្រូវបានបង្កើតឡើងពីចុងដល់ចប់ដោយក្រុមនៅក្នុងប្រទេសអាល្លឺម៉ង់។ យោងតាមរបាយការណ៍ស្រាវជ្រាវបច្ចេកទេសរបស់ក្រុមហ៊ុន ក្រុមការងារបានគ្រប់គ្រងបំពង់បង្ហូរប្រេងពេញលេញ - ទិន្នន័យ ស្ថាបត្យកម្ម ហេដ្ឋារចនាសម្ព័ន្ធបណ្តុះបណ្តាល ការបណ្តុះបណ្តាលក្រោយការបណ្តុះបណ្តាល និងការវាយតម្លៃជាជាងចាប់ផ្តើមពីកន្លែងត្រួតពិនិត្យរបស់មន្ទីរពិសោធន៍ផ្សេងទៀត។
ការបណ្តុះបណ្តាលបានដំណើរការលើហេដ្ឋារចនាសម្ព័ន្ធដែលមានទីតាំងនៅប្រទេសអាល្លឺម៉ង់ និងហ្វាំងឡង់។ ដំណើរការរចនាបានកំណត់គោលដៅច្បាស់លាស់ចំពោះការអនុលោមតាមក្រមប្រតិបត្តិ AI គោលបំណងទូទៅរបស់សហភាពអឺរ៉ុប ច្បាប់ EU AI និង GDPR ហើយ Aleph Alpha គឺជាហត្ថលេខីនៃក្រមនោះ។ ក្រុមហ៊ុននិយាយថា បំពង់បង្ហូរទិន្នន័យរបស់ខ្លួនកែប្រែទិន្នន័យផ្ទាល់ខ្លួនមុននឹងការបណ្តុះបណ្តាល ជាព័ត៌មានលម្អិតដែលមានគោលបំណងដោយផ្ទាល់ទៅលើអ្នកទិញក្នុងវិស័យសាធារណៈដែលមិនអាចផ្តល់ទិន្នន័យពលរដ្ឋស្របច្បាប់ទៅជាគំរូនៃភស្តុតាងមិនច្បាស់លាស់។
វាដំណើរការលើ GPU តែមួយ
ភាពអាចដាក់ពង្រាយបានច្បាស់ជាឧបសគ្គនៃការរចនា មិនមែនជាការគិតក្រោយនោះទេ។ ចំណុចត្រួតពិនិត្យ FP8 មានទម្ងន់ប្រហែល 78GB ហើយដំណើរការលើ NVIDIA B200, B300, ឬ H200 តែមួយ — ឬនៅលើ GPU ពីរ H100 SXM5 — បម្រើតាមរយៈ vLLM ជាមួយនឹងហេតុផល Kolibri ឧទ្ទិស និងឧបករណ៍ញែកការហៅឧបករណ៍។ សម្រាប់គំរូប៉ារ៉ាម៉ែត 78 ពាន់លាន នោះគឺជាជើងទម្រផ្នែករឹងតិចតួច ហើយវាជាការទូទាត់ដោយផ្ទាល់នៃការរចនា MoE តិចតួច៖ ជាមួយនឹងប៉ារ៉ាម៉ែត្រសកម្មត្រឹមតែ 3.46 ពាន់លានក្នុងមួយសញ្ញា ការចំណាយលើការសន្និដ្ឋានតាមដានចំនួនប៉ារ៉ាម៉ែត្រសកម្មជាជាងចំនួនសរុប។
អ្នកជំនាញមិនសូវច្បាស់ និងការយកចិត្តទុកដាក់ជាកូនកាត់
នៅក្រោមក្រណាត់ Kolibri ជង់ប្លុកប្លែងចំនួន 50 ដែលមានទទឹងគំរូ 2,560 ។ រាល់ស្រទាប់ MoE ផ្តល់ពិន្ទុលើអ្នកជំនាញដែលបានបញ្ជូនតទាំងអស់ 384 នាក់ជាមួយនឹងរ៉ោតទ័រ sigmoid ផ្ញើសញ្ញាសម្ងាត់នីមួយៗទៅកំពូល 6 ហើយតែងតែដំណើរការអ្នកជំនាញ 1 នាក់រួមគ្នាជាមួយពួកគេ។ ការផ្ទុកអ្នកជំនាញមានតុល្យភាពដោយប្រើបច្ចេកទេសពីរដែលមានឈ្មោះអក្ខរក្រម - តុល្យភាពបរិមាណពិតប្រាកដ និងការបញ្ចូលកំហុសក្នុងការផ្ទុក - ដែលរារាំងរ៉ោតទ័រពីការដួលរលំចរាចរណ៍ទាំងអស់ទៅលើអ្នកឯកទេសមួយចំនួនតូច។
ការយកចិត្តទុកដាក់គឺជាកន្លែងដែលស្ថាបត្យកម្មកាន់តែគួរឱ្យចាប់អារម្មណ៍។ Kolibri ប្រើការយកចិត្តទុកដាក់ជាក្រុមជាមួយនឹងក្បាលសំណួរចំនួន 48 និងក្បាល 4 KV ប៉ុន្តែស្រទាប់ទាំងនោះមិនមានលក្ខណៈដូចគ្នាទេ៖ រាល់ប្លុកទី 5 ប្រើការយកចិត្តទុកដាក់ពេញលេញដោយមិនមានការអ៊ិនកូដទីតាំង ខណៈដែលប្លុក 40 ផ្សេងទៀតប្រើការយកចិត្តទុកដាក់លើការរំកិលបង្អួចលើសញ្ញាសម្ងាត់មុន 512 ជាមួយនឹង RoPE ។ ផលវិបាកជាក់ស្តែងគឺប្រសិទ្ធភាពនៃការចងចាំ — ស្រទាប់បង្អួចរអិលមានឃ្លាំងសម្ងាត់ KV ទំហំថេរ ដូច្នេះមានតែស្រទាប់ 10 ក្នុងចំណោម 50 ស្រទាប់ដែលលូតលាស់ជាមួយនឹងប្រវែងបរិបទ។ នៅឯការគណនាដែលផ្គូផ្គង Aleph Alpha រាយការណ៍ថាការរចនាកូនកាត់គាំទ្រដល់លំដាប់ 4 ដងយូរជាងម៉ូដែលដែលមានការយកចិត្តទុកដាក់ពេញលេញដូចគ្នា។ នោះហើយជារបៀបដែលគំរូនៃទំហំនេះទាមទារបង្អួចបរិបទមួយលានសញ្ញាសម្ងាត់ដោយគ្មានហេដ្ឋារចនាសម្ព័ន្ធកម្រនិងអសកម្ម។
សញ្ញាសម្ងាត់ត្រូវបានបង្កើតឡើងសម្រាប់អាល្លឺម៉ង់
និមិត្តសញ្ញាព្រំដែនភាគច្រើនចាត់ទុកអាឡឺម៉ង់ជាការគិតក្រោយ ដោយបំបែកពាក្យផ្សំដ៏វែងរបស់វាទៅជាបំណែកដែលបំប៉ោងចំនួននិមិត្តសញ្ញា និងការចំណាយមានប្រសិទ្ធភាព។ Aleph Alpha បានវាយប្រហារវាដោយផ្ទាល់ជាមួយ UniBPE ដែលជាវាក្យសព្ទសញ្ញាសម្ងាត់ 128,000 ដែលបង្កើតការបញ្ចូលគ្នានូវវិធីដែល BPE ធ្វើ ប៉ុន្តែបានពិន្ទុបញ្ចូលគ្នាដោយការចាញ់ Unigram ។
លេខបង្កើតករណី។ នៅលើអត្ថបទអាល្លឺម៉ង់ សញ្ញាសម្ងាត់របស់ Kolibri ឈានដល់ 4.90 បៃក្នុងមួយសញ្ញាសម្ងាត់ធៀបនឹង 4.35 សម្រាប់និមិត្តសញ្ញា GPT-5 ដែលមានន័យថា 11.2 ភាគរយតិចជាងសញ្ញាសម្ងាត់នៅលើអត្ថបទគេហទំព័រអាល្លឺម៉ង់។ នៅលើភាសាអង់គ្លេស Kolibri ពិតជាចេញមកមុនផងដែរនៅ 4.58 បៃក្នុងមួយសញ្ញាធៀបនឹង 4.67 របស់ GPT-5 ។ សម្រាប់អតិថិជនសហគ្រាសដែលបង់ប្រាក់ដោយសញ្ញាសម្ងាត់ នោះគឺជាការបញ្ចុះតម្លៃដោយផ្ទាល់លើរាល់បន្ទុកការងារជាភាសាអាឡឺម៉ង់។
បានបណ្តុះបណ្តាលនៅកម្រិតព្រំដែន
ការហ្វឹកហាត់ដែលរត់នៅពីក្រោយ Kolibri គឺសំខាន់ណាស់។ ការបណ្តុះបណ្តាលមុនបានគ្របដណ្តប់ 20 ពាន់ពាន់លានសញ្ញាសម្ងាត់នៅលើ 768 NVIDIA B200 GPUs បន្ទាប់មកដោយ 3.44 ពាន់ពាន់លានសញ្ញាសម្គាល់ពាក់កណ្តាលការបណ្តុះបណ្តាលនៅប្រវែង 65,536-សញ្ញាសម្ងាត់។ បន្ទាប់មក បំពង់បង្ហូរប្រេងបានផ្លាស់ប្តូរតាមរយៈដំណាក់កាលសិក្សាការកែតម្រូវ និងការពង្រឹងដែលមានការត្រួតពិនិត្យ ដើម្បីបង្កើតជាគំរូចុងក្រោយដែលធ្វើតាមការណែនាំ និងសមហេតុផល។ ក្រុមហ៊ុនបានបោះពុម្ពរបាយការណ៍ស្រាវជ្រាវបច្ចេកទេសដែលគ្របដណ្តប់លើដំណើរការនេះ កម្រិតនៃការបង្ហាញមិនធម្មតាសម្រាប់មន្ទីរពិសោធន៍អ៊ឺរ៉ុប និងមួយមានគោលបំណងយ៉ាងច្បាស់ក្នុងការកសាងទំនុកចិត្តជាមួយអតិថិជនដែលបានគ្រប់គ្រង។
តើវាមានន័យយ៉ាងណាចំពោះការជំរុញ AI របស់អឺរ៉ុប
Kolibri ចូលទៅក្នុងទីផ្សារមួយដែលការបញ្ចេញទម្ងន់បើកចំហពីមន្ទីរពិសោធន៍អាមេរិក និងចិនគ្រប់គ្រងការសន្ទនា ហើយជាកន្លែងដែលរដ្ឋាភិបាលអឺរ៉ុបបានបង្កើនការបញ្ចេញសំឡេងកាន់តែខ្លាំងឡើងអំពីអធិបតេយ្យភាពឌីជីថល។ ការភ្នាល់របស់ Aleph Alpha គឺថាផ្នែកមួយនៃទីផ្សារនោះ — ក្រសួង ឧស្សាហកម្មដែលនៅជិតខាងការពារជាតិ ហេដ្ឋារចនាសម្ព័ន្ធសំខាន់ៗ — នឹងចំណាយសម្រាប់ម៉ូដែលដែលមិនមែនគ្រាន់តែជាទម្ងន់បើកចំហប៉ុណ្ណោះទេ ប៉ុន្តែជាការផ្ទៀងផ្ទាត់របស់អឺរ៉ុបនៅក្នុងការគ្រប់គ្រងទិន្នន័យ ទីតាំងបណ្តុះបណ្តាល និងឥរិយាបថផ្លូវច្បាប់។
ថាតើការភ្នាល់នោះត្រូវបង់ឬអត់ អាស្រ័យលើសំណួរដែលការចេញផ្សាយមិនទាន់មានចម្លើយ៖ របៀបដែល Kolibri benchmarks ប្រឆាំងនឹងគំរូបើកចំហព្រំដែនលើការវាយតម្លៃស្តង់ដារ និងថាតើប្រព័ន្ធអេកូនៃទម្រង់ឧបករណ៍ជុំវិញវាលឿនប៉ុណ្ណា។ អ្វីដែលការចេញផ្សាយនេះបង្កើតឡើងគឺថាសមត្ថភាពហ្វឹកហ្វឺនដែលនៅជាប់ព្រំដែនពេញមួយឈុតឥឡូវមាននៅក្នុងសហភាពអឺរ៉ុប ដោយមានឯកសារដើម្បីផ្គូផ្គង។ សម្រាប់អង្គការដែលចងភ្ជាប់ដោយ GDPR និងច្បាប់ AI ការរួមបញ្ចូលគ្នានោះអាចសំខាន់ជាងតំណែងតារាងពិន្ទុ។
---
ស្នាក់នៅមុន AIទទួលបានព័ត៌មាន AI ការវិភាគ និងរបកគំហើញចុងក្រោយបំផុត — ទាំងអស់នៅកន្លែងតែមួយ។
អានព័ត៌មាន AI បន្ថែម →
