Thinking Machines Lab ដែលជាក្រុមហ៊ុនស្រាវជ្រាវដែលបង្កើតឡើងដោយអតីតប្រធានផ្នែកបច្ចេកវិទ្យា OpenAI Mira Murati បានបោះពុម្ពផ្សាយការពន្យល់បច្ចេកទេសលម្អិតអំពីរបៀបដែលវាបង្ហាត់គំរូភាសាធំៗស្ទើរតែទាំងស្រុងក្នុងភាពជាក់លាក់ 4-bit ដែលជាបច្ចេកទេសដែលក្រុមហ៊ុននិយាយថាដោះសោល្បឿនដ៏សំខាន់ និងការសន្សំសតិនៅលើ Hardware មជ្ឈមណ្ឌលទិន្នន័យថ្មីបំផុតរបស់ Nvidia ។

ប្រកាសប្លក់ដែលមានចំណងជើងថា "ការបណ្តុះបណ្តាល 4 ប៊ីត ពីចុងដល់ចប់" ហើយបានបោះពុម្ពនៅលើគេហទំព័ររបស់ក្រុមហ៊ុននៅថ្ងៃទី 13 ខែវិច្ឆិកា ដើរឆ្លងកាត់ការដោះដូរលេខនៅពីក្រោយការបណ្តុះបណ្តាលដែលមានភាពជាក់លាក់ទាប និងពិពណ៌នាអំពីរបៀបដែលក្រុមគ្រប់គ្រងពួកគេខណៈពេលកំពុងបណ្តុះបណ្តាលគំរូ Inkling 2 Small របស់វា។ សម្រាប់អ្នកអានដែលធ្វើតាមការវិវឌ្ឍន៍ AI ចុងក្រោយបំផុត ការបង្ហោះផ្តល់នូវទិដ្ឋភាពជាសាធារណៈដ៏កម្រអំពីការសម្រេចចិត្តផ្នែកវិស្វកម្ម ដែលកំណត់ថាតើការបណ្តុះបណ្តាលតាមខ្នាតព្រំដែនពិតជាមានតម្លៃប៉ុន្មាន។

ហេតុអ្វីបានជាប៊ីតតិចមានន័យថាការបណ្តុះបណ្តាលលឿនជាងមុន

ការបណ្ដុះបណ្ដាលគំរូភាសាធំមួយពាក់ព័ន្ធនឹងការគណនា និងការរក្សាទុកចំនួនដ៏ធំសម្បើមនៃលេខ។ ការប្រើប្រាស់ប៊ីតតិចសម្រាប់តម្លៃនីមួយៗកាត់បន្ថយការប្រើប្រាស់អង្គចងចាំ និងអនុញ្ញាតឱ្យ GPU ដំណើរការនព្វន្ធលឿនជាងមុន។ ការចំណាយគឺភាពជាក់លាក់៖ ប៊ីតតិចមានន័យថាជាលេខតំណាងតិចជាង ដូច្នេះតម្លៃត្រូវតែបង្គត់ឱ្យកាន់តែខ្លាំង។

ក្រុមហ៊ុនបង្ហាញពីបញ្ហាជាមួយនឹងឧទាហរណ៍ដ៏សាមញ្ញមួយ។ ប្រសិនបើទម្រង់មួយអាចតំណាងត្រឹមតែលេខ 3 និង 4 ការរក្សាទុក 3.2 ទាមទារការបង្គត់ទៅលេខ 3 ការណែនាំអំពីកំហុសបរិមាណនៃ 0.2 ។ កំហុសក្នុងការបង្គត់តែមួយគឺតូចតាច ប៉ុន្តែក្នុងអំឡុងពេលបណ្តុះបណ្តាលកំហុសទាំងនេះកកកុញនៅទូទាំងស្រទាប់ និងជំហានបង្កើនប្រសិទ្ធភាព ហើយពួកគេអាចរំខានដល់ដំណើរការសិក្សាដោយខ្លួនឯង។

"នេះគឺជាបញ្ហាប្រឈមចម្បងនៃការបណ្តុះបណ្តាលភាពជាក់លាក់ទាប៖ តើយើងអាចទទួលបានអត្ថប្រយោជន៍ពីលេខនព្វន្ធលឿនជាងមុនដោយរបៀបណាដោយមិនណែនាំពីកំហុសដែលរំខានដល់ការរៀនសូត្រ?" ក្រុមហ៊ុនបានសរសេរនៅក្នុងប្រកាស។

ទម្រង់បី ការហ្វឹកហាត់មួយរត់

ជាជាងការប្តេជ្ញាចិត្តចំពោះកម្រិតជាក់លាក់តែមួយ ម៉ាស៊ីនគិតប្រើទម្រង់ជាលេខបីនៅដំណាក់កាលផ្សេងៗគ្នានៃការបណ្តុះបណ្តាល៖ BF16, MXFP8 និង NVFP4 ។ ទ្រង់ទ្រាយនីមួយៗមានភាពជាក់លាក់ថេរ ប៉ុន្តែល្បឿនរបស់វាអាស្រ័យលើផ្នែករឹងដែលកំពុងដំណើរការវា។

ក្រុមហ៊ុននេះហ្វឹកហាត់លើវេទិកា Grace Blackwell Ultra របស់ Nvidia ដែលជា GB300 ដែលត្រូវបានរចនាឡើងជាពិសេសដើម្បីពន្លឿនការគុណម៉ាទ្រីសនៅក្នុង NVFP4 ។ យោងតាមការបង្ហោះ NVFP4 រក្សាទុកតម្លៃជាមួយនឹងប៊ីត 3.6 ដងតិចជាង BF16 ខណៈពេលដែលដំណើរការលឿនជាង 6 ដងនៅលើប្រព័ន្ធ GB300 ។ នៅក្នុងលក្ខខណ្ឌនៃទិន្នផលឆៅ ក្រុមហ៊ុនបានចុះបញ្ជីដំណើរការ GB300 នៅប្រហែល 15 PFLOPS នៅក្នុង NVFP4, 5 PFLOPS នៅក្នុង MXFP8 និង 2.5 PFLOPS នៅក្នុង BF16 ។

ការចាប់គឺថាការបង្ហាប់ដ៏ខ្លាំងក្លារបស់ NVFP4 ណែនាំពីកំហុសក្នុងបរិមាណច្រើនជាងទម្រង់ធំទូលាយ។ កំហុសនោះអាចទទួលយកបានក្នុងដំណាក់កាលខ្លះនៃការបណ្តុះបណ្តាល និងមិនអាចទទួលយកបានក្នុងដំណាក់កាលផ្សេងទៀត ដែលជាមូលហេតុដែលក្រុមហ៊ុនចាត់ចែងដំណាក់កាលនីមួយៗដាច់ដោយឡែកពីគ្នា។

ដំណាក់កាលផ្សេងគ្នា ច្បាប់ផ្សេងគ្នា

ការបង្ហោះប្លក់បំបែកការបណ្តុះបណ្តាលជាបួនដំណាក់កាល — ការឆ្លងកាត់ទៅមុខ និងថយក្រោយនៃ pretraining គំរូការរៀនពង្រឹង និង RL trainer — ហើយកំណត់តុល្យភាពផ្សេងគ្នានៃអាទិភាពរវាងការបង្រួមកំហុស កាត់បន្ថយភាពលំអៀង បង្កើនល្បឿន និងកាត់បន្ថយការប្រើប្រាស់អង្គចងចាំ។

ល្បឿនមានសារៈសំខាន់បំផុតនៅក្នុងជំហានដែលមានកម្រិតសំឡេងខ្ពស់៖ ការហ្វឹកហាត់ជាមុន ដែលដំណើរការលើសញ្ញាសម្ងាត់រាប់ពាន់កោដិ និងគំរូ RL ដែលបង្កើតបរិមាណដ៏ធំនៃការដាក់ចេញ។ ទោះជាយ៉ាងណាក៏ដោយ ការឆ្លងកាត់ខាងក្រោយ គឺជាករណីពិសេសមួយ។ ការបង្ហោះពន្យល់ថាការថយក្រោយឆ្លងកាត់ជាមធ្យមលើសញ្ញាសម្ងាត់ជាច្រើនក្នុងមួយបាច់ ដែលបន្ថយផលប៉ះពាល់នៃកំហុសបង្គត់ដែលបានចែកចាយដោយចៃដន្យ ប៉ុន្តែពួកវាមានភាពរសើបខ្លាំងចំពោះភាពលំអៀងនៃបរិមាណ ដែលជាការរសាត់ជាប្រព័ន្ធដែលកើតឡើងនៅពេលដែលតម្លៃវិលជុំជាប់លាប់ក្នុងទិសដៅមួយ។ មិនដូចសំលេងរំខានចៃដន្យទេ ភាពលំអៀងនោះអាចផ្សំឡើងលើស្រទាប់ គំរូ និងជំហានហ្វឹកហាត់។

ក្រុមហ៊ុននិយាយថា ខ្លួនបានគ្រប់គ្រងការដោះដូរទាំងនេះ ខណៈពេលដែលការបណ្តុះបណ្តាល Inkling 2 Small ដែលជាគំរូចម្រុះទម្ងន់បើកចំហរបស់អ្នកជំនាញដែលវាបានចេញផ្សាយកាលពីដើមខែនេះក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ។ ប្រកាសមិនអះអាងថាគ្រប់ផ្នែកនៃដំណើរការរត់ក្នុង 4 ប៊ីត; ផ្ទុយទៅវិញ វាពិពណ៌នាអំពីយុទ្ធសាស្ត្រពីចុងដល់ចប់ ដែលភាពជាក់លាក់នៃសមាសធាតុនីមួយៗត្រូវបានជ្រើសរើសដោយចេតនា ជាជាងទទួលមរតកតាមលំនាំដើម។

ហេតុអ្វីបានជាការបណ្តុះបណ្តាលភាពជាក់លាក់ទាបមានសារៈសំខាន់

សេដ្ឋកិច្ចនៅទីនេះគឺត្រង់។ Compute គឺជាថ្លៃដើមចម្បងនៅក្នុងការអភិវឌ្ឍន៍ម៉ូដែលខាងមុខ ហើយអ្នកលក់ផ្នែករឹងបាននឹងកំពុងប្រណាំងដើម្បីបន្ថែមការបង្កើនល្បឿនដែលមានភាពជាក់លាក់ទាបដល់ជំនាន់បន្ទះឈីបថ្មីនីមួយៗ។ Nvidia បានដាក់ទីតាំងគាំទ្រ NVFP4 នៅក្នុងវេទិកា Blackwell Ultra របស់ខ្លួនជាលក្ខណៈពិសេសចំណងជើង ហើយឧបករណ៍បង្កើនល្បឿនគូប្រជែងពី AMD, Google និងអ្នកផ្សេងទៀតផ្សាយពាណិជ្ជកម្មទម្រង់កាត់បន្ថយភាពជាក់លាក់របស់ពួកគេ។

ប្រសិនបើមន្ទីរពិសោធន៍ស្រាវជ្រាវអាចជំរុញបំពង់បណ្តុះបណ្តាលបន្ថែមទៀតទៅជាលេខនព្វន្ធ 4 ប៊ីតដោយសុវត្ថិភាព នោះថវិកាផ្នែករឹងដូចគ្នានឹងទិញការពិសោធន៍កាន់តែច្រើន សញ្ញាសម្ងាត់កាន់តែច្រើន ឬម៉ូដែលធំជាង។ នោះគឺជាអត្ថប្រយោជន៍ដ៏មានអត្ថន័យនៅក្នុងទីផ្សារដែលការចូលប្រើឧបករណ៍បង្កើនល្បឿនទំនើបគឺខ្វះខាត និងមានតម្លៃថ្លៃ។ វាក៏រួមផ្សំជាមួយនឹងការជំរុញដ៏ទូលំទូលាយរបស់ឧស្សាហកម្មឆ្ពោះទៅរកបច្ចេកទេសប្រសិទ្ធភាព ដូចជាការសន្និដ្ឋានអំពីបរិមាណ និងការឌិកូដស្មាន ដែលទាំងពីរនេះច្របាច់សមត្ថភាពកាន់តែច្រើនចេញពីផ្នែករឹងថេរ។

ការបង្ហោះក៏ជាសញ្ញានៃកន្លែងដែលសហគមន៍ស្រាវជ្រាវកំពុងធ្វើដំណើរ។ ការហ្វឹកហ្វឺនដែលមានភាពជាក់លាក់ទាបត្រូវបានចាត់ទុកជាយូរមកហើយថាមានគ្រោះថ្នាក់ខ្លាំងពេកសម្រាប់អ្វីលើសពីការសន្និដ្ឋាន ពីព្រោះកំហុសបង្គត់ត្រូវបានសន្មតថាជាការរៀនខូច។ ការវិភាគតាមដំណាក់កាលដោយប្រយ័ត្នប្រយែង - ដូចជាម៉ាស៊ីនគិតដែលបានបោះពុម្ព - ​​គឺជារបៀបដែលការសន្មត់នេះត្រូវបានសាកល្បង ហើយប្រសិនបើអាចធ្វើទៅបាន វានឹងក្រឡាប់។

ពី Blog Post ទៅ Open Weights

អ្វី​ដែល​ធ្វើ​ឱ្យ​ការ​លាតត្រដាង​គួរ​ឱ្យ​កត់​សម្គាល់​នោះ​គឺ​ថា​វា​មិន​មែន​ជា​ទ្រឹស្ដី​សុទ្ធសាធ។ ក្រុមហ៊ុនបានភ្ជាប់បច្ចេកទេសដោយផ្ទាល់ទៅនឹងគំរូដែលខ្លួនបានដឹកជញ្ជូនពិតប្រាកដ។ Inkling 2 Small ត្រូវបានចេញផ្សាយជាមួយនឹងទម្ងន់ដែលអាចទាញយកបាននៅដើមខែវិច្ឆិកា ហើយការបង្ហោះថ្មីពន្យល់ពីយុទ្ធសាស្ត្រលេខនៅពីក្រោយការបណ្តុះបណ្តាលរបស់វា។ ជាក់ស្តែង អ្នកអនុវត្តដែលទាញយកគំរូនេះ គឺទទួលបានវត្ថុបុរាណដែលដំណើរការនៃវិធីសាស្ត្រដែលមានភាពជាក់លាក់ទាប ដែលក្រុមហ៊ុនបានពិពណ៌នា។

ម៉ាស៊ីនគិតត្រូវបានបើកមិនធម្មតាសម្រាប់មន្ទីរពិសោធន៍ខ្នាតព្រំដែន ដោយបោះផ្សាយប្រកាសប្លុកបច្ចេកទេស រួមជាមួយនឹងការចេញផ្សាយគំរូរបស់វា។ តម្លាភាពនោះផ្តល់ឱ្យអ្នកស្រាវជ្រាវខាងក្រៅនូវអ្វីមួយដែលកម្រ៖ គណនីដែលបានចងក្រងជាឯកសារ និងអាចផលិតឡើងវិញបានអំពីរបៀបដែលការហ្វឹកហាត់បែបទំនើបគ្រប់គ្រងភាពពិតនៃលេខដែលច្របូកច្របល់នៃនព្វន្ធភាពជាក់លាក់ចម្រុះ។

សម្រាប់ឧស្សាហកម្មទូលំទូលាយ សារគឺថាការបណ្តុះបណ្តាល 4 ប៊ីតបានផ្លាស់ប្តូរពីការចង់ដឹងចង់ឃើញនៃការស្រាវជ្រាវទៅជាបច្ចេកទេសផលិតកម្ម។ នៅពេលដែលមន្ទីរពិសោធន៍កាន់តែច្រើនទទួលយកយុទ្ធសាស្រ្តស្រដៀងគ្នានេះ គម្លាតរវាងការអនុវត្តកម្រិតខ្ពស់បំផុតនៃផ្នែករឹងផ្នែកទ្រឹស្តី និងដំណើរការបណ្តុះបណ្តាលដែលសម្រេចបាននឹងរួមតូច — ហើយតម្លៃនៃគំរូដែលមានសមត្ថភាពបណ្តុះបណ្តាលនឹងបន្តធ្លាក់ចុះ។

នាំមុខ AI

បច្ចេកទេសនៅពីក្រោយម៉ូដែល Frontier មានការវិវឌ្ឍន៍ប្រចាំសប្តាហ៍។ Follow AI Buzz Wire សម្រាប់ការរាយការណ៍ដែលមានប្រភពច្បាស់លាស់អំពីការស្រាវជ្រាវដែលកំណត់រូបរាងវាល។

អានព័ត៌មាន AI បន្ថែម →