DeepSeek មានប្រភពបើកចំហ DeepInfer ដែលជាក្របខ័ណ្ឌការសន្និដ្ឋានដែលមានប្រសិទ្ធភាពខ្ពស់ដែលមន្ទីរពិសោធន៍ AI របស់ចិននិយាយថាផ្តល់ថាមពលដល់សេវាកម្មផលិតកម្មខ្នាតធំរបស់ខ្លួន។ កូដនេះបានបង្ហាញខ្លួននៅលើ GitHub ក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ហើយបានប្រមូលផ្កាយជាង 5,500 រួចហើយក្នុងរយៈពេលប៉ុន្មានថ្ងៃបន្ទាប់ពីការពិភាក្សារបស់ Hacker News អំពីការចេញផ្សាយនេះបានទាក់ទាញការបោះឆ្នោតរាប់រយកាលពីថ្ងៃចន្ទ។

យោងតាម ​​README របស់គម្រោង ការចេញផ្សាយផ្តល់នូវការសន្និដ្ឋានក្រៅបណ្តាញជាមួយនឹងលក្ខណៈពិសេសស្នូល DeepSeek ពឹងផ្អែកលើដើម្បីបម្រើគំរូរបស់វាតាមខ្នាត។ ការកំណត់រចនាសម្ព័ន្ធលំនាំដើមកំណត់គោលដៅ DeepSeek-V4.1-Flash ហើយក្របខ័ណ្ឌនឹងទាញយកចំណុចត្រួតពិនិត្យ DeepSeek-V4.1-Flash-1017 ដោយស្វ័យប្រវត្តិពី Hugging Face នៅពេលដំណើរការលើកដំបូង។ For more context on this story, see our ongoing breaking AI news.

អ្វីដែល DeepInfer រួមបញ្ចូល

DeepInfer មិនមែនជាការសរសេរឡើងវិញពីកោសទេ។ វាភ្ជាប់ជាមួយខឺណែលឯកទេស DeepSeek ត្រូវបានបញ្ចេញជាដុំៗក្នុងរយៈពេលពីរឆ្នាំកន្លងមកនេះ — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect និងខឺណែល TileLang ផ្ទាល់ខ្លួន — ចូលទៅក្នុងពេលដំណើរការតែមួយជាមួយនឹងការប្រតិបត្តិគំរូ និងគំរូដែលបានសាងសង់នៅក្នុង។

ក្របខ័ណ្ឌនេះក៏បញ្ជូនបច្ចេកទេសបម្រើជាច្រើនដែលត្រូវបានចងក្រងជាឯកសារលម្អិតនៅក្នុងឃ្លាំង៖

  • ការផ្ទៀងផ្ទាត់ដែលបានកំណត់ពេលដោយទំនុកចិត្ត វិធីសាស្រ្តនៃការឌិកូដស្មានដែលប្រើថូខឹនព្រាង និងការប៉ាន់ប្រមាណទំនុកចិត្តដើម្បីកំណត់កាលវិភាគនៃការផ្ទៀងផ្ទាត់ ដែលអាចគ្រប់គ្រងបានតាមរយៈអថេរបរិស្ថាន។
  • Decoder SWA bounded replay ដែលកាត់បន្ថយការងារ decoder prefill ដោយគ្រាន់តែចាក់ឡើងវិញនូវបច្ច័យដែលមានព្រំដែននៃលំដាប់។
  • ការកំណត់ពេលអសមកាល ដែលត្រួតលើការកំណត់កាលវិភាគបាច់ស៊ីភីយូជាមួយនឹងការប្រតិបត្តិឧបករណ៍ បើកតាមលំនាំដើម
  • ការសន្និដ្ឋានជាបណ្តុំ-មិនប្រែប្រួល ដែលរក្សាលទ្ធផលគំរូដូចគ្នាបេះបិទលើសមាសភាពបាច់ផ្សេងៗគ្នា
  • ការយកគំរូតាមការកំណត់ បង្កើតលទ្ធផលដូចគ្នាបេះបិទសម្រាប់ធាតុចូលដូចគ្នា និងប៉ារ៉ាម៉ែត្រគំរូ
  • លទ្ធផលដែលមានរចនាសម្ព័ន្ធ កំណត់ជំនាន់ទៅជា regex គ្រោងការណ៍ JSON ឬវេយ្យាករណ៍ EBNF

ការរួមបញ្ចូលគ្នានេះគឺមានគោលបំណងសម្រាប់ប្រតិបត្តិករដែលត្រូវការការផលិតអត្ថបទដែលអាចផលិតឡើងវិញបាន ជាជាងការលេងសាកល្បង។ ភាពមិនប្រែប្រួលជាបាច់ និងគំរូកំណត់ក្នុងបញ្ហាជាក់លាក់សម្រាប់សហគ្រាសដែលត្រូវតែធ្វើសវនកម្មថាហេតុអ្វីបានជាគំរូផលិតលទ្ធផលដែលបានផ្តល់ឱ្យ។

NVIDIA និង Huawei Ascend នៅក្បែរគ្នា។

ព័ត៌មានលម្អិតដែលត្រូវបានគេមើលយ៉ាងជិតស្និទ្ធបំផុតគឺការគាំទ្រផ្នែករឹង។ DeepInfer កំណត់គោលដៅ NVIDIA SM100 GPUs តាមរយៈ CUDA 13 និង Huawei Ascend 950 NPUs តាមរយៈ CANN 9.2 ជាមួយនឹង Linux, GCC 13 និង Python 3.12 ដែលបានរាយបញ្ជីជាតម្រូវការជាមុនសម្រាប់ផ្លូវទាំងពីរ។

ជំហរវេទិកាពីរនោះគឺស្របជាមួយនឹងប្រវត្តិថ្មីៗរបស់ DeepSeek ។ ក្រុមហ៊ុនបានចំណាយពេលជាច្រើនខែក្នុងការបង្កើតកម្មវិធីដែលមានមូលដ្ឋានលើ TileLang សម្រាប់ផ្នែករឹង Ascend និងការសន្មត់ជាសាធារណៈថា CUDA គឺមិនអាចជំនួសបាន។ ការដឹកជញ្ជូនក្របខ័ណ្ឌការសន្និដ្ឋានផលិតកម្មដែលចាត់ទុក Ascend ជាពលរដ្ឋលំដាប់ទីមួយ - ជាជាងការស្រាវជ្រាវបន្ទាប់ - ពង្រីកយុទ្ធសាស្រ្តនោះ ហើយវាទៅដល់ពេលដែលការត្រួតពិនិត្យការនាំចេញរបស់សហរដ្ឋអាមេរិកបន្តដាក់កម្រិតលើបន្ទះឈីប Nvidia ដែលក្រុមហ៊ុនចិនអាចទិញបាន។

សម្រាប់ប្រតិបត្តិករពពករបស់ចិនដែលកំពុងដំណើរការស៊ីលីកុនក្នុងស្រុក ម៉ាស៊ីនសន្មតដែលរក្សាបានដែលគាំទ្រ Ascend 950 ដកចេញនូវឧបសគ្គជាក់ស្តែងមួយក្នុងការបម្រើម៉ូដែលបើកចំហថ្នាក់ព្រំដែននៅខាងក្រៅប្រព័ន្ធអេកូ Nvidia ។

អ្វីដែលបាត់ពីការចេញផ្សាយ

README គឺច្បាស់ណាស់ថានេះមិនទាន់ជាជង់បម្រើពេញលេញនៅឡើយទេ។ ការដាក់ពង្រាយផលិតកម្មដែលបានបង្កើតឡើងនៅលើ DeepInfer នៅតែត្រូវការសមាសធាតុបីដែលការចេញផ្សាយមិនរួមបញ្ចូល: ប្រព័ន្ធឃ្លាំងសម្ងាត់ KV ការបំពេញជាមុន និងការឌិកូដមិនបញ្ចូលគ្នា និងតុល្យភាពផ្ទុកឆ្លងកាត់ការចម្លងទិន្នន័យស្របគ្នា។ ឃ្លាំងកត់សម្គាល់ថាភាគច្រើននៃមុខងារម៉ាស៊ីនដែលត្រូវការសម្រាប់ការបំបែកត្រូវបានអនុវត្តរួចហើយ ប៉ុន្តែប្រព័ន្ធជុំវិញត្រូវបានទុកអោយប្រតិបត្តិករ។

នៅក្នុងការអនុវត្តដែលមានន័យថា DeepInfer ត្រូវបានគេយល់ច្បាស់ថាជាម៉ាស៊ីនគណនានៃហេដ្ឋារចនាសម្ព័ន្ធរបស់ DeepSeek ជាជាងជម្រើស turnkey សម្រាប់ក្របខ័ណ្ឌបម្រើសហគមន៍។ ក្រុមនៅតែត្រូវការបញ្ចូលវាជាមួយស្រទាប់ឃ្លាំងសម្ងាត់ និងកំណត់ផ្លូវ មុនពេលដាក់វានៅពីមុខចរាចរណ៍ពិតប្រាកដ។

ហេតុអ្វីវាសំខាន់

អាជីវកម្មរបស់ DeepSeek ពឹងផ្អែកលើការបម្រើម៉ូដែលដែលមានតំលៃថោកបំផុត ហើយសេដ្ឋកិច្ចនៃអាជីវកម្មនោះគឺជាប្រធានបទនៃការត្រួតពិនិត្យយ៉ាងខ្លាំងនៅពេលដែលក្រុមហ៊ុនឆ្ពោះទៅរកអ្វីដែលខ្លួនបានពិពណ៌នានៅពេលដែលតម្លៃផ្លាស់ប្តូរឆ្ងាយពីទីតាំងតម្លៃទាបរបស់វា។ ការបើកផ្លូវសន្និដ្ឋានផលិតកម្មពិតប្រាកដ - មិនមែនគ្រាន់តែជាកូដស្រាវជ្រាវទេ - ផ្តល់ឱ្យអ្នកអភិវឌ្ឍន៍ខាងក្រៅ និងអ្នកផ្តល់សេវាពពកមើលដោយផ្ទាល់ខុសពីបច្ចេកទេសអំពីការចំណាយទាំងនោះ។

វាក៏បន្តលំនាំដោយចេតនាផងដែរ។ FlashMLA, DeepGEMM, និង DeepEP ទាំងអស់ត្រូវបានចេញផ្សាយជាលក្ខណៈបុគ្គល នៅពេលដែលមន្ទីរពិសោធន៍បានសាងសង់ជង់របស់វា។ DeepInfer រៀបចំឯកសារយ៉ាងមានប្រសិទ្ធភាពពីរបៀបដែលបំណែកត្រូវគ្នា។ សម្រាប់អ្នកស្រាវជ្រាវ ការចេញផ្សាយនេះធ្វើឱ្យវាកាន់តែងាយស្រួលក្នុងការផលិតឡើងវិញនូវការអះអាងពីការអនុវត្តដែលបានបោះពុម្ពផ្សាយរបស់ DeepSeek ។ សម្រាប់ដៃគូប្រកួតប្រជែង វាបង្កើនរបារសម្រាប់អ្វីដែលរាប់ថាជាជង់ការសន្និដ្ឋានបើកចំហ។

អាជ្ញាប័ណ្ណ Apache 2.0 អនុញ្ញាតឱ្យប្រើប្រាស់ពាណិជ្ជកម្មដោយគ្មានកាតព្វកិច្ចចម្លងឆ្វេង ដែលមានន័យថាអ្នកផ្តល់សេវាពពកលោកខាងលិចអាចដាក់ឱ្យប្រើប្រាស់វាដោយស្របច្បាប់ — ទោះបីជាការគាំទ្រគំរូរបស់វាបច្ចុប្បន្នត្រូវបានកំណត់ចំពោះចំណុចត្រួតពិនិត្យ V4.1-Flash ផ្ទាល់របស់ DeepSeek ដូច្នេះភាគច្រើននឹងចាត់ទុកវាជាការអនុវត្តយោងសម្រាប់ពេលនេះ។

អ្វីដែលត្រូវមើល

សំណួរចំនួនបីនឹងកំណត់ថាតើ DeepInfer ត្រូវបានអនុម័តយ៉ាងទូលំទូលាយ ឬនៅតែជាការចង់ដឹងចង់ឃើញ។ ទីមួយ ថាតើសហគមន៍ភ្ជាប់វាលើសពី V4.1-Flash ទៅស្ថាបត្យកម្មគំរូផ្សេងទៀតដែរឬទេ។ ទីពីរ ថាតើលទ្ធផលគោលដែលបានបោះពុម្ពផ្សាយនៅក្នុងតារាងប្រតិបត្តិការរបស់ឃ្លាំងផ្ទុកនៅលើផ្នែករឹងនៅខាងក្រៅក្រុម DeepSeek ផ្ទាល់។ ទីបី ថាតើបំណែកដែលបាត់ — ការគ្រប់គ្រងឃ្លាំងសម្ងាត់ KV ការបំបែក និងតុល្យភាពបន្ទុក — មកដល់នៅក្នុងការចេញផ្សាយនាពេលអនាគត ដោយបង្វែរម៉ាស៊ីនទៅជាក្របខ័ណ្ឌបម្រើពេញលេញ។

សម្រាប់ពេលនេះ ការចេញផ្សាយនេះគឺជាការផ្លាស់ប្តូរតម្លាភាពគួរឱ្យកត់សម្គាល់ពីមន្ទីរពិសោធន៍ដែលបានជ្រើសរើសម្តងហើយម្តងទៀតដើម្បីបោះពុម្ពហេដ្ឋារចនាសម្ព័ន្ធនៅក្រោមគំរូរបស់វា។ អ្នកអភិវឌ្ឍន៍ដែលចង់ពិសោធន៍អាចបង្កើត DeepInfer ពីប្រភពនៅលើវេទិកាដែលគាំទ្រ និងដំណើរការការសន្និដ្ឋានក្រៅបណ្តាញជាមួយនឹងស្គ្រីបឧទាហរណ៍តែមួយ។

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →