Amazon បានប្រកាស TorchNeuron ដែលជាប្រភពបើកចំហរ PyTorch backend សម្រាប់គ្រួសារ Trainium នៃបន្ទះឈីប AI របស់ខ្លួនក្នុងការផ្លាស់ប្តូរមួយដែលដកចេញនូវឧបសគ្គជាក់ស្តែងដ៏ធំបំផុតក្នុងការទទួលយកស៊ីលីកុនផ្ទាល់ខ្លួនសម្រាប់បន្ទុកការងាររបស់ម៉ាស៊ីន។ យោងតាមការបង្ហោះជាផ្លូវការនៅលើប្លក់ PyTorch ដែលបានបោះពុម្ពមុនសន្និសីទ PyTorch នៅអាមេរិកខាងជើងនៅថ្ងៃទី 20 ខែតុលា អ្នកអភិវឌ្ឍន៍អាចដំណើរការកូដគំរូ PyTorch ដែលមានស្រាប់នៅលើ Trainium ជាមួយនឹងការផ្លាស់ប្តូរបន្ទាត់តែមួយ ជាជាងការសរសេរឡើងវិញនូវលំហូរការងាររបស់ពួកគេជុំវិញឧបករណ៍ដែលមានកម្មសិទ្ធិ។

សេចក្តីប្រកាសនេះបានទាក់ទាញការយកចិត្តទុកដាក់ភ្លាមៗ ព្រោះវាផ្តោតលើអ្វីដែលអ្នកវិភាគបានពិពណ៌នាជាយូរមកហើយថាជាអត្ថប្រយោជន៍ប្រើប្រាស់បានយូរបំផុតរបស់ Nvidia: មិនមែនជាដំណើរការបន្ទះឈីបឆៅនោះទេ ប៉ុន្តែប្រព័ន្ធអេកូសូហ្វវែរ CUDA ដែលភ្ជាប់អ្នកអភិវឌ្ឍន៍ទៅនឹង GPUs របស់វា។ Reuters បានកំណត់ការចេញផ្សាយនេះ ខណៈដែលក្រុមហ៊ុន Amazon និយាយថាបន្ទះឈីប AI របស់វានឹងដំណើរការជាមួយនឹងក្របខ័ណ្ឌអភិវឌ្ឍន៍ដ៏ពេញនិយមបំផុតនៅក្នុង AI ខណៈដែល TechCrunch បានហៅ TorchNeuron ថាជាការបាញ់ប្រហារដ៏ធំបំផុតរបស់ក្រុមហ៊ុននៅ Nvidia នៅឡើយ។ សម្រាប់ទិដ្ឋភាពកាន់តែទូលំទូលាយអំពីរបៀបដែលទីផ្សារបង្កើនល្បឿនកំពុងផ្លាស់ប្តូរ ការផ្សាយព័ត៌មានផ្នែករឹង AI ដែលកំពុងដំណើរការរបស់យើងតាមដានការអភិវឌ្ឍន៍ទាំងនេះនៅពេលវាលាតត្រដាង។

អ្វីដែល TorchNeuron ពិតជាផ្លាស់ប្តូរ

ការសន្យាស្នូលរបស់ TorchNeuron គឺភាពសាមញ្ញ។ នៅក្នុងឧទាហរណ៍ដែលបានចេញផ្សាយនៅលើប្លក់ PyTorch រង្វិលជុំហ្វឹកហាត់ដែលមានស្រាប់ដំណើរការលើ Trainium បន្ទាប់ពីគ្មានអ្វីក្រៅពីការផ្លាស់ទីម៉ូដែលទៅឧបករណ៍ថ្មីដោយប្រើ `.to('neuron')`។ កូដដែលសរសេរប្រឆាំងនឹង `torch.accelerator` ដែលជា API agnostic របស់ឧបករណ៍ដែលបានណែនាំរបស់ PyTorch ដំណើរការដោយមិនបានកែប្រែ នេះបើយោងតាមការបង្ហោះ។ សម្រាប់បន្ទុកការងារដែលបានចងក្រង អ្នកអភិវឌ្ឍន៍បានកំណត់កម្មវិធីខាងក្រោយលំនាំដើមម្តងជាមួយ `torch.compiler.set_default_backend("neuron")` ហើយបន្ទាប់មកហៅ `model.compile()` ដោយមិនមានការផ្លាស់ប្តូរបន្ថែមទេ។

នៅក្រោមក្រណាត់ TorchNeuron ចុះឈ្មោះ Trainium តាមរយៈ PrivateUse1 ដែលជាចំណុចបន្ថែមផ្លូវការរបស់ PyTorch សម្រាប់ផ្នែកខាងក្រោយផ្នែករឹងផ្ទាល់ខ្លួន ដែលមានន័យថាបន្ទះឈីបមានឥរិយាបថជាឧបករណ៍ PyTorch ស្តង់ដារជាជាងការបន្ថែមផ្នែកបន្ថែមទៅក្នុងក្របខ័ណ្ឌ។ AWS ពិពណ៌នាអំពីការរួមបញ្ចូលថាមានរបៀបប្រតិបត្តិជាច្រើន៖

  • ការប្រតិបត្តិដោយអន្ទះសារ សម្រាប់ការស្រាវជ្រាវ និងការបំបាត់កំហុស ជាមួយនឹងការពិសោធន៍ "របៀបសម្របខ្លួន" ដែលកាត់បន្ថយការបើកដំណើរការ។
  • torch.compile សម្រាប់ដំណើរការផលិត ការចាប់យកគំរូចូលទៅក្នុងក្រាហ្វដែលកម្មវិធីចងក្រង Neuron ធ្វើឱ្យប្រសើរ ដោយមានការគាំទ្រដើមសម្រាប់ FlexAttention
  • ចំណុចប្រទាក់ Neuron Kernel (NKI) សម្រាប់អ្នកស្រាវជ្រាវដែលត្រូវការខឺណែលកម្រិតទាបផ្ទាល់ខ្លួន

ផ្នែកខាងក្រោយដំណើរការទាំង Trainium2 និងបន្ទះឈីប Trainium3 ថ្មីជាងនេះបើយោងតាមការប្រកាស។

ការវាយប្រហារដោយផ្ទាល់នៅ Moat កម្មវិធីរបស់ Nvidia

ការក្តាប់របស់ Nvidia លើ AI computing មិនដែលសម្រាកលើ hardware លឿនជាងនេះទេ។ CUDA ដែលជាវេទិកាផ្នែកទន់ដែលមានអាយុកាលពីរទសវត្សរ៍របស់ក្រុមហ៊ុន គឺជាកន្លែងដែលកូដស្រាវជ្រាវ AI ភាគច្រើនត្រូវបានសរសេរ សម្រួល និងដាក់ឱ្យប្រើប្រាស់ ហើយរាល់បន្ទះឈីបប្រកួតប្រជែង - ពីបន្ទាត់ Instinct របស់ AMD ទៅ TPUs របស់ Google និង Amazon's Trainium - ត្រូវប្រឈមនឹងការចំណាយនៃការស្នើសុំឱ្យអ្នកអភិវឌ្ឍន៍ចាកចេញពីវា។ ការគ្របដណ្តប់នៃការបើកដំណើរការ TorchNeuron នៅក្នុង GeekWire, Benzinga, និង GuruFocus បានធ្វើឱ្យមានការប្រកាសថាជាការវាយលុកនៅលើប្រឡាយនោះ។

Amazon មិនព្យាយាមទាញអ្នកអភិវឌ្ឍន៍ចេញពី PyTorch ដើម្បីឈ្នះពួកគេទេ។ ផ្ទុយទៅវិញ វាកំពុងនាំយក Trainium ចូលទៅក្នុង PyTorch ដូច្នេះមូលដ្ឋានអ្នកប្រើប្រាស់ដ៏ធំសម្បើមរបស់ក្របខ័ណ្ឌអាចទទួលយកបន្ទះឈីបដោយមិនផ្លាស់ប្តូរទម្លាប់។ ការបង្ហោះប្លក់របស់ PyTorch រួមបញ្ចូលការយល់ព្រមពី Meta ដែលរក្សាក្របខ័ណ្ឌ៖ "ការគាំទ្រដើមសម្រាប់ AWS Trainium ពង្រីកជម្រើសនោះ ធ្វើឱ្យអ្នកស្រាវជ្រាវ និងវិស្វករធ្វើការពិសោធន៍ និងធ្វើឡើងវិញដោយប្រើការប្រតិបត្តិដោយអន្ទះសារ និងចែកចាយ APIs ដែលពួកគេដឹងរួចហើយ" Jana van Greunen នាយកផ្នែកវិស្វកម្ម PyTorch នៅ Meta បាននិយាយនៅក្នុងការប្រកាស។

ស៊ុមនោះមានសារៈសំខាន់សម្រាប់អាជីវកម្មពពករបស់ AWS ។ គំរូ Trainium ត្រូវបានគេដាក់លក់នៅលើទីផ្សារជាជម្រើសដែលមានតម្លៃទាបសម្រាប់ Nvidia GPUs សម្រាប់ការបណ្តុះបណ្តាល និងការសន្និដ្ឋាន ហើយបន្ទះឈីបបានទាក់ទាញអតិថិជន AI រួចហើយ។ ការធ្វើឱ្យបន្ទះសៀគ្វីមានអារម្មណ៍ថាមានដើមកំណើតពី PyTorch ដោយផ្ទាល់ដោះស្រាយការជំទាស់ដែលបានធ្វើឱ្យយឺតយ៉ាវក្នុងការទទួលយកកាន់តែទូលំទូលាយ៖ ការខិតខំប្រឹងប្រែងបញ្ជូន។

វិសាលភាពបច្ចេកទេស ចាប់ពីសៀវភៅកត់ត្រារហូតដល់ការបណ្តុះបណ្តាលខ្នាតចង្កោម

សមត្ថភាពដែលបានរាយបញ្ជីនៅលើប្លក់ PyTorch បង្ហាញថាក្រុមហ៊ុន Amazon មានគោលបំណងលើសពីការពិសោធន៍ចំណង់ចំណូលចិត្ត។ TorchNeuron គ្របដណ្ដប់លើសំណុំប្រតិបត្តិករដែលបានឃើញនៅទូទាំងគំរូភាសា អត្ថបទ ពហុម៉ូឌុល និងចក្ខុវិស័យ ព្រមទាំងការបង្កើតរូបភាព និងវីដេអូ គំរូលំហរដ្ឋ និងគំរូពិភពលោក ជាមួយនឹងភាពជាក់លាក់ BF16, FP32 និង FP16 ។ ការគាំទ្រ TorchAO និង FP8 គឺស្ថិតនៅក្នុងបេតាឯកជន មុនពេលដែលអាចរកបានទូទៅនៅក្នុងការចេញផ្សាយបន្ទាប់។

ការបណ្តុះបណ្តាលដែលបានចែកចាយ វិន័យដែលប្រែលេខកូដ GPU តែមួយទៅជាការដំណើរការខ្នាតចង្កោម ត្រូវបានគាំទ្រតាមរយៈស្តង់ដារ PyTorch APIs - DDP, FSDP2, SimpleFSDP, tensor and pipeline parallelism, និង ZeRO-style sharding រួមជាមួយនឹង DTensor និង DeviceMesh សម្រាប់ក្រុមដំណើរការពហុវិមាត្រ។ សារបង្ហោះបាននិយាយថា ស្ទ្រីម និងព្រឹត្តិការណ៏ផ្គូផ្គងអត្ថន័យរបស់ PyTorch ទៅលើជួរផ្នែករឹងរបស់ Trainium ។

សម្រាប់ការសន្និដ្ឋាន បណ្តុំ Neuron របស់ក្រុមហ៊ុន Amazon បង្កើតនៅលើមូលដ្ឋានតែមួយ៖ vLLM Neuron បម្រើគំរូភាសាធំៗ ខណៈដែល vLLM Omni Neuron បម្រើគំរូចែកចាយសម្រាប់ការបង្កើតរូបភាព និងវីដេអូ។ ចំណុចប្រទាក់ Neuron Kernel Interface អនុញ្ញាតឱ្យអ្នកស្រាវជ្រាវសរសេរប្រតិបត្តិករផ្ទាល់ខ្លួនសម្រាប់ការប្រតិបត្តិដោយអន្ទះសារ និងចងក្រង ហើយ AWS គឺជាប្រភពបើកចំហរ NKI-lib ដែលជាសំណុំនៃខឺណែលដែលត្រូវបានកែលម្អដោយ Trainium ដែលគ្របដណ្តប់លើ FlashAttention និង MoE ការគណនាទប់ស្កាត់សម្រាប់ LLM សំខាន់ៗ និងសេណារីយ៉ូពហុម៉ូឌុល។

ឧបករណ៍អនុវត្តត្រូវបានរួមបញ្ចូលផងដែរ។ Neuron Explorer ពង្រីកស្តង់ដារ 'torch.profiler' ដើម្បីតាមដានការប្រតិបត្តិពីក្របខ័ណ្ឌទៅផ្នែករឹង ដោយភ្ជាប់រាល់ព្រឹត្តិការណ៍ត្រឡប់ទៅបន្ទាត់ប្រភពរបស់វា ហើយអាចនាំចេញម៉ែត្រដែលធ្វើទ្រង់ទ្រាយ parquet ដែលកំណត់ត្រាប្រកាសអាចត្រូវបានប្រើប្រាស់ដោយភ្នាក់ងារសម្រាប់ការវិភាគបញ្ហាស្ទះដោយស្វ័យប្រវត្តិ។

ភាពអាចរកបាន និងអ្វីដែលមកបន្ទាប់

TorchNeuron ត្រូវបានកំណត់សម្រាប់ការបើកដំណើរការប្រភពបើកចំហរបស់ខ្លួននៅឯសន្និសិទ PyTorch អាមេរិកខាងជើងនៅថ្ងៃទី 20 ខែតុលា តាមការប្រកាសប្លក់ ជាមួយនឹងភាពឆបគ្នាបានពង្រីកដល់ Hugging Face Transformers v5. AWS ពិពណ៌នាអំពី Trainium ជាផលប័ត្រនៃបន្ទះឈីបដែលបានរចនាឡើងសម្រាប់ការបណ្តុះបណ្តាល AI ខ្នាតពពក និងការសន្និដ្ឋាន។

បរិបទយុទ្ធសាស្រ្តគឺជាទីផ្សារដែលគ្រប់អ្នកផ្តល់សេវាពពកធំ ៗ ក្នុងពេលដំណាលគ្នាជាអ្នកទិញធំបំផុតនៃ Nvidia accelerators និងជាគូប្រកួតប្រជែង។ Microsoft, Google និង Meta សុទ្ធតែបង្កើតស៊ីលីកុនផ្ទាល់ខ្លួន ហើយក្រុមហ៊ុនចិនរួមទាំងក្រុមហ៊ុន Huawei កំពុងបង្កើតកម្មវិធីកុំព្យូទ័រផ្ទាល់ខ្លួនរបស់ពួកគេ ដើម្បីគេចចេញពីទំនាញរបស់ CUDA ។ ដោយការជួបអ្នកអភិវឌ្ឍន៍នៅខាងក្នុង PyTorch ជាជាងសុំឱ្យពួកគេធ្វើចំណាកស្រុក Amazon បានជ្រើសរើសផ្លូវដែលរំខានតិចបំផុតទៅក្នុងការប្រកួតនោះ ហើយទំនងបំផុត ប្រសិនបើបទពិសោធន៍អ្នកអភិវឌ្ឍន៍រក្សាបាន ដើម្បីផ្លាស់ទីបន្ទុកការងារហ្វឹកហាត់ពិតប្រាកដចេញពីផ្នែករឹងរបស់ Nvidia ។

ថាតើ TorchNeuron លុបបំបាត់អត្ថប្រយោជន៍របស់ CUDA យ៉ាងពិតប្រាកដនឹងអាស្រ័យលើការអនុវត្តន៍តាមមាត្រដ្ឋាន និងកន្ទុយដ៏វែងនៃម៉ូដែលពិភពលោកពិត ឬយ៉ាងណានោះ សំណួរដែលសម្ភារៈចាប់ផ្តើមមិនមានចម្លើយទេ។ ប៉ុន្តែឧបសគ្គដែលរារាំងអ្នកអភិវឌ្ឍន៍ PyTorch ភាគច្រើនពីការព្យាយាម Trainium - សរសេរឡើងវិញ - ឥឡូវនេះត្រូវបានបន្ទាបទៅបន្ទាត់តែមួយ។

---

ស្នាក់នៅមុន AI

ទទួលបានព័ត៌មាន AI ការវិភាគ និងរបកគំហើញចុងក្រោយបំផុត — ទាំងអស់នៅកន្លែងតែមួយ។

អានព័ត៌មាន AI បន្ថែម →