Qualcomm បើកដំណើរការ Cloud AI 100 Ultra: 150W Inference Card ជាមួយនឹង Memory 128GB និង 870 TOPS

Qualcomm បានដាក់ឱ្យដំណើរការនូវ Cloud AI 100 Ultra ដែលជាឧបករណ៍បង្កើនល្បឿនការសន្និដ្ឋានរបស់មជ្ឈមណ្ឌលទិន្នន័យដែលផ្តល់ដល់ 870 TOPS នៃដំណើរការ INT8 និង 288 TFLOPS នៃ FP16 compute ខណៈពេលដែលគូរត្រឹមតែ 150 វ៉ាត់ ដែលជាប្រភាគនៃស្រោមសំបុត្រថាមពលនៃ GPUs ដែលបច្ចុប្បន្នគ្របដណ្ដប់លើការសន្និដ្ឋាន AI ទូទៅ។

កាតដែលបានរាយបញ្ជីនៅលើទំព័រផលិតផលមជ្ឈមណ្ឌលទិន្នន័យផ្លូវការរបស់ក្រុមហ៊ុន Qualcomm និងលម្អិតនៅក្នុងការគ្របដណ្តប់លើការចាប់ផ្តើម ត្រូវបានរចនាឡើងជាពិសេសសម្រាប់ AI ជំនាន់ថ្មី និងបន្ទុកគំរូភាសាធំ។ វាដាក់ទីតាំងយក្សនៃបន្ទះឈីបចល័តជាគូប្រជែងដោយផ្ទាល់នៅក្នុងទីផ្សារការសន្និដ្ឋាន ដែលតម្រូវការកំពុងកើនឡើងនៅពេលដែលសហគ្រាសដាក់ពង្រាយភ្នាក់ងារ AI អ្នកបើកយន្តហោះ និងកម្មវិធីដែលបង្កើនការទាញយកតាមខ្នាត។ សម្រាប់បរិបទបន្ថែមលើការប្រណាំងផ្នែករឹង AI សូមមើល [ការផ្សាយព័ត៌មាន AI] (https://aibuzzwire.news) របស់យើង។

លក្ខណៈបច្ចេកទេស៖ SRAM ទីមួយ DRAM ទីពីរ

បេះដូងនៃ Cloud AI 100 Ultra មាន 64 AI cores និង 576 MB នៃ on-die SRAM ។ ការភ្នាល់របស់ក្រុមហ៊ុន Qualcomm គឺថាការរក្សាទម្ងន់គំរូ និងការធ្វើឱ្យសកម្មនៅជិតឧបករណ៍កុំព្យូទ័រ ជាជាងការបិទរាល់សញ្ញាសម្ងាត់ទៅកាន់អង្គចងចាំខាងក្រៅ - បង់សម្រាប់ម៉ូដែលដែលមានមូលដ្ឋានលើប្លែង ដែលរស់នៅ និងស្លាប់នៅលើកម្រិតបញ្ជូននៃអង្គចងចាំ។

កាតនៅតែផ្ទុកអង្គចងចាំ 128 GB នៃ LPDDR4x ជាមួយនឹងកម្រិតបញ្ជូន 548 GB/s សម្រាប់ម៉ូដែលធំជាង និងបរិបទវែងជាង ដោយភ្ជាប់លើ PCIe Gen4 ដែលមាន 16 ផ្លូវ។ ការរួមបញ្ចូលគ្នានោះ - SRAM ធំ បូកនឹងការទាញថាមពល 150W តិចតួច - គឺជាភាពខុសគ្នានៃកាត។ GPUs មជ្ឈមណ្ឌលទិន្នន័យរបស់ Nvidia ជាធម្មតាមានចាប់ពី 300W ដល់ 700W ហើយរាល់វ៉ាត់គឺមានសារៈសំខាន់នៅពេលដែលការសន្និដ្ឋានត្រូវបានគិតថ្លៃដោយសញ្ញាសម្ងាត់ ហើយថាមពលមជ្ឈមណ្ឌលទិន្នន័យគឺជាធនធានដែលប្រកួតប្រជែងបំផុតរបស់ឧស្សាហកម្មនេះ។

ក្រុមហ៊ុនបាននិយាយនៅក្នុងសម្ភារៈផលិតផលរបស់ខ្លួនថា "Cloud AI 100 Ultra គឺជាការអនុវត្ត និងដំណោះស្រាយការសន្និដ្ឋាន AI ដែលត្រូវបានធ្វើឱ្យប្រសើរ" ដោយសង្កត់ធ្ងន់លើលទ្ធភាពនៃការសរសេរកម្មវិធីលើបន្ទុកការងារចាប់ពីចក្ខុវិស័យកុំព្យូទ័ររហូតដល់ដំណើរការភាសាធម្មជាតិ។

កម្មវិធី៖ ជា OpenAI-Compatible On-Ramp

Hardware មិនដែលមានបញ្ហារបស់ Qualcomm នៅក្នុងមជ្ឈមណ្ឌលទិន្នន័យទេ។ កម្មវិធីមាន។ ក្រុមហ៊ុនកំពុងដោះស្រាយជាមួយនឹង AI Inference Suite របស់ខ្លួន ដែលជាស្រទាប់កម្មវិធីដែលបង្ហាញ APIs ដែលត្រូវគ្នាជាមួយ OpenAI សម្រាប់បង្កើត chatbots, copilots និងភ្នាក់ងារ AI ។

ឈុតនេះគាំទ្រការជជែក ការបង្កើតរូបភាព ម៉ូដែលពហុម៉ូត និងលំហូរការងារនៃការបង្កើតឡើងវិញ (RAG) ហើយដាក់ពង្រាយតាមរយៈ Kubernetes ឬធុងដែកទទេ។ ក្រុមហ៊ុន Qualcomm ក៏បញ្ជូនឧបករណ៍គ្រប់គ្រងអ្នកប្រើប្រាស់ និងការគ្រប់គ្រងផងដែរ ដែលជាការបន្ថែមដ៏អាក្រក់ដែលការផ្តល់ឧបករណ៍បង្កើនល្បឿនឆៅជាញឹកញាប់ខ្វះ ប៉ុន្តែអ្វីដែលក្រុម IT សហគ្រាសមានទម្ងន់ធ្ងន់នៅពេលដែលពួកគេផ្លាស់ទីបន្ទុកការងារនៅក្នុងផ្ទះ។

ផ្ទៃ API ដែលត្រូវគ្នាជាមួយ OpenAI មានសារៈសំខាន់ជាយុទ្ធសាស្ត្រ៖ វាអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍ចង្អុលបំពង់ OpenAI-bound ដែលមានស្រាប់នៅផ្នែករឹងរបស់ Qualcomm ជាមួយនឹងការផ្លាស់ប្តូរការកំណត់រចនាសម្ព័ន្ធជាជាងការសរសេរឡើងវិញ ដោយកាត់បន្ថយការចំណាយលើការប្តូរដែលការពារភាពអសកម្មនៅក្នុងទីផ្សារនេះ។

វាលរហោស្ថានដែលមានអ្នកដឹកនាំច្បាស់លាស់

Qualcomm ចូលទៅក្នុងទីផ្សារការសន្និដ្ឋានដែលបានក្លាយជាសមរភូមិនៃវដ្ដផ្នែករឹង AI ។ L40S និង H100 របស់ Nvidia ត្រួតត្រា; MI300X របស់ AMD និង Gaudi 3 របស់ Intel កំណត់គោលដៅការងារដូចគ្នា; និងស៊ីលីកុនឯកទេសពី Groq និង Cerebras បានឆ្លាក់ចេញនូវ niches នៅលើល្បឿន inference ឆៅ។

ភាគីទាមទារពន្យល់ពីជម្លោះ។ ការបម្រើភ្នាក់ងារ AI និងបំពង់ RAG គុណនឹងចំនួននៃការហៅទូរសព្ទគំរូដែលសម័យអ្នកប្រើប្រាស់តែមួយបង្កើត ហើយរាល់ការហៅទូរសព្ទទាំងនោះគឺជាបញ្ហាសន្និដ្ឋានដែលត្រូវដោះស្រាយក្នុងតម្លៃទាបបំផុតក្នុងមួយនិមិត្តសញ្ញា។ Hyperscalers ទិញ racks នៃ GPUs កំពូលដើម្បីដោះស្រាយវា; សហគ្រាសនៅក្រោមពួកគេកំពុងស្វែងរកផ្នែករឹងដែលសមនឹងម៉ាស៊ីនមេស្តង់ដារ នៅលើសៀគ្វីថាមពលស្តង់ដារ ដោយមិនចាំបាច់ចរចាឡើងវិញនូវកិច្ចសន្យាអគ្គិសនីរបស់ពួកគេ។

ទីលានរបស់ Qualcomm គឺជាការចំណាយសរុបនៃភាពជាម្ចាស់ជាជាងដំណើរការខ្ពស់បំផុត។ សម្រាប់សហគ្រាសដែលកំពុងដំណើរការការសន្និដ្ឋានតាមមាត្រដ្ឋាន ការប្រើប្រាស់ថាមពលហូរដោយផ្ទាល់ទៅក្នុងការចំណាយប្រតិបត្តិការ ហើយកាតដែលផ្តល់ថាមពលប្រកួតប្រជែងនៅ 150W កាត់បន្ថយសេដ្ឋកិច្ចនៃ GPUs brute-force ។ ការបណ្តុះបណ្តាលនៅតែជាដែនរបស់ Nvidia — The Ultra មិនទាមទារអ្វីលើវាទេ ប៉ុន្តែការសន្និដ្ឋានគឺជាកន្លែងដែលសេដ្ឋកិច្ចឯកតារបស់ឧស្សាហកម្មត្រូវបានសម្រេចយ៉ាងពិតប្រាកដ ហើយវាគឺជាបន្ទុកការងារដែលសហគ្រាសភាគច្រើននឹងដំណើរការដោយខ្លួនឯង មិនថានៅក្នុងចង្កោមក្នុងបរិវេណ ឬទ្រុងកន្លែងរស់នៅនោះទេ។

ប្រព័ន្ធ​អេកូឡូស៊ី​នៅ​តែ​ជា​សមរភូមិ​ឡើង​ភ្នំ។ វេទិកា CUDA របស់ Nvidia នៅតែជាជម្រើសលំនាំដើមសម្រាប់អ្នកអភិវឌ្ឍន៍ AI ភាគច្រើន ហើយខណៈពេលដែល OpenAI-compatible APIs បន្ថយឧបសគ្គក្នុងការចូល ពួកគេមិនលុបបំបាត់ការងារឡើងវិញដែលទាមទារសម្រាប់បំពង់បង្ហូរការសន្និដ្ឋានផ្ទាល់ខ្លួនទេ។

កន្លែងដែលវាសមនឹងនៅក្នុងត្រកូលរបស់ Qualcomm

Ultra ស្ថិតនៅលើកំពូលនៃក្រុមការសន្និដ្ឋានរបស់ Qualcomm ដែលរួមបញ្ចូលផងដែរនូវ Cloud AI 80 Ultra (រហូតដល់ 618 TOPS នៃ INT8 ដែលមាន SRAM 576 MB ដូចគ្នា) Cloud AI 100 Pro និង Cloud AI 100 Standard ដែលកំណត់គោលដៅលើគែម និងការដាក់ពង្រាយទំហំតូចជាងជាមួយនឹងថាមពល 75W ។

ការបើកដំណើរការនេះតំណាងឱ្យជំនាន់បច្ចុប្បន្ននៃផែនទីបង្ហាញផ្លូវមជ្ឈមណ្ឌលទិន្នន័យ Dragonfly របស់ក្រុមហ៊ុន Qualcomm ដែលក្រុមហ៊ុនកំពុងអភិវឌ្ឍសម្រាប់បន្ទុកការងារ AI ខ្នាតពពក ហើយដែលឥឡូវនេះផ្តល់ឱ្យក្រុមហ៊ុន Qualcomm នូវអំណះអំណាងសម្រាប់សហគ្រាសដែលចង់ដំណើរការការសន្និដ្ឋាន AI ទូទៅនៅក្នុងបរិវេណជាជាងនៅក្នុងពពកសាធារណៈ មិនថាសម្រាប់តម្លៃ ភាពយឺតយ៉ាវ ឬហេតុផលអភិបាលកិច្ចទិន្នន័យ។

ការភ្នាល់ក្នុងមួយប្រយោគ

ក្រុមហ៊ុន Qualcomm កំពុងភ្នាល់ថា នៅពេលដែល AI ផ្លាស់ទីពីអ្នកធំមួយក្តាប់តូចទៅកាន់សហគ្រាសរាប់ពាន់ សន្លឹកបៀដែលឈ្នះរង្វាន់មិនមែនជាកាតដែលលឿនបំផុតនោះទេ ប៉ុន្តែជាកាតដែលមានប្រសិទ្ធភាពបំផុត។ Cloud AI 100 Ultra គឺជាអាគុយម៉ង់នៅក្នុងស៊ីលីកុន។ ថាតើអ្នកអភិវឌ្ឍន៍ធ្វើតាមវ៉ាត់នៅតែជាសំណួរបើកចំហ។

---

ស្នាក់នៅមុន AI

ទទួលបានព័ត៌មាន AI ការវិភាគ និងរបកគំហើញចុងក្រោយបំផុត — ទាំងអស់នៅកន្លែងតែមួយ។

អានព័ត៌មាន AI បន្ថែម →