Qualcomm imezindua Cloud AI 100 Ultra, kichapuzi cha uelekezaji cha kituo cha data ambacho hutoa hadi TOPS 870 za utendakazi wa INT8 na TFLOPS 288 za komputa ya FP16 huku ikichora wati 150 tu - sehemu ya bahasha ya nguvu ya GPU ambayo kwa sasa inatawala uelekezaji wa AI ya uzalishaji.
Kadi, iliyoorodheshwa kwenye ukurasa rasmi wa bidhaa wa kituo cha data cha Qualcomm na iliyofafanuliwa kwa kina katika uwasilishaji wa uzinduzi, imeundwa mahususi kwa AI genereshi na mizigo mikubwa ya kazi ya lugha. Inaweka kampuni kubwa ya simu kama mpinzani wa moja kwa moja katika soko la makisio, ambapo mahitaji yanaongezeka huku makampuni ya biashara yanapopeleka maajenti wa AI, waendeshaji nakala na urejeshaji-programu zilizoboreshwa kwa kiwango kikubwa. Kwa muktadha zaidi kuhusu mbio za maunzi za AI, angalia habari zetu za AI.
Vipimo: SRAM Kwanza, DRAM Pili
Kiini cha Cloud AI 100 Ultra kuna cores 64 za AI na 576 MB za on-die SRAM. Madau ya Qualcomm ni kwamba kuweka uzani wa kielelezo na uanzishaji karibu na vitengo vya kukokotoa - badala ya kuhamisha kila ishara hadi kwenye kumbukumbu ya nje - hulipa kwa miundo inayotegemea transfoma, ambayo huishi na kufa kwenye kipimo data cha kumbukumbu.
Kadi bado ina kumbukumbu ya GB 128 ya LPDDR4x na 548 GB/s ya kipimo data kwa miundo mikubwa na miktadha mirefu, iliyounganishwa juu ya PCIe Gen4 na njia 16. Mchanganyiko huo - SRAM kubwa ya on-die pamoja na droo ya wastani ya 150W - ndio kitofautishi cha kadi. GPU za kituo cha data cha Nvidia kwa kawaida huanzia 300W hadi 700W, na kila wati ni muhimu wakati makisio yanapotozwa tokeni na nguvu ya kituo cha data ndiyo rasilimali inayoshindaniwa zaidi katika tasnia.
"Cloud AI 100 Ultra ni suluhu ya utendaji na iliyoboreshwa kwa gharama ya AI," kampuni hiyo ilisema katika nyenzo zake za bidhaa, ikisisitiza usanidi wa kazi zote kuanzia maono ya kompyuta hadi usindikaji wa lugha asilia.
Programu: Njia panda Inayooana na OpenAI
Vifaa havijawahi kuwa tatizo la Qualcomm katika kituo cha data; programu ina. Kampuni inashughulikia hilo kwa kutumia AI Inference Suite yake, safu ya programu inayofichua API zinazooana na OpenAI za kutengeneza gumzo, waendeshaji nakala na mawakala wa AI.
Kitengo hiki kinaweza kutumia gumzo, utengenezaji wa picha, miundo mingi na mtiririko wa kazi wa kizazi kilichoboreshwa (RAG), na hutumika kupitia Kubernetes au vyombo visivyo na chuma. Qualcomm pia husafirisha zana za usimamizi na usimamizi wa watumiaji - nyongeza isiyopendeza ambayo matoleo mbichi ya kiongeza kasi mara nyingi hukosa, lakini ambayo timu za biashara za IT huwa na uzito mkubwa zinapohamisha mizigo ya kazi ndani ya nyumba.
Sehemu ya API inayooana na OpenAI ni muhimu kimkakati: inawaruhusu wasanidi programu kuelekeza mabomba yaliyopo kwenye OpenAI kwenye maunzi ya Qualcomm na mabadiliko ya usanidi badala ya kuandika upya, na hivyo kupunguza gharama ya kubadili ambayo imelinda uwajibikaji katika soko hili.
Uwanja Uliosongamana Na Kiongozi Mmoja Wazi
Qualcomm inaingia kwenye soko la makisio ambalo limekuwa uwanja wa vita wa mzunguko wa maunzi wa AI. L40S ya Nvidia na H100 inatawala; MI300X ya AMD na Gaudi 3 ya Intel inalenga mzigo sawa wa kazi; na silikoni maalumu kutoka Groq na Cerebras imechonga nichi kwa kasi ghafi ya makisio.
Upande wa mahitaji unaelezea kinyang'anyiro. Kuhudumia mawakala wa AI na mabomba ya RAG huzidisha idadi ya simu za modeli zinazotolewa na kipindi kimoja cha mtumiaji, na kila mojawapo ya simu hizo ni tatizo la makisio linalopaswa kutatuliwa kwa gharama ya chini kabisa kwa kila tokeni. Hyperscalers kununua racks ya bendera GPUs kushughulikia hilo; makampuni ya biashara chini yao yanatafuta maunzi ambayo yanalingana na seva ya kawaida, kwenye mzunguko wa kawaida wa nguvu, bila kujadili upya mikataba yao ya umeme.
Kiwango cha Qualcomm ni jumla ya gharama ya umiliki badala ya utendaji wa kilele. Kwa biashara zinazoendesha makisio kwa kiwango, matumizi ya nishati hutiririka moja kwa moja katika gharama za uendeshaji, na kadi inayowasilisha matokeo shindani katika 150W inapunguza uchumi wa GPU za nguvu za kikatili. Mafunzo yanasalia kuwa kikoa cha Nvidia - Ultra haidai chochote juu yake - lakini makisio ni mahali ambapo uchumi wa kitengo cha tasnia huamuliwa, na ndio mzigo wa kazi ambao biashara nyingi zitajiendesha zenyewe, iwe katika nguzo ya ndani ya majengo au ngome ya kugawa.
Mfumo wa ikolojia wa programu unasalia kuwa vita vya kupanda. Jukwaa la CUDA la Nvidia bado ndilo chaguo-msingi kwa watengenezaji wengi wa AI, na wakati API zinazooana na OpenAI zinapunguza kizuizi cha kuingia, haziondoi urekebishaji unaohitajika kwa mabomba ya uelekezaji maalum.
Ambapo Inafaa katika Orodha ya Qualcomm
Ultra iko juu ya safu ya uelekezaji ya Qualcomm, ambayo pia inajumuisha Cloud AI 80 Ultra (hadi TOPS 618 za INT8 zilizo na MB 576 sawa za SRAM), Cloud AI 100 Pro, na Cloud AI 100 Standard, ambayo inalenga uwekaji wa makali na wa kiwango kidogo chenye nguvu za 75W.
Uzinduzi huu unawakilisha kizazi cha sasa cha ramani ya barabara ya kituo cha data cha Qualcomm's Dragonfly, ambayo kampuni imekuwa ikitengeneza kwa ajili ya upakiaji wa kazi wa AI wa kiwango cha wingu - na ambayo sasa inaipa Qualcomm hoja kwa makampuni ambayo yanataka kuendesha uelekezaji wa AI kwenye majengo badala ya wingu la umma, iwe kwa sababu za gharama, muda wa kusubiri au usimamizi wa data.
Dau, kwa Sentensi Moja
Qualcomm inaweka dau kuwa AI inapohama kutoka kwa wafanyabiashara wachache sana hadi maelfu ya biashara, kadi ya marejeleo inayoshinda sio ya haraka sana bali ndiyo yenye ufanisi zaidi. Cloud AI 100 Ultra ni hoja hiyo katika silicon; ikiwa wasanidi programu wanafuata wati linabaki kuwa swali wazi.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
