DeepSeek ina DeepInfer ya chanzo huria, mfumo wa uelekezaji wa utendaji wa juu ambao maabara ya AI ya Uchina inasema inasimamia huduma zake za uzalishaji wa kiwango kikubwa. Nambari hiyo ilionekana kwenye GitHub chini ya leseni ya Apache 2.0 na tayari ilikuwa imekusanya zaidi ya nyota 5,500 ndani ya siku chache, baada ya mjadala wa Habari wa Hacker kuhusu toleo hilo kuibua mamia ya kura Jumatatu.
Kulingana na README ya mradi, toleo linatoa makisio ya nje ya mtandao na vipengele vya msingi ambavyo DeepSeek hutegemea kutoa miundo yake kwa kiwango. Usanidi chaguo-msingi unalenga DeepSeek-V4.1-Flash, na mfumo huo unapakua kiotomatiki kituo cha ukaguzi cha DeepSeek-V4.1-Flash-1017 kutoka Hugging Face mara ya kwanza. For more context on this story, see our ongoing breaking AI news.
Nini DeepInfer inajumuisha
DeepInfer sio maandishi kutoka mwanzo. Inaunganisha pamoja kokwa maalum za DeepSeek imekuwa ikitoa kipande baada ya nyingine kwa muda wa miaka miwili iliyopita - FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, na kokwa maalum za TileLang - katika wakati mmoja wa utekelezaji na utekelezaji wa sampuli na sampuli iliyojengwa ndani.
Mfumo huo pia husafirisha mbinu kadhaa za kuhudumia ambazo zimeandikwa kwa kina kwenye hazina:
- Uthibitishaji ulioratibiwa kwa imani, mbinu ya kubahatisha ya usimbaji inayotumia tokeni za rasimu na makadirio ya imani ili kuratibu uthibitishaji, kudhibitiwa kupitia vigeu vya mazingira.
- Uchezaji wa marudio wenye mipaka wa avkodare SWA, ambao hupunguza kazi ya ujazo wa awali wa avkodare kwa kucheza tena kiambishi chenye mipaka cha mfuatano huo.
- Ratiba ya Asynchronous ambayo inaingiliana na upangaji wa bechi ya CPU na utekelezaji wa kifaa, unaowezeshwa na chaguo-msingi
- Maelekezo yasiyobadilika kwa kundi, ambayo huweka matokeo ya muundo kufanana katika utunzi wa bechi tofauti
- Sampuli bainifu, ikitoa matokeo yanayofanana kwa pembejeo zinazofanana na vigezo vya sampuli
- Matokeo yaliyoundwa, yanayolazimisha kizazi kwa regex, schema ya JSON, au sarufi ya EBNF
Mchanganyiko huo unalenga kikamilifu waendeshaji wanaohitaji uzalishaji wa maandishi unaoweza kuzaliana, wa juu zaidi badala ya uchezaji wa majaribio. Kutobadilika kwa kundi na sampuli bainifu hasa kwa biashara ambazo lazima zikague ni kwa nini muundo ulitoa matokeo fulani.
NVIDIA na Huawei Ascend, bega kwa bega
Maelezo yaliyoangaliwa zaidi ni usaidizi wa vifaa. DeepInfer inalenga GPU za NVIDIA SM100 kupitia CUDA 13 na Huawei Ascend 950 NPUs kupitia CANN 9.2, huku Linux, GCC 13, na Python 3.12 zikiwa zimeorodheshwa kuwa sharti la njia zote mbili.
Msimamo huo wa majukwaa mawili unalingana na historia ya hivi majuzi ya DeepSeek. Kampuni hiyo imetumia miezi kadhaa kutengeneza programu inayotegemea TileLang ya vifaa vya Ascend na kutoa changamoto hadharani kwa dhana kwamba CUDA haiwezi kubadilishwa. Kusafirisha mfumo wa makisio ya uzalishaji ambao unachukulia Ascend kama raia wa daraja la kwanza - badala ya mawazo ya baadaye ya utafiti - huongeza mkakati huo, na inatua wakati udhibiti wa usafirishaji wa Amerika unaendelea kuweka vizuizi ambavyo kampuni za Kichina zinaweza kununua.
Kwa waendeshaji wa wingu wa China wanaotumia silicon ya nyumbani, injini ya uelekezaji iliyodumishwa ambayo inaauni Ascend 950 huondoa mojawapo ya vizuizi vinavyotumika vya kuhudumia miundo ya hali ya juu nje ya mfumo ikolojia wa Nvidia.
Ni nini kinakosekana kwenye toleo
README iko wazi kuwa hii bado si safu kamili ya huduma. Usambazaji wa toleo la umma uliojengwa kwenye DeepInfer bado unahitaji vipengee vitatu ambavyo toleo halijumuishi: mfumo wa akiba ya KV, utenganishaji wa kujaza mapema na kusimbua, na usawazishaji wa upakiaji kwenye nakala sambamba za data. Hifadhi inabainisha kuwa utendakazi mwingi wa injini unaohitajika kwa utenganishaji tayari umetekelezwa, lakini mifumo inayozunguka imeachwa kwa mwendeshaji.
Kimsingi hiyo inamaanisha kuwa DeepInfer inaeleweka vyema kama injini ya kukokotoa ya miundombinu ya DeepSeek badala ya njia mbadala ya mifumo ya kuhudumia jamii. Timu bado zingehitaji kuiunganisha na kuweka akiba na safu za uelekezaji kabla ya kuiweka mbele ya trafiki halisi.
Kwa nini ni muhimu
Biashara ya DeepSeek inategemea kutoa mifano kwa bei nafuu sana, na uchumi wa biashara hiyo umekuwa jambo la kuchunguzwa sana kampuni inapoelekea kile ilichoeleza kuwa bei inasonga mbali na nafasi yake ya awali ya gharama nafuu. Kufungua njia halisi ya uelekezaji wa uzalishaji - sio tu nambari ya utafiti - huwapa watengenezaji wa nje na watoa huduma za wingu mtazamo wa moja kwa moja usio wa kawaida wa mbinu za nyuma ya gharama hizo.
Pia inaendelea muundo wa makusudi. FlashMLA, DeepGEMM, na DeepEP zote zilitolewa kivyake kwani maabara ilijenga mrundikano wake; DeepInfer inaandika kwa ufanisi jinsi vipande vinafaa pamoja. Kwa watafiti, toleo hurahisisha kutoa madai ya utendaji yaliyochapishwa ya DeepSeek. Kwa washindani, inainua upau kwa kile kinachohesabiwa kuwa safu iliyo wazi ya uelekezaji.
Leseni ya Apache 2.0 inaruhusu matumizi ya kibiashara bila masharti ya nakala, ambayo ina maana kwamba watoa huduma wa wingu wa Magharibi wanaweza kuituma kihalali - ingawa usaidizi wake wa kielelezo kwa sasa umezuiwa kwa ukaguzi wa DeepSeek wa V4.1-Flash, kwa hivyo wengi wataichukulia kama utekelezaji wa marejeleo kwa sasa.
Nini cha kutazama
Maswali matatu yataamua ikiwa DeepInfer itakubaliwa na watu wengi au itabaki kuwa udadisi. Kwanza, iwe jumuiya inaiweka zaidi ya V4.1-Flash hadi miundo mingine ya miundo. Pili, ikiwa matokeo ya ulinganishaji yaliyochapishwa katika jedwali za utendaji za hazina yanashikilia maunzi nje ya nguzo za DeepSeek. Tatu, iwe vipande vilivyokosekana - usimamizi wa akiba ya KV, utenganishaji, na kusawazisha upakiaji - hufika katika matoleo yajayo, na kugeuza injini kuwa mfumo kamili wa huduma.
Kwa sasa, toleo hili ni hatua inayojulikana ya uwazi kutoka kwa maabara ambayo imechagua mara kwa mara kuchapisha miundo msingi chini ya miundo yake. Wasanidi programu wanaotaka kufanya majaribio wanaweza kuunda DeepInfer kutoka chanzo kwenye aidha mfumo unaotumika na kuendesha makisio ya nje ya mtandao kwa kutumia hati ya mfano mmoja.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
