DeepSeek V4 Flash Inaendesha kwenye GPU Moja ya AMD MI300X, Hakuna Nvidia Inahitajika

Msanidi programu huru ameonyesha kuwa muundo wa V4 Flash wa DeepSeek, mfumo wa wataalam wa mchanganyiko wa vigezo bilioni 304, unaweza kufanya kazi katika uzalishaji kwenye AMD MI300X GPU moja, kupata tokeni 168.6 kwa sekunde katika kusimbua kwa mkondo mmoja bila kuzidisha uzito au kupakua. Kazi hiyo, iliyochapishwa kwenye GitHub na kuonekana juu ya Habari za Hacker mnamo Agosti 4, 2026, inatoa ushahidi wa wazi zaidi kwamba vifaa vya AMD vinaweza kutoa muundo wazi wa kiwango cha mpaka bila kutegemea Nvidia.

Hazina, inayodumishwa na msanidi Ryan Zhou, inajumuisha rundo kamili la Kutunga Docker, viwekeleo vya faili vilivyobandikwa, na majedwali ya kurekebisha kwa ajili ya kuendesha kituo cha ukaguzi cha DeepSeek-V4-Flash-0731 kwenye MI300X moja. Kwa wasomaji wanaofuatilia habari zinazochipuka za AI kwenye vita vya chip kati ya AMD na Nvidia, matokeo yake ni muhimu kwa sababu yanapinga dhana kwamba uelekezaji wa mipaka unahitaji maunzi ya hivi punde na ghali zaidi ya Nvidia.

##Nambari

Utendaji uliowekewa alama, unaopimwa kwenye mrundikano wa programu uliobandikwa kwa kutumia ROCm muundo wa usiku wa vLLM, unasimulia hadithi ya kuvutia kuhusu kile ambacho kiongeza kasi cha AMD kinaweza kufanya:

• Simbua kwa mtiririko mmoja: tokeni 168.6 kwa sekunde, haraka vya kutosha kwa gumzo la wakati halisi na mzigo wa kazi wa mawakala.

• Majazo ya awali: takriban tokeni 7,900 hadi 8,500 kwa sekunde zilizo na kokwa zilizoboreshwa, kumaanisha kwamba vidokezo virefu huchakatwa vizuri chini ya sekunde moja.

• Mitiririko minane kwa wakati mmoja: tokeni 542 kwa jumla ya sekunde, na tokeni 90.3 kwa sekunde kwa kila mkondo.

• Mlipuko wa mtiririko 64: tokeni 830 kwa mkusanyiko wa sekunde, bila hitilafu za nje ya kumbukumbu na hitilafu za injini.

• Urefu wa muktadha: Tokeni 256,000 zimethibitishwa katika majaribio, huku usanifu ukisaidia hadi milioni moja.

Muundo mzima unachukua gigabaiti 156.67 za kumbukumbu ya data-bandwidth ya juu, inafaa kabisa ndani ya bwawa la MI300X la 192-gigabyte HBM3. Hakuna quantization ya ziada au upakiaji wa uzito ulihitajika, ambayo huhifadhi usahihi kamili wa mfano.

Kwa nini MI300X Inafanya kazi

AMD MI300X ina sifa mbili zinazofanya uwekaji wa GPU moja wa modeli kuwa mkubwa hivi. Ina gigabaiti 192 za kumbukumbu ya HBM3, mara 2.4 ya uwezo wa Nvidia H100 SXM5, na terabytes 5.3 kwa sekunde ya kipimo data cha kumbukumbu. Uandishi tofauti wa msanidi programu aliyetambuliwa kama Fergus Finn, ambao uliweka msingi wa utumaji huu, ilikadiria kuwa MI300X inagharimu takriban nusu ya kulinganishwa kwa maunzi ya Nvidia kwa bei ya orodha.

Kwa sehemu hii ya ukaguzi ya parameta bilioni 304, uwezo wa kumbukumbu ndio jambo la kuamua. Muundo huu unafaa kabisa kwenye kumbukumbu ya on-chip, ukiacha nafasi ya hifadhi ya akiba ya thamani ya ufunguo ya gigabyte 20 ya GPU na kiwango cha CPU cha gigabyte 96 kwa maingizo ya akiba ya kiambishi awali yaliyoondolewa. Kadi moja inaweza kushughulikia mitiririko miwili hadi minane ya kawaida kwa wakati mmoja na milipuko ya hadi mitiririko 64, ambayo inatosha kwa mizigo mingi ya marejeleo ya uzalishaji.

Vikwazo vya Uhandisi

Kuendesha DeepSeek V4 Flash kwenye MI300X haikuwa moja kwa moja. Kichocheo rasmi cha vLLM kinashughulikia maunzi ya Nvidia na GPU mpya zaidi za AMD kama vile MI325X na MI355X, lakini si usanidi wa uzalishaji wa MI300X kwa eneo la ukaguzi la tarehe 31 Julai.

Hifadhi inaandika shida kadhaa za uhandisi ambazo zilipaswa kutatuliwa. MI300X hutumia lahaja la umbizo la nambari la FP8 ambalo ni tofauti na kiwango kinachotumiwa na chip mpya za AMD, na punje inayochukulia semantiki isiyo sahihi inaweza kutoa matokeo kwa sababu ya mbili. Msanidi programu pia alilazimika kurekebisha uelekezaji wa mchanganyiko wa wataalam kwa upatanifu wa juu, uthibitishaji wa kubahatisha wa sababu, na ulandanishi wa thamani ya ufunguo wa CPU, kadhaa kati yake ambazo hazijarekebishwa katika vLLM ya juu ya mkondo.

Hifadhi huongeza miraba ya usahihi, usanidi wa huduma ulioidhinishwa na uandishi wa kubahatisha, jedwali za kurekebisha AITER GEMM za maumbo ya chipu ambazo majedwali yaliyopakiwa hayakuwapo, na mkakati wa thamani ya ufunguo mseto unaochanganya akiba ya GPU na upakiaji wa CPU.

Inamaanisha Nini kwa Vita vya Chip

Maandamano yanafika wakati muhimu kwa matarajio ya AMD katika AI. Nvidia inadhibiti idadi kubwa ya soko la kiongeza kasi cha AI, ikisisitizwa na mfumo wake wa ikolojia wa programu ya CUDA, ambayo watengenezaji wengi wanaona kama njia ambayo AMD imejitahidi kuvuka. SemiAnalysis ilichunguza swali hilo moja kwa moja katika uchanganuzi wa Julai 2026 ulioitwa "Je, AMD inaweza kuvunja moat ya CUDA?" na jibu bado linapingwa.

Lakini miradi ya chanzo huria kama hii moja hupita kwenye pengo la utambuzi. Ikiwa MI300X moja inaweza kutumika mfano wa kiwango cha mpaka kwa kasi ya ushindani, hoja ya gharama kwa AMD inakuwa vigumu kufuta. AMD pia imekuwa ikiunda jalada lake la modeli wazi, ikitoa Instella-MoE-16B, modeli iliyo wazi kabisa iliyofunzwa kutoka mwanzo kwenye GPU zake za Instinct, na kushirikiana na Zyphra kwenye jukwaa la MI355X la megawati 15.

Wakati huo huo, DeepSeek yenyewe imekuwa ikipunguza gharama ya mpaka wa AI. Muundo wa V4 Flash tayari ulikuwa mtindo wa bei nafuu zaidi unaojulikana kuendesha kulingana na uchambuzi wa kampuni ya utafiti, unaolingana na GPT-5.6 Luna kwa gharama ya chini ya asilimia 60. Ikichanganywa na vifaa vya bei nafuu vya AMD, uchumi wa kutumikia mifano mikubwa nje ya mfumo wa ikolojia wa Nvidia unaboresha haraka.

Faida ya Chanzo Huria

Hifadhi inasisitiza mada pana zaidi katika ukuzaji wa AI ya 2026: mifano ya uzani huria na zana huria za uelekezaji zinawezesha wahandisi huru kunakili na kuboresha utumaji ambao hapo awali ulikuwa kikoa cha kipekee cha maabara zinazofadhiliwa vizuri. Kwa kuchapisha usanidi kamili, meza za kurekebisha, na hitilafu maalum zilizowekwa njiani, kazi hiyo inapunguza kizuizi kwa mtu yeyote anayezingatia maunzi ya AMD kwa mzigo mkubwa wa kazi wa AI.

Kaa Mbele ya AI

Vita kati ya AMD na Nvidia kwa uelekezaji wa AI inazidi kuongezeka, na michango ya chanzo huria kama vile utumaji huu inabadilisha mazingira ya ushindani kimya kimya. Kwa maendeleo ya hivi punde ya AI katika maunzi, miundo huria na miundomsingi, endelea kufuatilia huduma zetu.

Soma habari zaidi za AI →