Cloudflare imechapisha ripoti ya kina ya tukio inayoelezea jinsi hitilafu ya kushughulikia akiba katika jukwaa lake la AI isiyo na seva ilisababisha angalau watumiaji 155 wa uwekaji wa muundo wa GLM-5.3 kupokea majibu yaliyo na vipande vya vidokezo na matokeo ya wateja wengine. Ripoti hiyo, iliyochapishwa Oktoba 26 kama ufichuzi ulioratibiwa pamoja na mradi wa injini ya uelekezaji wa chanzo huria ya SGLang, inatoa mwonekano wa nadra wa umma ndani ya mabomba ya wapangaji wengi wanaohudumia LLM - na onyo kuhusu mawazo ya usalama ya kumbukumbu ya GPU.
Jinsi Uvujaji Ulivyopatikana For more context on this story, see our ongoing AI trends.
Kulingana na Cloudflare, mtafiti wa usalama Gadi Evron wa Knostic aliarifu kampuni hiyo mnamo Septemba 8, 2026, kupitia mpango wake wa fadhila wa mdudu wa HackerOne. Evron aliripoti kuwa vidokezo virefu vilivyotumwa kwa muundo wa GLM-5.3 kwenye jukwaa la Cloudflare's Workers AI wakati mwingine vilirudisha maandishi ambayo yalikuwa ya vipindi vya watumiaji wengine. Cloudflare ilitoa toleo hili tena asubuhi iliyofuata na kuzima modeli siku hiyo hiyo, na kuirejesha mnamo Septemba 9 baada ya kupeleka marekebisho.
Muundo ulioathiriwa ulikuwa @cf/zai-org/glm-5.3 - modeli ya usimbaji ya mawakala kutoka Z.ai ambayo Cloudflare inahudumu kupitia Workers AI, jukwaa la kampuni la uelekezaji lisilo na seva. Cloudflare ilithibitisha kuwa hakuna modeli nyingine iliyopangishwa kwenye jukwaa iliyoathiriwa.
Nini Kilitokea
Tukio hilo linatokana na matatizo mawili yanayoingiliana, moja ya uendeshaji na moja katika injini yenyewe.
Kwanza, usanidi usiofaa. Cloudflare ilisambaza GLM-5.3 kwa dirisha la muktadha la tokeni 1,048,576, lakini hifadhi ya thamani ya ufunguo (KV) kwenye GPU zake za kujazwa awali ilikuwa na nafasi ya tokeni 681,280 pekee. Kampuni ilikubali kuwa inafahamu kuhusu kutolingana huku kabla ya kuzinduliwa na ilitarajia injini ya makisio kukataa maombi ya urefu wa ziada kwa usalama.
Pili, mdudu wa injini. Katika hali iliyotenganishwa ya kujaza/kusimbua - usanifu wa Workers AI hutumia, ambapo kundi moja la GPU huchakata kidokezo na kukabidhi akiba ya KV inayotokana na kundi tofauti la GPU zinazotoa jibu - SGlang ilishughulikia ombi la urefu wa ziada kimakosa. Kidokezo ambacho hakikulingana na bwawa kilitiwa alama ya ndani kuwa kimekataliwa na nafasi yake kuchukuliwa na kishikilia nafasi cha ishara moja. Lakini badala ya kubatilisha ombi na kurejesha hitilafu ya mteja, hatua ya kujaza awali ilitoa kashe ya KV kwa arifa ya kishika nafasi na kuihamisha hadi kwenye nodi ya kusimbua, ambayo ilitoa jibu ambalo lilichanganyika katika data iliyosalia kutoka kwa maombi ya awali yaliyoshiriki kurasa sawa za kumbukumbu.
Matokeo: kati ya Agosti 27 na Septemba 9, idadi ndogo ya wateja wanaotumia modeli hiyo walipokea majibu yenye data kutoka kwa maombi ya wateja wengine yaliyotolewa muda mfupi kabla ya maombi yao. Kwa jumla, majibu 155 yaliathiriwa - yote, Cloudflare ilipatikana, kwa muda mrefu zaidi ya tokeni 681,280.
Hakuna Ushahidi wa Unyonyaji wa Makusudi
Cloudflare ilisema kuwa baada ya kuwatenga majaribio yake na maombi ya uthibitishaji ya mtafiti, maombi yaliyoathiriwa yalikuwa yanalingana katika muda na kiasi na matumizi ya kawaida ya muktadha mrefu, na kampuni haikupata ushahidi wowote kwamba kuna mtu yeyote alitumia vibaya mdudu huyo kwa makusudi. Kwa sababu kila ombi lililoathiriwa lilizidi uwezo wa bwawa lenye ukubwa wa chini, kidirisha cha kukaribia aliyeambukizwa kilikuwa kimefungwa sana - safu ya fedha inayotokana na usanidi usio sahihi uliosababisha tatizo.
Marekebisho: Dimbwi Kubwa na Njia Salama ya Kushindwa
Urekebishaji ulifanya kazi kwenye tabaka zote mbili za kutofaulu. Cloudflare ilisanidi upya uwekaji wake wa GLM-5.3 ili kuendana na usanidi wake wa GLM-5.2, ikitoa kumbukumbu ya kutosha ya GPU ambayo bwawa la kujaza awali la KV sasa linashikilia takriban tokeni milioni 2.04 - takriban mara mbili ya urefu wa muktadha wa tokeni 1,048,576 wa mfano. Kidokezo ambacho kinalingana na dirisha la muktadha sasa kinafaa kila wakati.
Lakini kampuni pia ilisisitiza kuwa kutegemea ukubwa wa bwawa pekee ni dhaifu: mabadiliko ya quantization, usawa wa tensor, saizi za grafu za CUDA, au toleo la mfano la siku zijazo linaweza kubadilisha ukubwa wa bwawa kimya kimya. Kwa hivyo pia ilibandika njia ya kukataliwa ya SGlang yenyewe, ikihakikisha kuwa ombi lililokataliwa linaghairiwa kwa njia safi badala ya kutoa na kuhamisha akiba ya kishikilia nafasi. Mabadiliko yote mawili yalithibitishwa dhidi ya hati ya uzazi ya mtafiti na majaribio ya alama ya canary ya Cloudflare kabla ya kurejesha muundo, na marekebisho yamechangiwa juu ya watunzaji wa SGlang.
Kwa Nini Kumbukumbu ya GPU Inayoshirikiwa Ni Swali la Usalama
Ripoti inaelezea mazoezi ambayo yatashangaza watengenezaji wengi wa programu: injini za uelekezaji kwa ujumla haziondoi kurasa za kache za KV kati ya maombi, kwa sababu ombi linalofuata huzifuta tu. Huu ni ubadilishanaji wa utendakazi wa kimakusudi, unaojulikana kote katika injini za uelekezaji, lakini kama tukio hili linavyoonyesha, njia yoyote inayoruhusu majibu kutolewa kabla ya kurasa hizo kuandikwa upya hugeuza uboreshaji wa utendakazi kuwa vekta ya uvujaji wa data.
Ufumbuzi ulifikiwa na jumuiya ya wasanidi programu: hadithi ilifikia pointi 123 kwenye Hacker News ndani ya saa chache, huku mjadala ukiangazia jinsi hali ya kutofaulu - ombi ambalo lingefaulu kwa sauti kubwa badala ya kuendelea kimyakimya kuhusu hali iliyoharibika - linaonyesha masomo ya kawaida kutoka kwa uhandisi wa mifumo iliyosambazwa.
Somo Pana kwa Miundombinu ya AI
Tukio hilo ni ukumbusho kwamba eneo la usalama la programu za AI sasa linaenea ndani ya miundombinu ya uelekezaji. Utoaji wa miundo ya wapangaji wengi hukazia data ya wateja wengi kupitia viongeza kasi vilivyoshirikiwa, hifadhi za akiba zinazoshirikiwa, na usanifu unaozidi kuwa wa kigeni kama vile kujaza mapema kwa kugawanywa na ufikiaji wa kumbukumbu ya moja kwa moja wa mbali. Kutolingana kwa hila kati ya dirisha la muktadha lililotangazwa na modeli na uwezo wa kimwili uliotolewa kuitumikia ilitosha kuvunja utengaji wa wapangaji.
Kwa biashara zinazojenga kwenye mifumo isiyo na seva ya AI, uondoaji kutoka kwa ripoti ya Cloudflare ni mara mbili: hitilafu za kutengwa kwa wapangaji katika huduma ya LLM ni halisi na tayari zimetokea katika uzalishaji, na muda wa majibu wa wauzaji - chini ya saa 24 kutoka kwa ripoti hadi kuzima, siku moja kurekebisha na kurejesha - ni kiwango cha bidii cha kudai kutoka kwa mtoa huduma yeyote anayeshughulikia vidokezo nyeti.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
