Cloudflare அதன் சர்வர்லெஸ் AI பிளாட்ஃபார்மில் உள்ள கேச்-ஹேண்ட்லிங் பிழையானது GLM-5.3 மாதிரி வரிசைப்படுத்தலின் குறைந்தது 155 பயனர்களை மற்ற வாடிக்கையாளர்களின் தூண்டுதல்கள் மற்றும் வெளியீடுகளின் துண்டுகள் அடங்கிய பதில்களைப் பெறுவதற்கு எப்படி காரணமாக அமைந்தது என்பதை விவரிக்கும் ஒரு விரிவான சம்பவ அறிக்கையை வெளியிட்டுள்ளது. SGLang ஓப்பன் சோர்ஸ் அனுமானம் என்ஜின் திட்டத்துடன் ஒருங்கிணைந்த வெளிப்பாடாக அக்டோபர் 26 அன்று வெளியிடப்பட்ட இந்த அறிக்கை, பல குத்தகைதாரர் LLM சேவையின் குழாய்களுக்குள் ஒரு அரிய பொது தோற்றத்தை வழங்குகிறது - மற்றும் GPU நினைவகத்தின் பாதுகாப்பு அனுமானங்கள் பற்றிய எச்சரிக்கை.

கசிவு எப்படி கண்டுபிடிக்கப்பட்டது For more context on this story, see our ongoing AI trends.

கிளவுட்ஃப்ளேரின் கூற்றுப்படி, Knostic இன் பாதுகாப்பு ஆராய்ச்சியாளர் காடி எவ்ரான் செப்டம்பர் 8, 2026 அன்று அதன் HackerOne பக் பவுண்டி திட்டத்தின் மூலம் நிறுவனத்தை எச்சரித்தார். Cloudflare இன் Workers AI இயங்குதளத்தில் GLM-5.3 மாதிரிக்கு அனுப்பப்பட்ட மிக நீண்ட தூண்டுதல்கள் சில நேரங்களில் மற்ற பயனர்களின் அமர்வுகளுக்குச் சொந்தமான உரையை அனுப்பியதாக Evron தெரிவித்துள்ளது. கிளவுட்ஃப்ளேர் மறுநாள் காலை சிக்கலை மீண்டும் உருவாக்கியது மற்றும் அதே நாளில் மாடலை முடக்கியது, திருத்தங்களை வரிசைப்படுத்திய பிறகு செப்டம்பர் 9 அன்று மீட்டமைத்தது.

பாதிக்கப்பட்ட மாதிரி @cf/zai-org/glm-5.3 — Cloudflare நிறுவனத்தின் சர்வர்லெஸ் அனுமான தளமான Workers AI மூலம் சேவை செய்யும் Z.ai இலிருந்து முகவர் குறியீட்டு மாதிரி. மேடையில் ஹோஸ்ட் செய்யப்பட்ட வேறு எந்த மாடலும் பாதிக்கப்படவில்லை என்பதை கிளவுட்ஃப்ளேர் உறுதிப்படுத்தியது.

உண்மையில் என்ன நடந்தது

இந்தச் சம்பவம் இரண்டு ஒன்றுடன் ஒன்று இயங்கும் சிக்கல்கள், ஒன்று செயல்பாட்டில் இருப்பது மற்றும் இன்ஜினில் உள்ள ஒன்று.

முதலில், தவறான கட்டமைப்பு. Cloudflare GLM-5.3 ஐ 1,048,576-டோக்கன் சூழல் சாளரத்துடன் பயன்படுத்தியது, ஆனால் அதன் முன் நிரப்பப்பட்ட GPUகளில் உள்ள முக்கிய மதிப்பு (KV) கேச் பூல் 681,280 டோக்கன்களுக்கு மட்டுமே இடமளித்தது. அறிமுகப்படுத்தப்படுவதற்கு முன்பே இந்த பொருத்தமின்மையை அறிந்திருந்ததாக நிறுவனம் ஒப்புக்கொண்டது.

இரண்டாவது, என்ஜின் பிழை. பிரிக்கப்பட்ட ப்ரீஃபில்/டிகோட் பயன்முறையில் - ஆர்க்கிடெக்சர் ஒர்க்கர்ஸ் AI பயன்படுத்தும், இதில் ஒரு GPUகள் ப்ராம்ட்டைச் செயல்படுத்தி, அதன் விளைவாக வரும் KV தற்காலிக சேமிப்பை GPUகளின் தனித் தொகுப்பிற்குக் கொடுக்கிறது. குளத்திற்குப் பொருந்தாத ஒரு ப்ராம்ட் உள்நாட்டில் நிராகரிக்கப்பட்டதாகக் குறிக்கப்பட்டு, அதற்குப் பதிலாக ஒரு டோக்கன் பிளேஸ்ஹோல்டரை மாற்றியது. ஆனால் கோரிக்கையை நிறுத்திவிட்டு கிளையன்ட் பிழையை வழங்குவதற்குப் பதிலாக, ப்ரீஃபில் ஸ்டேஜ் கேவி கேச் ப்ளாஸ்ஹோல்டர் ப்ராம்ட்டிற்கு உருவாக்கி அதை டிகோட் முனைக்கு மாற்றியது, பின்னர் அதே நினைவகப் பக்கங்களைப் பகிர்ந்த முந்தைய கோரிக்கைகளின் எஞ்சிய தரவுகளில் கலந்த பதிலை உருவாக்கியது.

முடிவு: ஆகஸ்ட் 27 மற்றும் செப்டம்பர் 9 க்கு இடையில், மாடலைப் பயன்படுத்தும் குறைந்த எண்ணிக்கையிலான வாடிக்கையாளர்கள், பிற வாடிக்கையாளர்களின் கோரிக்கைகளின் தரவுகளைக் கொண்ட பதில்களைப் பெற்றனர். மொத்தத்தில், 155 பதில்கள் பாதிக்கப்பட்டுள்ளன - அனைத்தும், Cloudflare கண்டறியப்பட்டது, 681,280 டோக்கன்களுக்கு மேல் கேட்கிறது.

வேண்டுமென்றே சுரண்டப்பட்டதற்கான ஆதாரம் இல்லை

Cloudflare அதன் சொந்த சோதனை மற்றும் ஆய்வாளரின் சரிபார்ப்பு கோரிக்கைகளைத் தவிர்த்து, பாதிக்கப்பட்ட கோரிக்கைகள் வழக்கமான நீண்ட-சூழல் பயன்பாட்டுடன் நேரத்திலும் அளவிலும் சீரானதாக இருந்தன, மேலும் யாரும் வேண்டுமென்றே பிழையைப் பயன்படுத்தியதற்கான எந்த ஆதாரத்தையும் நிறுவனம் காணவில்லை. ஒவ்வொரு பாதிக்கப்பட்ட கோரிக்கையும் குறைவான அளவிலான குளத்தின் திறனை விட அதிகமாக இருப்பதால், வெளிப்பாடு சாளரம் இறுக்கமாக கட்டுப்படுத்தப்பட்டது - சிக்கலை ஏற்படுத்திய தவறான உள்ளமைவிலிருந்து உருவாகும் ஒரு வெள்ளி புறணி.

பிழைத்திருத்தம்: பெரிய குளங்கள் மற்றும் பாதுகாப்பான தோல்வி பாதை

சரிசெய்தல் தோல்வியின் இரண்டு அடுக்குகளிலும் வேலை செய்தது. கிளவுட்ஃப்ளேர் அதன் GLM-5.3 வரிசைப்படுத்தலை அதன் GLM-5.2 உள்ளமைவுடன் பொருந்துமாறு மறுகட்டமைத்தது, போதுமான GPU நினைவகத்தை விடுவித்தது, முன் நிரப்பப்பட்ட KV பூல் இப்போது சுமார் 2.04 மில்லியன் டோக்கன்களைக் கொண்டுள்ளது - இது மாதிரியின் 1,048,576-டோக்கன் சூழல் நீளத்தை விட இரண்டு மடங்கு அதிகமாகும். சூழல் சாளரத்திற்குப் பொருந்தும் ஒரு ப்ராம்ட் இப்போது எப்போதும் பூலுக்குப் பொருந்தும்.

ஆனால் நிறுவனம் பூல் அளவை மட்டும் நம்புவது உடையக்கூடியது என்று வலியுறுத்தியது: அளவுப்படுத்தல், டென்சர் பேரலலிசம், CUDA வரைபட அளவுகள் அல்லது எதிர்கால மாதிரி பதிப்பு ஆகியவை குளத்தின் அளவை அமைதியாக மாற்றும். எனவே இது SGLang இன் நிராகரிப்பு பாதையையே இணைத்தது, நிராகரிக்கப்பட்ட கோரிக்கையானது ஒரு ஒதுக்கிடத்திற்கான தற்காலிக சேமிப்பை உருவாக்குவதற்கும் மாற்றுவதற்கும் பதிலாக சுத்தமாக நிறுத்தப்படுவதை உறுதி செய்கிறது. இரண்டு மாற்றங்களும் ஆராய்ச்சியாளரின் மறுஉருவாக்கம் ஸ்கிரிப்ட் மற்றும் கிளவுட்ஃப்ளேரின் சொந்த கேனரி-மார்க்கர் சோதனைகளுக்கு எதிராக சரிபார்க்கப்பட்டது, மாடல் மீட்டமைக்கப்படுவதற்கு முன்பு, திருத்தங்கள் SGLang பராமரிப்பாளர்களுக்கு அப்ஸ்ட்ரீம் பங்களிக்கப்பட்டன.

ஏன் பகிரப்பட்ட GPU நினைவகம் ஒரு பாதுகாப்பு கேள்வி

பல பயன்பாட்டு டெவலப்பர்களை ஆச்சரியப்படுத்தும் ஒரு நடைமுறையை அறிக்கை விளக்குகிறது: அனுமான இயந்திரங்கள் பொதுவாக கோரிக்கைகளுக்கு இடையே KV கேச் பக்கங்களை பூஜ்ஜியமாக்காது, ஏனெனில் அடுத்த கோரிக்கை அவற்றை மேலெழுதுகிறது. இது வேண்டுமென்றே செயல்திறன் வர்த்தகம் ஆகும், இது அனுமான இயந்திரங்கள் முழுவதும் பொதுவானது, ஆனால் இந்த சம்பவம் காட்டுவது போல், அந்தப் பக்கங்கள் முழுமையாக மேலெழுதப்படுவதற்கு முன் பதிலை உருவாக்க அனுமதிக்கும் எந்தவொரு பாதையும் செயல்திறன் மேம்படுத்தலை தரவு-கசிவு திசையனாக மாற்றுகிறது.

வெளிப்படுத்தல் டெவலப்பர் சமூகத்துடன் இறங்கியது: கதை ஹேக்கர் நியூஸில் சில மணிநேரங்களில் 123 புள்ளிகளை எட்டியது, தோல்வி பயன்முறையை மையமாகக் கொண்ட விவாதம் - சிதைந்த நிலையில் அமைதியாகத் தொடர்வதற்குப் பதிலாக உரத்த குரலில் தோல்வியடைய வேண்டிய கோரிக்கை - விநியோகிக்கப்பட்ட சிஸ்டம்ஸ் இன்ஜினியரிங் கிளாசிக் பாடங்களைப் பிரதிபலிக்கிறது.

AI உள்கட்டமைப்பிற்கான ஒரு பரந்த பாடம்

AI பயன்பாடுகளுக்கான பாதுகாப்பு சுற்றளவு இப்போது அனுமான உள்கட்டமைப்பில் ஆழமாக விரிவடைகிறது என்பதை இந்த சம்பவம் நினைவூட்டுகிறது. பல குத்தகைதாரர் மாதிரி சேவையானது பல வாடிக்கையாளர்களின் தரவை பகிரப்பட்ட முடுக்கிகள், பகிர்ந்த கேச் குளங்கள் மற்றும் பிரிக்கப்பட்ட முன் நிரப்புதல் மற்றும் தொலைநிலை நேரடி நினைவக அணுகல் போன்ற கவர்ச்சியான கட்டமைப்புகள் மூலம் குவிக்கிறது. ஒரு மாதிரியின் விளம்பரப்படுத்தப்பட்ட சூழல் சாளரத்திற்கும் அதை வழங்குவதற்கு வழங்கப்பட்ட உடல் திறனுக்கும் இடையே உள்ள நுட்பமான பொருத்தமின்மை குத்தகைதாரர் தனிமைப்படுத்தலை மீறுவதற்கு போதுமானதாக இருந்தது.

சர்வர்லெஸ் AI இயங்குதளங்களில் உருவாக்கப்படும் நிறுவனங்களுக்கு, Cloudflare இன் அறிக்கையிலிருந்து எடுத்துக்கொள்வது இரண்டு மடங்கு ஆகும்: LLM சேவையில் குத்தகைதாரர் தனிமைப்படுத்தப்பட்ட பிழைகள் உண்மையானவை மற்றும் ஏற்கனவே உற்பத்தியில் நடந்துள்ளன, மேலும் விற்பனையாளர்களின் மறுமொழி நேரம் - அறிக்கையிலிருந்து முடக்குவது வரை 24 மணி நேரத்திற்குள், சரிசெய்து மீட்டமைக்க ஒரு நாள் - எந்தவொரு வழங்குநரின் கையாளுதலின் கோரிக்கைகளுக்கும் விடாமுயற்சியின் தரமாகும்.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →