ক্লাউডফ্লেয়ার একটি বিশদ ঘটনা প্রতিবেদন প্রকাশ করেছে যাতে বর্ণনা করা হয়েছে যে কীভাবে তার সার্ভারবিহীন AI প্ল্যাটফর্মে একটি ক্যাশে-হ্যান্ডলিং বাগ একটি GLM-5.3 মডেলের স্থাপনার অন্তত 155 জন ব্যবহারকারীকে অন্যান্য গ্রাহকের প্রম্পট এবং আউটপুটগুলির টুকরো সমন্বিত প্রতিক্রিয়া প্রাপ্ত করেছে। SGLang ওপেন-সোর্স ইনফারেন্স ইঞ্জিন প্রকল্পের পাশাপাশি সমন্বিত প্রকাশ হিসাবে 26 অক্টোবর প্রকাশিত প্রতিবেদনটি বহু-টেন্যান্ট এলএলএম পরিবেশনের প্লাম্বিংয়ের ভিতরে একটি বিরল জনসাধারণের চেহারা দেয় — এবং GPU মেমরির নিরাপত্তা অনুমান সম্পর্কে একটি সতর্কতা।

কিভাবে লিক পাওয়া গেল For more context on this story, see our ongoing more AI stories.

ক্লাউডফ্লেয়ারের মতে, নস্টিক-এর নিরাপত্তা গবেষক গ্যাডি এভরন তার হ্যাকারওন বাগ বাউন্টি প্রোগ্রামের মাধ্যমে 8 সেপ্টেম্বর, 2026-এ কোম্পানিকে সতর্ক করেছিলেন। ইভরন জানিয়েছে যে ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই প্ল্যাটফর্মে GLM-5.3 মডেলে পাঠানো খুব দীর্ঘ প্রম্পট কখনও কখনও অন্য ব্যবহারকারীদের সেশনের সাথে সম্পর্কিত পাঠ্য ফেরত দেয়। ক্লাউডফ্লেয়ার পরের দিন সকালে সমস্যাটি পুনরুত্পাদন করে এবং একই দিনে মডেলটিকে অক্ষম করে, 9 সেপ্টেম্বর সংশোধন করার পরে এটি পুনরুদ্ধার করে।

প্রভাবিত মডেলটি ছিল @cf/zai-org/glm-5.3 — Z.ai-এর এজেন্টিক কোডিং মডেল যা ক্লাউডফ্লেয়ার কোম্পানির সার্ভারহীন ইনফারেন্স প্ল্যাটফর্ম Workers AI-এর মাধ্যমে পরিবেশন করে। ক্লাউডফ্লেয়ার নিশ্চিত করেছে যে প্ল্যাটফর্মে হোস্ট করা অন্য কোনও মডেল প্রভাবিত হয়নি।

আসলে কি হয়েছিল

ঘটনাটি দুটি ওভারল্যাপিং সমস্যার পিছনে ফিরে আসে, একটি চালু এবং একটি ইঞ্জিনে।

প্রথমত, ভুল কনফিগারেশন। ক্লাউডফ্লেয়ার একটি 1,048,576-টোকেন প্রসঙ্গ উইন্ডো সহ GLM-5.3 স্থাপন করেছে, কিন্তু এর প্রিফিল GPU-তে কী-মান (KV) ক্যাশে পুলে শুধুমাত্র 681,280 টোকেনের জন্য জায়গা ছিল। সংস্থাটি স্বীকার করেছে যে এটি লঞ্চের আগে এই অমিল সম্পর্কে সচেতন ছিল এবং আশা করেছিল যে অনুমান ইঞ্জিনটি অতিরিক্ত দৈর্ঘ্যের অনুরোধগুলিকে নিরাপদে প্রত্যাখ্যান করবে।

দ্বিতীয়ত, ইঞ্জিনের ত্রুটি। ডিস্যাগ্রিগেটেড প্রিফিল/ডিকোড মোডে — আর্কিটেকচার ওয়ার্কার্স এআই ব্যবহার করে, যেখানে একটি জিপিইউ প্রম্পট প্রক্রিয়া করে এবং ফলস্বরূপ কেভি ক্যাশে GPU-এর একটি পৃথক পুলে হস্তান্তর করে যা প্রতিক্রিয়া তৈরি করে — SGLang অতিরিক্ত দৈর্ঘ্যের অনুরোধটি ভুলভাবে পরিচালনা করেছে। একটি প্রম্পট যা পুলের সাথে খাপ খায় না তা অভ্যন্তরীণভাবে প্রত্যাখ্যাত হিসাবে চিহ্নিত করা হয়েছিল এবং একটি এক-টোকেন স্থানধারক দিয়ে প্রতিস্থাপিত হয়েছিল৷ কিন্তু অনুরোধটি বাতিল করা এবং একটি ক্লায়েন্ট ত্রুটি ফেরত দেওয়ার পরিবর্তে, প্রিফিল স্টেজ প্লেসহোল্ডার প্রম্পটের জন্য কেভি ক্যাশে তৈরি করে এবং এটিকে ডিকোড নোডে স্থানান্তরিত করে, যা তারপরে একটি প্রতিক্রিয়া তৈরি করে যা একই মেমরি পৃষ্ঠাগুলি ভাগ করে নেওয়া আগের অনুরোধগুলির অবশিষ্ট ডেটাতে মিশ্রিত হয়।

ফলাফল: 27 অগাস্ট এবং 9 সেপ্টেম্বরের মধ্যে, মডেলটি ব্যবহারকারী অল্প সংখ্যক গ্রাহকরা তাদের অনুরোধের কিছু আগে অন্য গ্রাহকদের অনুরোধ থেকে ডেটা সম্বলিত প্রতিক্রিয়া পেয়েছেন। মোট, 155টি প্রতিক্রিয়া প্রভাবিত হয়েছিল - সবকটি, ক্লাউডফ্লেয়ার পাওয়া গেছে, 681,280 টোকেনগুলির চেয়ে দীর্ঘ প্রম্পট করার জন্য।

ইচ্ছাকৃত শোষণের কোন প্রমাণ নেই

ক্লাউডফ্লেয়ার জানিয়েছে যে তার নিজস্ব পরীক্ষা এবং গবেষকের বৈধতার অনুরোধগুলি বাদ দেওয়ার পরে, প্রভাবিত অনুরোধগুলি সাধারণ দীর্ঘ-প্রসঙ্গ ব্যবহারের সাথে সময় এবং ভলিউমের সাথে সামঞ্জস্যপূর্ণ ছিল এবং কোম্পানিটি এমন কোনও প্রমাণ খুঁজে পায়নি যে কেউ ইচ্ছাকৃতভাবে বাগটি শোষণ করেছে। যেহেতু প্রতিটি প্রভাবিত অনুরোধ আন্ডারসাইজড পুলের ধারণক্ষমতাকে অতিক্রম করেছে, এক্সপোজার উইন্ডোটি শক্তভাবে আবদ্ধ ছিল — একটি রূপালী আস্তরণ যা খুব ভুল কনফিগারেশন থেকে উদ্ভূত হয়েছে যা সমস্যার সৃষ্টি করেছে।

সমাধান: বড় পুল এবং একটি নিরাপদ ব্যর্থতার পথ

প্রতিকার ব্যর্থতার উভয় স্তরে কাজ করেছে। ক্লাউডফ্লেয়ার তার GLM-5.2 কনফিগারেশনের সাথে মিলে যাওয়ার জন্য তার GLM-5.3 স্থাপনার পুনরায় কনফিগার করেছে, পর্যাপ্ত GPU মেমরি মুক্ত করেছে যে প্রিফিল KV পুলে এখন প্রায় 2.04 মিলিয়ন টোকেন রয়েছে — মডেলের 1,048,576-টোকেন প্রসঙ্গ দৈর্ঘ্যের প্রায় দ্বিগুণ। একটি প্রম্পট যা কনটেক্সট উইন্ডোর সাথে মানানসই এখন সর্বদা পুলের সাথে ফিট করে।

কিন্তু কোম্পানী এও জোর দিয়েছিল যে একা পুলের সাইজিংয়ের উপর নির্ভর করা ভঙ্গুর: কোয়ান্টাইজেশন, টেনসর সমান্তরালতা, CUDA গ্রাফের আকারে পরিবর্তন বা ভবিষ্যতের মডেল সংস্করণ নীরবে পুলের আকার পরিবর্তন করতে পারে। তাই এটি SGLang-এর প্রত্যাখ্যানের পথটি নিজেই প্যাচ করেছে, এটি নিশ্চিত করে যে একটি প্রত্যাখ্যান করা অনুরোধ একটি স্থানধারকের জন্য ক্যাশে তৈরি এবং স্থানান্তর করার পরিবর্তে পরিষ্কারভাবে বাতিল হয়ে যায়। মডেলটি পুনরুদ্ধার করার আগে গবেষকের পুনরুত্পাদন স্ক্রিপ্ট এবং ক্লাউডফ্লেয়ারের নিজস্ব ক্যানারি-মার্কার পরীক্ষার বিরুদ্ধে উভয় পরিবর্তনই যাচাই করা হয়েছিল, এবং সংশোধনগুলি SGLang রক্ষণাবেক্ষণকারীদের উপর প্রবাহে অবদান রাখা হয়েছে।

কেন শেয়ার করা জিপিইউ মেমরি একটি নিরাপত্তা প্রশ্ন

প্রতিবেদনটি এমন একটি অনুশীলনের ব্যাখ্যা করে যা অনেক অ্যাপ্লিকেশন বিকাশকারীকে অবাক করবে: অনুমান ইঞ্জিনগুলি সাধারণত অনুরোধগুলির মধ্যে কেভি ক্যাশে পৃষ্ঠাগুলিকে শূন্য করে না, কারণ পরবর্তী অনুরোধটি কেবল সেগুলিকে ওভাররাইট করে। এটি একটি ইচ্ছাকৃত পারফরম্যান্স ট্রেড-অফ, অনুমান ইঞ্জিন জুড়ে সাধারণ, কিন্তু এই ঘটনাটি দেখায়, যে কোনও পথ যা এই পৃষ্ঠাগুলিকে সম্পূর্ণরূপে ওভাররাইট করার আগে একটি প্রতিক্রিয়া তৈরি করতে দেয় তা একটি ডেটা-লিক ভেক্টরে কর্মক্ষমতা অপ্টিমাইজেশানে পরিণত করে।

বিকাশকারী সম্প্রদায়ের সাথে প্রকাশটি অবতরণ করেছে: গল্পটি কয়েক ঘন্টার মধ্যে হ্যাকার নিউজে 123 পয়েন্টে পৌঁছেছে, কীভাবে ব্যর্থতার মোডের উপর আলোকপাত করা হয়েছে - একটি অনুরোধ যা দূষিত অবস্থায় নীরবে এগিয়ে যাওয়ার পরিবর্তে জোরে ব্যর্থ হওয়া উচিত ছিল - বিতরণ করা সিস্টেম ইঞ্জিনিয়ারিং থেকে ক্লাসিক পাঠগুলিকে প্রতিফলিত করে৷

এআই পরিকাঠামোর জন্য একটি বিস্তৃত পাঠ

ঘটনাটি একটি অনুস্মারক যে AI অ্যাপ্লিকেশনের নিরাপত্তা পরিধি এখন অনুমান পরিকাঠামোর গভীরে প্রসারিত। মাল্টি-টেন্যান্ট মডেল সার্ভিং শেয়ার্ড এক্সিলারেটর, শেয়ার্ড ক্যাশে পুল, এবং ক্রমবর্ধমান বহিরাগত আর্কিটেকচার যেমন ডিস্যাগ্রিগেটেড প্রিফিল এবং দূরবর্তী সরাসরি মেমরি অ্যাক্সেসের মাধ্যমে অনেক গ্রাহকের ডেটা কেন্দ্রীভূত করে। একটি মডেলের বিজ্ঞাপিত প্রসঙ্গ উইন্ডো এবং এটি পরিবেশন করার জন্য প্রদত্ত শারীরিক ক্ষমতার মধ্যে একটি সূক্ষ্ম অমিল ভাড়াটেদের বিচ্ছিন্নতা লঙ্ঘন করার জন্য যথেষ্ট ছিল।

সার্ভারবিহীন AI প্ল্যাটফর্মে বিল্ডিং এন্টারপ্রাইজগুলির জন্য, ক্লাউডফ্লেয়ারের রিপোর্ট থেকে টেকঅ্যাওয়ে দ্বিগুণ: LLM পরিবেশনে ভাড়াটে আইসোলেশন বাগগুলি বাস্তব এবং ইতিমধ্যেই উত্পাদনে ঘটেছে এবং বিক্রেতাদের প্রতিক্রিয়া সময় — রিপোর্ট থেকে নিষ্ক্রিয় করার 24 ঘন্টার মধ্যে, ঠিক করা এবং পুনরুদ্ধার করার জন্য একদিন — যে কোনও প্রসেনসিটিভ সরবরাহকারীর কাছ থেকে চাহিদার জন্য অধ্যবসায়ের মান।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →