চীনা AI ল্যাব Z.ai একটি বিশদ প্রযুক্তিগত বিবরণ প্রকাশ করেছে যে কীভাবে এটি GLM মডেলগুলিকে তাদের পরিবেশনকারী সিস্টেমগুলির উন্নতির জন্য কাজ করার জন্য সেট করে, একটি "ইনফ্রা এজেন্ট" বর্ণনা করে যা সীমিত মানব হস্তক্ষেপের সাথে কোম্পানির অনুমান পরিকাঠামোতে কর্মক্ষমতা বাধা খুঁজে পায় এবং ঠিক করে।

"টুওয়ার্ড রিকারসিভ সেলফ-ইমপ্রুভমেন্ট: হাউ জিএলএম বিল্ট ইটস ওন ইনফারেন্স ইনফ্রাস্ট্রাকচার" শিরোনামের ব্লগ পোস্টটি বুধবার কোম্পানির সাইটে উঠেছিল এবং দ্রুত হ্যাকার নিউজের সবচেয়ে আলোচিত প্রযুক্তি গল্পগুলির মধ্যে একটি হয়ে ওঠে, যেখানে এটি বিকাশকারী সম্প্রদায় থেকে 200 টিরও বেশি পয়েন্ট অর্জন করেছে৷ For more context on this story, see our ongoing latest AI developments.

"আমরা GLM বিকাশ করার সাথে সাথে, মডেলটি কখনও কখনও এমন ক্ষমতা প্রদর্শন করে যা আমাদের অবাক করে, এমনকি আমাদের অস্থির করে দেয়," কোম্পানি পোস্টের উদ্বোধনী লাইনে লিখেছিল৷

সাইবারসিকিউরিটি রিসার্চ থেকে সেলফ-অপ্টিমাইজিং সিস্টেম পর্যন্ত

কাজটি 2025 সালের অক্টোবরে ফিরে আসে, যখন Z.ai গবেষণা শুরু করে কিভাবে GLM-এর সাইবার নিরাপত্তা ক্ষমতাকে শক্তিশালী করা যায়। যুক্তি, কোম্পানি বলে, সোজা ছিল: সাইবারসিকিউরিটি হল কোডিংয়ের একটি প্রাকৃতিক সম্প্রসারণ, এবং যে মডেলগুলি বড় কোডবেসগুলি নেভিগেট করতে পারে সেগুলি অবশেষে নিম্ন-স্তরের সিস্টেম কোড নেভিগেট করতে পারে যা বেশিরভাগ প্রকৌশলী এড়িয়ে যান।

সেই ভিত্তিটি আরও উচ্চাভিলাষী কিছুতে বিকশিত হয়েছিল। শুধুমাত্র কোড লেখার জন্য মডেলগুলি ব্যবহার করার পরিবর্তে, Z.ai একটি সিস্টেম ইঞ্জিনিয়ারিং প্রশ্নের উত্তর দিতে শুরু করেছে: একটি AI এজেন্ট কি একটি প্রোডাকশন ইনফরেন্স স্ট্যাক, সফ্টওয়্যার এবং হার্ডওয়্যার সমন্বয় স্তরের কার্যকারিতার জন্য দায়িত্ব নিতে পারে যা মডেলের ওজনকে দ্রুত, সস্তা প্রতিক্রিয়াতে পরিণত করে?

কোম্পানির উত্তর সমস্যা reframing জড়িত. এন্ড-টু-এন্ড মেট্রিক্স একা, পোস্টটি যুক্তি দেয়, একটি অপ্টিমাইজিং এজেন্টকে গাইড করতে পারে না। একটি রিপোর্ট যে টাইম-টু-ফার্স্ট-টোকেন 30 শতাংশ বেড়েছে বা আউটপুট থ্রুপুট 20 শতাংশ কমেছে তা একজন এজেন্টকে বলে যে কিছু খারাপ হয়েছে, কিন্তু কোন স্তর দায়ী নয়, কেন এটির অনুমান ব্যর্থ হয়েছে, বা পরবর্তীতে কী পরীক্ষা করতে হবে।

"কীভাবে আমরা স্পার্স এন্ড-টু-এন্ড ফলাফলকে সূক্ষ্ম দানাদার, বিশেষায়িত ইঞ্জিনিয়ারিং ফিডব্যাকে পরিণত করব যা সরাসরি পরবর্তী ক্রিয়াকে নির্দেশ করে?" কোম্পানী পোস্টে জিজ্ঞাসা করে, প্রশ্নটিকে সমগ্র প্রচেষ্টার চাবিকাঠি হিসাবে বর্ণনা করে।

এজেন্ট-পঠনযোগ্য প্রতিক্রিয়ার জন্য তিনটি নিয়ম

Z.ai-এর উত্তর হল তিনটি বৈশিষ্ট্যের উপর নির্মিত একটি প্রতিক্রিয়া শৃঙ্খলা। প্রথমত, প্রতিক্রিয়া অবশ্যই পর্যাপ্ত স্থানীয় হতে হবে, নির্দিষ্ট ইঞ্জিন লঞ্চ প্যারামিটার, কোড পরিবর্তন, কার্নেল, ইনপুট শর্ত, থ্রেড, এক্সিকিউশন ইন্টারভাল বা কোড পাথের সাথে আবদ্ধ হতে হবে, যাতে এজেন্ট যেকোনো সমস্যার সুযোগকে সংকুচিত করতে পারে। দ্বিতীয়ত, এটি পেতে অবশ্যই সস্তা এবং সময়োপযোগী হতে হবে: কার্নেল পরীক্ষা বা স্থানীয় মাইক্রোবেঞ্চমার্ক দ্বারা উত্তরযোগ্য একটি প্রশ্নের জন্য সম্পূর্ণ পরিষেবা স্থাপনের প্রয়োজন হবে না। তৃতীয়ত, একটি নির্দিষ্ট ক্রম অনুসরণ না করে একটি নির্দিষ্ট প্রশ্নের উত্তর দেওয়ার জন্য ডিজাইন করা প্রতিটি পরীক্ষার সাথে বর্তমান অনুমানের সাথে বৈধতা মেলে।

কোম্পানী বলছে এই ঘন ফিডব্যাক লুপ যা ইনফ্রা এজেন্টকে প্রকৌশলীদের জন্য স্বয়ংসম্পূর্ণের মতো কম আচরণ করতে দেয় এবং একজন সহকর্মীর মতো যে রাতারাতি পরীক্ষা চালাতে পারে।

তিনটি কেস স্টাডি, সংখ্যাতত্ত্ব থেকে একটি থ্রেডিং বাগ পর্যন্ত

পোস্টটি GLM-5.3-ফ্ল্যাশের জন্য কোম্পানির সার্ভিং স্ট্যাকের অপ্টিমাইজেশন থেকে তিনটি কংক্রিট পর্বের মধ্য দিয়ে চলে, অগাস্ট মাসে MIT লাইসেন্সের অধীনে প্রকাশিত ওপেন-ওয়েট মডেল Z.ai।

প্রথমটি সঠিকতা জড়িত। যেহেতু অনুমান অপ্টিমাইজেশানগুলি কম্পিউটেশনগুলিকে সমান্তরালভাবে পরিবর্তন করে, তাই এজেন্টকে যাচাই করতে হবে যে কার্নেলগুলি বিভাজিত এবং বিভাজিত অবস্থায় একই ফলাফল দেয়। একটি ক্ষেত্রে, টিম একটি উচ্চ-নির্ভুল ফলাফল তৈরি করতে তিনটি TF32 টেনসর কোর অপারেশনগুলিকে একত্রিত করেছে, টেনসর কোর কর্মক্ষমতা সুবিধার বেশিরভাগ সংরক্ষণ করার সময় সঞ্চিত সংখ্যাগত ত্রুটি হ্রাস করেছে। বিভাজন কৌশলগুলির মধ্যে তুলনামূলক পরীক্ষায় অসঙ্গতিগুলি উন্মোচিত হয়েছে যা সমাধানটিকে অনুপ্রাণিত করেছিল।

দ্বিতীয়টি হল একটি সিস্টেম-ডিবাগিং গল্প যা যেকোনো পারফরম্যান্স ইঞ্জিনিয়ারের কাছে পরিচিত বোধ করবে। গ্রহণযোগ্যতার মানদণ্ড প্রয়োজন যে সার্ভিং পাথে KV ক্যাশে স্থানান্তর যোগ করলে অভিন্ন কাজের চাপের অধীনে প্রিফিল কর্মক্ষমতা 5 শতাংশের বেশি হ্রাস করা উচিত নয়। এজেন্ট কিছু পরিস্থিতিতে ব্যবধান 20 শতাংশ ছাড়িয়ে গেছে, যা তদন্তকে KV ট্রান্সফারের সঙ্গতিপূর্ণ আচরণে সংকুচিত করেছে। এক্সিকিউশন টাইমলাইন পরীক্ষা করে, এজেন্ট একটি অসঙ্গতি চিহ্নিত করেছে: সমস্যা পরিস্থিতিতে, পাইথন-সাইড কেভি ট্রান্সফার এক্সিকিউশন ডিপইপি কমিউনিকেশন লাইব্রেরির ডিসপ্যাচ এবং একত্রিত ব্যবধানের সাথে কখনই ওভারল্যাপ করেনি। ফিক্সটি ছিল প্রাসঙ্গিক C++ এক্সিকিউশন ইন্টারভালের সময় পাইথনের গ্লোবাল ইন্টারপ্রেটার লক রিলিজ করা, যাতে মুনকেক, কেভি ক্যাশে স্টোর পরিবেশনকারী স্থানান্তর থ্রেডকে গণনার সাথে সমান্তরালভাবে এগিয়ে যেতে দেয়। পারফরম্যান্সের ব্যবধান পরবর্তীকালে গ্রহণযোগ্যতার থ্রেশহোল্ডের মধ্যে পড়ে।

তৃতীয় পর্বটি পুনরাবৃত্তিমূলক কার্নেল টিউনিং দেখায়। রিপ্লেএসএসএম-এর পরিচয় করিয়ে দেওয়া হচ্ছে, একটি কৌশল যা মেমরির জন্য গণনার ব্যবসা করে, প্রাথমিকভাবে একটি কেডিএ ডিকোড কার্নেলের এক্সিকিউশন সময় বৃদ্ধি করে। এজেন্টের বিভাগ অপ্টিমাইজেশান তখন কার্নেলের কার্যকর করার সময় 9.6 শতাংশ কমিয়ে দেয়। প্রতিক্রিয়া পাওয়ার পর যে গণনা প্রাথমিক বাধা হয়ে দাঁড়িয়েছে, এজেন্ট V ডাইমেনশন বরাবর টাইল করা আসল বাস্তবায়ন আবিষ্কার করেছে, যার ফলে অভিন্ন FP32 স্বাভাবিককরণ এবং গেটিং গণনাগুলি অপ্রয়োজনীয়ভাবে পুনরাবৃত্তি হয়েছে।

GLM-5.3-ফ্ল্যাশের পিছনে স্ট্যাক

অপ্টিমাইজেশানগুলি একটি আক্রমণাত্মক পরিবেশনকারী আর্কিটেকচারের উপরে বসে যা Z.ai পোস্টে বর্ণনা করেছে: রৈখিক মনোযোগের জন্য ইন্ট্রা-নোড টেনসর সমান্তরালতা এবং ভাষা মডেল হেড, রিপ্লেএসএসএম কম্পিউট-ফর-মেমরি ট্রেড, W8A8 কোয়ান্টাইজেশন, মিক্সড-প্রিসিশন ক্যাশে কোয়ান্টাইজেশন ব্যবহার করে INT8, BF8, Sp88 এর জন্য স্কিম, এবং একটি এনকোড-প্রিফিল-ডিকোড ডিস্যাগ্রিগেটেড আর্কিটেকচার যা আলাদা রিসোর্সে পরিবেশন পর্যায়ে চলে।

কোম্পানী এই কৌশলগুলির সঞ্চয়নকে ফ্রেম করে, যা এজেন্ট নিজেই আবিষ্কৃত এবং যাচাই করেছে, পুনরাবৃত্ত স্ব-উন্নতির দিকে একটি পদক্ষেপ হিসাবে: AI সিস্টেমগুলি পরিকাঠামোর উন্নতি করে যা তাদের চালানোর জন্য দ্রুত এবং সস্তা করে তোলে, যার ফলে এজেন্ট-চালিত উন্নতির পরবর্তী রাউন্ড আরও সাশ্রয়ী হয়।

কেন এটা গুরুত্বপূর্ণ

অনুমান খরচ এআই শিল্পের অন্যতম নির্ধারক অর্থনীতি। যে ল্যাবগুলি টোকেন প্রতি কম খরচে ফ্রন্টিয়ার-ক্লাস মডেলগুলি পরিবেশন করতে পারে সেগুলি আক্রমনাত্মকভাবে দাম দিতে পারে, প্রতি টাস্কে হাজার হাজার কল করে এমন এজেন্টদের ভর্তুকি দিতে পারে এবং রাজস্ব পরিবেশন থেকে আরও প্রশিক্ষণের জন্য তহবিল চালাতে পারে। Z.ai তিনটি ফ্রন্টে উল্লেখযোগ্যভাবে আক্রমনাত্মক হয়েছে, এবং কোম্পানির অন্তর্বর্তীকালীন আর্থিক প্রকাশগুলি এই বছরের শুরুতে লোকসান সংকুচিত হওয়ার পরেও রাজস্ব তীব্রভাবে বৃদ্ধি পেয়েছে।

পোস্টটি ল্যাব-সাইড ইঞ্জিনিয়ারিং কোন দিকে যাচ্ছে সে সম্পর্কেও একটি সংকেত। শ্রমের ঐতিহ্যগত বিভাজন, মানব কর্মক্ষমতা ইঞ্জিনিয়ারদের সাথে কার্নেল এবং শিডিউলারের সমন্বয়ে মডেলগুলি ব্যবহারকারীর অনুরোধগুলি পরিচালনা করে, Z.ai-তে একটি লুপ দ্বারা প্রতিস্থাপিত হচ্ছে যেখানে মডেলটি পরিবর্তনের প্রস্তাব করে, সস্তা পরীক্ষাগুলি তাদের বৈধ করে এবং ঘন প্রতিক্রিয়া পরবর্তী প্রচেষ্টাকে নির্দেশ করে।

সম্পূর্ণ স্বায়ত্তশাসিত স্ব-উন্নতির দাবিগুলি যত্ন সহকারে পড়া উচিত। পোস্টটি নিজেই স্পষ্ট করে দেয় যে মানব প্রকৌশলীরা পরীক্ষার পরিস্থিতি সংজ্ঞায়িত করেছেন, গ্রহণযোগ্যতার মানদণ্ড সেট করেছেন এবং এজেন্টের মধ্যে কাজ করে এমন প্রতিক্রিয়া পরিবেশ তৈরি করেছেন। কোম্পানী যা বর্ণনা করে তা হল একটি ভাল-ইনস্ট্রুমেন্টেড অপ্টিমাইজেশান লুপের স্বয়ংক্রিয়তা, কোনও তত্ত্বাবধানহীন সিস্টেম নয় যে নিজেকে পুনরায় ডিজাইন করে।

তবুও, দিক পরিষ্কার। যদি আগামী কয়েক বছরের মধ্যে AI এর অর্থনীতি নির্ধারণ করা হয় যে কে সবচেয়ে সস্তায় বুদ্ধিমত্তা পরিবেশন করতে পারে, যে ল্যাবগুলি তাদের মডেলগুলিকে তাদের নিজস্ব অবকাঠামো অপ্টিমাইজ করতে শেখায় তারা গতি সেট করতে পারে এবং Z.ai চায় শিল্প জানুক যে এটি তাদের মধ্যে একটি হতে চায়।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →