আলিবাবার Qwen টিম এই সপ্তাহে QwenGyre-এর জন্য নতুন মনোযোগ আকর্ষণ করছে, একটি শক্তিবৃদ্ধি শেখার কাঠামো যা AI এজেন্টদেরকে এক সময়ে ঘন্টার পর ঘন্টা চালানোর জন্য প্রশিক্ষণ দেওয়ার জন্য ডিজাইন করা হয়েছে। 12 এবং 13 অক্টোবর AI প্রেস জুড়ে বিস্তারিত কভারেজ সহ, তেরোজন ক্যুয়েন গবেষক দ্বারা রচিত "QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agent" শিরোনামের একটি গবেষণাপত্রে সিস্টেমটি বর্ণনা করা হয়েছিল।

ফ্রেমওয়ার্কটি কাজের লোডের একটি বিভাগকে লক্ষ্য করে যে দলটিকে "xLong-horizon" টাস্ক বলা হয়, যেখানে একটি একক এক্সিকিউশন ঘন্টাব্যাপী বিস্তৃত হয়, মডেল এবং এর পরিবেশের মধ্যে শত শত মিথস্ক্রিয়া জড়িত থাকে এবং প্রতি রোলআউটে প্রায় এক মিলিয়ন টোকেন ব্যবহার করে। কোডিং এজেন্ট যেগুলি একটি সম্পূর্ণ সংগ্রহস্থলের মাধ্যমে কাজ করে, বা সহকারীরা যেগুলি ব্যবহারকারীর পক্ষে বহু-পদক্ষেপের ক্রিয়াকলাপ পরিচালনা করে, সেগুলি সাধারণ উদাহরণ। অনলাইন রিইনফোর্সমেন্ট শেখার সাথে এটি ভালভাবে করার জন্য প্রশিক্ষণ মডেলগুলি ক্ষেত্রের একটি কঠিন অবকাঠামোগত সমস্যা হয়েছে — এবং এটি কুয়েনের বহুল ব্যবহৃত ওপেন-ওয়েট এজেন্ট মডেলগুলির পিছনে দলের জন্য একটি স্বাভাবিক অগ্রাধিকার। প্রশিক্ষণের পরিকাঠামোর উপর ব্রেকিং এআই নিউজ* ট্র্যাক করা পাঠকদের জন্য, QwenGyre কিভাবে সবচেয়ে বড় ওপেন-মডেল দলগুলির মধ্যে একটি এজেন্টিক কাজের চাপে তার RL পাইপলাইনকে পুনরায় ইঞ্জিনিয়ার করেছে তা দেখুন।

লং-হরাইজন আরএল-এ দুটি বাধা

কাগজটি অত্যন্ত দীর্ঘ এজেন্ট কাজগুলিতে অনলাইন রিইনফোর্সমেন্ট লার্নিং প্রয়োগের সাথে দুটি মৌলিক সমস্যা চিহ্নিত করে।

প্রথমটি হল GPU idling. কারণ রোলআউটগুলি কার্যকর করার সময় ব্যাপকভাবে পরিবর্তিত হয় - একটি এজেন্টের দৌড় কয়েক মিনিটের মধ্যে শেষ হতে পারে যখন অন্যটি ঘন্টার জন্য মন্থন করে - পাইপলাইনের প্রশিক্ষণের দিকটি ক্রমাগত স্ট্রাগলারের জন্য অপেক্ষা করছে৷ ফলাফল, লেখকদের মতে, ব্যয়বহুল জিপিইউ ফ্লিট জুড়ে প্রচুর অলস সময়, যেটি যেকোন RL ট্রেনিং রানের একক বৃহত্তম খরচ।

দ্বিতীয়টি হল ট্রাজেক্টরি রিডানডেন্সি। দীর্ঘ এজেন্ট কাজগুলি একটি সরল রেখায় অগ্রসর হয় না। তারা শাখা: একজন এজেন্ট একটি পদ্ধতির চেষ্টা করে, পিছিয়ে যায়, অন্যটি চেষ্টা করে, এবং কাজগুলি দীর্ঘতর এবং জটিল হওয়ার সাথে সাথে শাখার সংখ্যা বৃদ্ধি পায়। এই শাখার ইতিহাসের বেশিরভাগই অপ্রয়োজনীয়, এবং এর সমস্ত কিছুর উপর প্রশিক্ষণ গণনাকে নষ্ট করে এবং শিক্ষাকে অস্থিতিশীল করে। লেখকরা এই অপ্রয়োজনীয়তাকে স্কেলে প্রশিক্ষণের দক্ষতাকে পঙ্গু হিসাবে বর্ণনা করেছেন।

QwenGyre কিভাবে তাদের সম্বোধন করে

QwenGyre হল একটি এন্ড-টু-এন্ড ফ্রেমওয়ার্ক লং-হরাইজন অনলাইন RL এর জন্য যা দুটি মূল মেকানিজমকে ঘিরে তৈরি করা হয়েছে।

প্রথমটি হল ইলাস্টিক জিপিইউ রিলোকেশন। ফ্রেমওয়ার্ক লাইভ এক্সিকিউশনে বাধা না দিয়ে রোলআউট সাইড (যেখানে এজেন্টরা চালায় এবং অভিজ্ঞতা তৈরি করে) এবং ট্রেনিং সাইড (যেখানে মডেল আপডেট করা হয়) এর মধ্যে জিপিইউগুলিকে স্থানান্তরিত করে। প্রচলিত সেটআপগুলিতে, রোলআউট এবং প্রশিক্ষণ সংস্থানগুলির মধ্যে বিভাজন স্থির করা হয়, তাই একপাশ নিষ্ক্রিয় থাকে এবং অন্যটি কাজ করে। সীমানাকে স্থিতিস্থাপক করার অর্থ হল একটি রোলআউট-ভারী ফেজ প্রশিক্ষণের হার্ডওয়্যার ধার করতে পারে এবং এর বিপরীতে, কাজের চাপ পরিবর্তনের সাথে সাথে।

দ্বিতীয়টি হল একটি ট্র্যাজেক্টরি প্রসেসর যা ব্রাঞ্চিং সমস্যাকে নিয়ন্ত্রণ করে। এটি শাখার ইতিহাস পুনর্গঠন করে যাতে ভাগ করা উপসর্গগুলিকে সম্পর্কহীন ডেটা হিসাবে গণ্য করা না হয়, অসম্পূর্ণ প্রচেষ্টায় আংশিক অগ্রগতি স্কোর করে — গুরুত্বপূর্ণ যখন বেশিরভাগ দীর্ঘ রোলআউট ব্যর্থতায় শেষ হয় — এবং আবদ্ধ প্রশিক্ষণ খরচের জন্য অপ্রয়োজনীয় পথগুলিকে বাদ দেয়৷

এখানকার অর্থনীতি সহজবোধ্য। বড় মডেলের জন্য রিইনফোর্সমেন্ট শেখার ক্ষেত্রে, কম্পিউটই প্রধান খরচ, এবং রোলআউট-ট্রেনিং স্প্লিট নির্ধারণ করে যে কোন মুহূর্তে একটি GPU ফ্লিট আসলে কতটা আয় করছে। একটি ফ্রেমওয়ার্ক যা জিপিইউগুলিকে নিষ্ক্রিয় করার পরিবর্তে দরকারী কাজে রাখে একই হার্ডওয়্যারের থ্রুপুটকে কার্যকরভাবে গুণ করে। দীর্ঘ-দিগন্ত এজেন্ট প্রশিক্ষণের জন্য - যেখানে কাগজটি অলসতাকে "ব্যাপক" হিসাবে বর্ণনা করে - একটি স্ট্যাটিক এবং একটি ইলাস্টিক বিভাজনের মধ্যে পার্থক্য সিদ্ধান্ত নিতে পারে যে একটি প্রশিক্ষণ প্রোগ্রাম আদৌ ব্যবহারিক কিনা।

কেন এটি এজেন্ট ইকোসিস্টেমের জন্য গুরুত্বপূর্ণ

এজেন্ট পণ্যগুলি ডেমো থেকে স্থাপনায় স্থানান্তরিত হয়েছে এবং তাদের পিছনে প্রশিক্ষণের কৌশলগুলি চালিয়ে যাওয়ার জন্য দৌড়াচ্ছে৷ একজন কোডিং এজেন্ট যেটি একটি বাস্তব টিকিট সম্পূর্ণ করে, অথবা একজন সহকারী যেটি একটি বহু-পদক্ষেপের কর্মপ্রবাহ পরিচালনা করে, একজন মানুষ গ্রহণ করবে এমন একটি ফলাফলে পৌঁছানোর আগে শত শত ইন্টারঅ্যাকশনের প্রয়োজন হতে পারে — এবং সেই ফলাফলগুলির জন্য পুরস্কারের সংকেতগুলি খুব কম এবং সংজ্ঞায়িত করা কঠিন। অনলাইন রিইনফোর্সমেন্ট লার্নিং এজেন্টের আচরণকে তীক্ষ্ণ করার জন্য একটি প্রভাবশালী পন্থা হিসাবে রয়ে গেছে, যা RL পাইপলাইনের থ্রুপুটকে একটি ল্যাব কত দ্রুত তার এজেন্টদের উন্নতি করতে পারে তার উপর সরাসরি সীমাবদ্ধতা তৈরি করে।

এই কারণেই QwenGyre-এর মতো কাঠামো আলিবাবার বাইরে গুরুত্বপূর্ণ। লং-হরাইজন RL যদি প্রাপ্ত ক্ষমতার পয়েন্ট অনুযায়ী নাটকীয়ভাবে সস্তা হয়ে যায়, তাহলে আরও টিম এজেন্টদেরকে দীর্ঘ, অগোছালো কাজগুলিতে প্রশিক্ষণ দেওয়ার সামর্থ্য রাখতে পারে যা বাস্তব কাজের অনুরূপ, সংক্ষিপ্ত সিন্থেটিক পর্বগুলির পরিবর্তে যা রোল আউট করার জন্য সস্তা কিন্তু প্রক্সি হিসাবে দুর্বল। যে দলগুলি থ্রুপুট সমস্যার সমাধান করে তারা এজেন্টিক ক্ষমতার উপর অন্য সবার চেয়ে অনেক দ্রুত পুনরাবৃত্তি করতে সক্ষম হবে।

রিপোর্ট করা ফলাফল

কাগজে সবচেয়ে বিশিষ্ট ফলাফলটি আসে QwenGyre থেকে Qwen-এর ফ্ল্যাগশিপ মডেল, Qwen 3.8 2.4T-তে স্কেল করা, যার রোলআউট 700,000 টোকেন রয়েছে। ফ্রেমওয়ার্কের সাথে প্রশিক্ষণ NL2RepoBench-এ 6.0 শতাংশ নিখুঁত লাভ করেছে — প্রাকৃতিক ভাষার অনুরোধগুলিকে রিপোজিটরি-লেভেল কোড পরিবর্তনে অনুবাদ করার জন্য একটি বেঞ্চমার্ক — মডেলটিকে 52.5 শতাংশ থেকে 58.5 শতাংশে উন্নীত করেছে মাত্র 48 RL ধাপে৷

দক্ষতার উপর, টিম রিপোর্ট করে যে QwenGyre বিভিন্ন প্রশিক্ষণ ডোমেন বিস্তৃত মূল্যায়ন জুড়ে, একটি কোলোকেটেড RL বেসলাইনে 1.85 গুণ এবং একটি অ্যাসিঙ্ক্রোনাস সেটআপে 1.78 গুণ পর্যন্ত গতি সরবরাহ করে। এগুলি হল একটি ক্ষেত্রের উল্লেখযোগ্য সংখ্যা যেখানে থ্রুপুট লাভ সাধারণত একক-অঙ্কের শতাংশে পরিমাপ করা হয়।

সতর্কতা এবং প্রাপ্যতা

যেকোন ল্যাব-প্রকাশিত ফলাফলের মতো, সংখ্যাগুলি কুয়েন দল দ্বারা স্ব-প্রতিবেদিত এবং এখনও স্বাধীনভাবে পুনরুত্পাদন করা হয়নি। বাইরের গবেষকদের জন্য একটি ব্যবহারিক প্রশ্ন হল অ্যাক্সেস: যদিও কিছু কভারেজ QwenGyre-কে ওপেন সোর্স হিসাবে বর্ণনা করেছে, লেখার সময় একটি পরিষ্কার পাবলিক কোড প্রকাশ করা হয়নি, তাই রিপোর্ট করা গতির স্বতন্ত্র যাচাইকরণ এখনও সম্ভব নয়। আরও বিশদ উপলব্ধ হওয়ার সাথে সাথে AI Buzz Wire আপডেট হবে।

তবুও, কাগজটি এজেন্ট প্রশিক্ষণ কোথায় যাচ্ছে তার একটি দরকারী সংকেত। যেহেতু এজেন্টরা দীর্ঘতর এবং আরও মূল্যবান কাজগুলি গ্রহণ করে, তাদের প্রশিক্ষণের জন্য প্রয়োজনীয় পরিকাঠামো চ্যাট-যুগের RL পাইপলাইন থেকে তীব্রভাবে সরে যাচ্ছে — এবং উভয়ের মধ্যে ব্যবধান কেবল বাড়বে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →