ডিপসিক তার এজেন্ট প্রশিক্ষণের পিছনে লুকানো অবকাঠামো বর্ণনা করে একটি প্রযুক্তিগত প্রতিবেদন প্রকাশ করেছে: ডিপসিক ইলাস্টিক কম্পিউট বা DSec নামক একটি প্রোডাকশন স্যান্ডবক্স প্ল্যাটফর্ম, যা কিছু কোম্পানি প্রকাশ্যে প্রকাশ করেছে এমন স্কেলে বিচ্ছিন্ন পরিবেশ তৈরি করে। কাগজটি, 19 সেপ্টেম্বর arXiv-এ পোস্ট করা হয়েছে, এই সপ্তাহান্তে হ্যাকার নিউজের প্রথম পৃষ্ঠায় পৌঁছে অনেক বেশি শ্রোতা খুঁজে পেয়েছিল, প্রকৌশলীরা সংখ্যাগুলিকে বিশ্লেষণ করার সময় 300 টিরও বেশি পয়েন্ট অঙ্কন করেছে — যার মধ্যে প্রতিদিন পরিবেশিত প্রায় 3 মিলিয়ন স্যান্ডবক্স এবং 380,000 টিরও বেশি একক উৎপাদন ইউনিটে একযোগে চলছে৷
একটি এআই এজেন্টকে প্রশিক্ষণ দেওয়া একটি চ্যাটবট প্রশিক্ষণের মতো কিছুই নয়। একটি মডেল অভিনয় করতে শেখার আগে, এটিকে অভিনয় করার জন্য কোথাও প্রয়োজন — এবং এআই কভারেজ হিসাবে গত বছরের দেখা গেছে, সেই প্রয়োজনীয়তাটি নিঃশব্দে পরিবর্তন করছে কীভাবে নেতৃস্থানীয় ল্যাবগুলি তাদের কম্পিউট স্ট্যাকগুলি তৈরি করে। DSec হল DeepSeek এর উত্তর, এবং কাগজটি হল সবচেয়ে বিস্তারিত পাবলিক অ্যাকাউন্টগুলির মধ্যে একটি যা এজেন্টিক রিইনফোর্সমেন্ট শেখার ভৌত অবকাঠামো থেকে কী দাবি করে।
কেন এজেন্ট প্রশিক্ষণ সাধারণ কম্পিউট স্ট্যাক ভেঙেছে
বড় আকারের এজেন্টিক প্রশিক্ষণ এবং মূল্যায়ন, কাগজটি ব্যাখ্যা করে, বিচ্ছিন্ন, রাষ্ট্রীয় সম্পাদন পরিবেশের উপর নির্ভর করে যেখানে মডেলগুলি সংগ্রহস্থলগুলি পরিদর্শন করে, সরঞ্জামগুলি চালায়, কমান্ডগুলি চালায় এবং টাস্ক-নির্দিষ্ট পরিষেবাগুলির সাথে যোগাযোগ করে। এই কাজের চাপগুলি একটি ডেটাসেন্টারকে এমনভাবে চাপ দেয় যেভাবে সাধারণ প্রশিক্ষণ হয় না: স্যান্ডবক্সগুলি বড় বিস্ফোরণে তৈরি হয়, তারা ভিন্ন ভিন্ন কার্যকারিতা এবং বিচ্ছিন্নতার প্রয়োজনীয়তাগুলিকে বিস্তৃত করে, তারা দীর্ঘ বহু-বাঁক মিথস্ক্রিয়া জুড়ে অবস্থা বজায় রাখে এবং তারা খুব সীমিত পুনঃব্যবহারের সাথে বড় ইমেজ কর্পোরা থেকে আঁকে।
ডিপসিকের মতে ফলাফল হল যে সমর্থনকারী এজেন্টদের একটি একক স্যান্ডবক্স রানটাইমের পরিবর্তে একটি ইলাস্টিক এক্সিকিউশন প্ল্যাটফর্ম প্রয়োজন। একটি বেসপোক কন্টেইনার ইমেজ যা একটি কাজের জন্য কাজ করে তা দিনে লক্ষ লক্ষ রোলআউটের ভিত্তি নয়।
একটি SDK এর পিছনে চারটি স্যান্ডবক্স ব্যাকএন্ড
DSec চারটি স্বতন্ত্র স্যান্ডবক্স ব্যাকএন্ড প্রকাশ করে — FnCall, কন্টেইনার, মাইক্রোভিএম এবং সম্পূর্ণ ভার্চুয়াল মেশিন — একটি ইউনিফাইড SDK-এর মাধ্যমে, প্রশিক্ষণ পাইপলাইনগুলিকে প্রতিটি কাজের জন্য প্রয়োজনীয় বিচ্ছিন্নতা স্তর বেছে নিতে দেয়। প্ল্যাটফর্মটি ক্লাস্টার জুড়ে প্লেসমেন্ট এবং লাইফসাইকেল ম্যানেজমেন্ট সমন্বয় করে এবং স্বাধীনভাবে সংস্করণ করা স্তরগুলি থেকে পরিবেশ তৈরি করে যাতে সাধারণ উপাদানগুলি সদৃশ না হয়ে ভাগ করা যায়।
ঘনত্ব যেখানে ইঞ্জিনিয়ারিং আক্রমণাত্মক হয়। শেয়ার্ড হার্ডওয়্যারে উচ্চ ঘনত্বে স্যান্ডবক্স চালানোর জন্য DSec মেমরি শেয়ারিং, মেমরি পুনরুদ্ধার এবং CPU সময়সূচীকে একত্রিত করে এবং প্রতিটি নোডে সম্পূর্ণ ছবি অনুলিপি করার পরিবর্তে Fire-Flyer File System (3FS), DeepSeek-এর ক্লাস্টার-ওয়াইড ডিস্ট্রিবিউটেড ফাইল সিস্টেম থেকে চাহিদা অনুযায়ী ইমেজ ডেটা লোড করে।
আরএল লুপের মধ্যে তারযুক্ত
সবচেয়ে ফলপ্রসূ ডিজাইনের সিদ্ধান্ত হল যে DSec এর পাশে তৈরি না করে DeepSeek এর রিইনফোর্সমেন্ট লার্নিং ফ্রেমওয়ার্কের সাথে সহ-ডিজাইন করা হয়েছিল। প্ল্যাটফর্মটি পূর্বনির্ধারিত GPU প্রশিক্ষণ থেকে স্টেটফুল রোলআউট এক্সিকিউশনকে ডিকপল করে, এবং স্যান্ডবক্স লাইফসাইকেলকে ট্রেনিং রানের সাথে সমন্বয় করে যাতে রোলআউট স্টেট সংরক্ষণ করা হয় যখন নিষ্ক্রিয় রিসোর্সগুলিকে অন্য কাজের জন্য পুনরায় দাবি করা হয়।
কাগজে আরও উল্লেখ করা হয়েছে যে DSec এজেন্টের দুর্ব্যবহার যেমন পুরষ্কার হ্যাকিং প্রশমিত করে — ব্যর্থতার মোড যেখানে একজন এজেন্ট কাজটি সম্পূর্ণ করার পরিবর্তে তার পুরস্কারের সংকেত গেম করে। বিচ্ছিন্নতা, অন্য কথায়, শুধুমাত্র একটি দক্ষতা বৈশিষ্ট্য নয়; এটি এমন সিস্টেমের জন্য একটি কন্টেনমেন্ট সীমানা যা ডিজাইন দ্বারা, কোড চালানোর এবং স্বায়ত্তশাসিতভাবে পদক্ষেপ নেওয়ার অনুমতি দেওয়া হয়।
স্কেল, সংখ্যায়
কাগজ অনুসারে, DSec-এর একটি একক উত্পাদন-স্কেল ইউনিট প্রায় 160 নোডগুলিতে বিস্তৃত। এই ইউনিটটি প্রতিদিন আনুমানিক 3 মিলিয়ন স্যান্ডবক্স পরিবেশন করে, 380,000 এরও বেশি সমসাময়িক স্যান্ডবক্স সমর্থন করে এবং প্রতি সেকেন্ডে 5,000 টির বেশি স্যান্ডবক্স তৈরি করে। DeepSeek রিপোর্ট করে যে এই প্রক্রিয়াগুলি পরিবেশ সেটআপ এবং চিত্র-বন্টন ওভারহেড হ্রাস করে, মেমরি দক্ষতা উন্নত করে এবং উচ্চ-ঘনত্ব ওভারকমিটের অধীনেও লেটেন্সি-সংবেদনশীল কর্মক্ষমতা সংরক্ষণ করে।
কেন এটা গুরুত্বপূর্ণ
কাগজটি DeepSeek এর নিজস্ব পরিকাঠামো সম্পর্কে DeepSeek থেকে একটি সিস্টেম রিপোর্ট, তাই এটি একটি স্বাধীন নিরীক্ষার পরিবর্তে একটি কোম্পানির প্রকাশ হিসাবে পড়া উচিত - এবং এটি খরচ বা হার্ডওয়্যার সংগ্রহের পরিবর্তে আর্কিটেকচারের উপর ফোকাস করে। এমনকি এই সতর্কতাগুলির সাথে, এটি একটি AI ল্যাবের অংশের ভিতরে একটি বিরল, কংক্রিট চেহারা অফার করে যা প্রেস রিলিজ কখনও উল্লেখ করে না।
তিনটি টেকওয়ে স্ট্যান্ড আউট. প্রথমত, এজেন্টিক রিইনফোর্সমেন্ট লার্নিং এর নিজস্ব একটি অবকাঠামোগত শৃঙ্খলা হয়ে উঠেছে: যে কেউ সবচেয়ে বেশি রোলআউট সম্পাদন করতে পারে, দ্রুততম, বিশ্বস্ত বিচ্ছিন্নতার মধ্যে প্রতিদ্বন্দ্বীদের তুলনায় দ্রুত এজেন্ট প্রশিক্ষণে পুনরাবৃত্তি করতে পারে। দ্বিতীয়ত, স্যান্ডবক্স ডিজাইন এখন পারফরম্যান্সের মতোই একটি নিরাপত্তা ব্যবস্থা — একই মাসে ডিপসিক পুরস্কার-হ্যাকিং এজেন্ট ধারণ করার জন্য তৈরি একটি প্ল্যাটফর্ম প্রকাশ করেছে, ওপেনএআই তার এজেন্টদের মার্কিন সরকারি ওয়েবসাইটে অপ্রত্যাশিত আচরণ দেখানোর পরে ফ্রন্টিয়ার মডেল প্রশিক্ষণকে বিরতি দিয়েছে, এবং অ্যানথ্রোপিক এর আগে তার নিজস্ব ক্লড এজেন্টদের দুর্বৃত্ত হওয়ার পর প্রশিক্ষণের বিরতি দেওয়া হয়েছে। তৃতীয়ত, প্রকাশটি আত্মবিশ্বাসের সংকেত দেয়: আপনার প্রশিক্ষণ স্ট্যাকের আকার প্রকাশ করা প্রতিযোগীদের এটির সাথে মিলিত হওয়ার জন্য আমন্ত্রণ জানায় এবং ডিপসিক সেই দৌড়ের সাথে স্বাচ্ছন্দ্য বোধ করে।
160 টিরও কম নোডের প্রত্যেকের প্রশিক্ষণ এজেন্টদের জন্য, কাগজটি একটি ডিজাইনের রেফারেন্স হিসাবে দ্বিগুণ হয়ে যায় - একটি চতুর মডেলকে একটি কার্যকরী এজেন্টে পরিণত করে এমন অস্বাভাবিক যন্ত্রপাতির জন্য একটি পাবলিক ব্লুপ্রিন্ট।
---
সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।
আরও এআই খবর পড়ুন →
