DeepSeek-এর ওপেন-সোর্স ডিপইনফার রয়েছে, উচ্চ-কার্যক্ষমতার অনুমান কাঠামো যা চীনা AI ল্যাব বলে যে তার নিজস্ব বড় আকারের উত্পাদন পরিষেবাগুলিকে ক্ষমতা দেয়৷ কোডটি Apache 2.0 লাইসেন্সের অধীনে GitHub-এ উপস্থিত হয়েছিল এবং কয়েকদিনের মধ্যে ইতিমধ্যেই 5,500 টিরও বেশি তারা সংগ্রহ করেছে, সোমবার মুক্তির বিষয়ে একটি হ্যাকার নিউজ আলোচনার শত শত আপভোট পাওয়ার পরে।

প্রকল্পের README অনুসারে, রিলিজটি মূল বৈশিষ্ট্যগুলির সাথে অফলাইন অনুমান প্রদান করে যেগুলি ডিপসিক তার মডেলগুলিকে স্কেলে পরিবেশন করার জন্য নির্ভর করে৷ ডিফল্ট কনফিগারেশনটি লক্ষ্য করে DeepSeek-V4.1-Flash, এবং ফ্রেমওয়ার্কটি প্রথম রানে Hugging Face থেকে স্বয়ংক্রিয়ভাবে DeepSeek-V4.1-Flash-1017 চেকপয়েন্ট ডাউনলোড করে। For more context on this story, see our ongoing artificial intelligence updates.

ডিপইনফার আসলে কী অন্তর্ভুক্ত করে

DeepInfer একটি স্ক্র্যাচ পুনর্লিখন নয়. এটি ডিপসিক গত দুই বছর ধরে টুকরো টুকরো বিশেষ কার্নেলগুলিকে একত্রিত করে — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, এবং কাস্টম টাইল্যাং কার্নেলগুলি — বিল্ট ইন মডেল এবং স্যাম্পলার এক্সিকিউশন সহ একক রানটাইমে।

ফ্রেমওয়ার্কটি বিভিন্ন পরিবেশন কৌশলও প্রেরণ করে যা সংগ্রহস্থলে বিস্তারিতভাবে নথিভুক্ত করা হয়েছে:

  • আস্থা-নির্ধারিত যাচাইকরণ, একটি অনুমানমূলক ডিকোডিং পদ্ধতি যা খসড়া টোকেন এবং আত্মবিশ্বাসের অনুমান যাচাইকরণের সময়সূচী ব্যবহার করে, পরিবেশের ভেরিয়েবলের মাধ্যমে নিয়ন্ত্রণযোগ্য
  • ডিকোডার SWA বাউন্ডেড রিপ্লে, যা ক্রমটির শুধুমাত্র একটি আবদ্ধ প্রত্যয় পুনরায় প্লে করে ডিকোডার প্রিফিল কাজকে হ্রাস করে
  • অসিঙ্ক্রোনাস সময়সূচী যা ডিফল্টরূপে সক্রিয় CPU ব্যাচ শিডিউলিংকে ডিভাইস এক্সিকিউশনের সাথে ওভারল্যাপ করে
  • ব্যাচ-ইনভেরিয়েন্ট ইনফারেন্স, যা মডেলের ফলাফলকে বিভিন্ন ব্যাচ কম্পোজিশনে অভিন্ন রাখে
  • ডিটারমিনিস্টিক স্যাম্পলিং, অভিন্ন ইনপুট এবং স্যাম্পলিং প্যারামিটারের জন্য অভিন্ন আউটপুট তৈরি করা
  • গঠিত আউটপুট, প্রজন্মকে একটি রেজেক্স, JSON স্কিমা, বা EBNF ব্যাকরণে সীমাবদ্ধ করে

এই সংমিশ্রণটি মূলত অপারেটরদের লক্ষ্য করে যাদের পরীক্ষামূলক খেলার পরিবর্তে পুনরুত্পাদনযোগ্য, উচ্চ-থ্রুপুট পাঠ্য প্রজন্মের প্রয়োজন। ব্যাচ ইনভেরিয়েন্স এবং নির্দিষ্ট বিষয়ে নির্দিষ্ট বিষয়ে নমুনা নেওয়া এন্টারপ্রাইজগুলির জন্য যেগুলিকে অবশ্যই অডিট করতে হবে কেন একটি মডেল একটি প্রদত্ত আউটপুট তৈরি করেছে।

NVIDIA এবং Huawei Ascend, পাশাপাশি

সবচেয়ে ঘনিষ্ঠভাবে দেখা বিশদ হল হার্ডওয়্যার সমর্থন। DeepInfer CUDA 13 এর মাধ্যমে NVIDIA SM100 GPUs এবং CANN 9.2 এর মাধ্যমে Huawei Ascend 950 NPUsকে লক্ষ্য করে, উভয় পথের জন্য পূর্বশর্ত হিসাবে তালিকাভুক্ত Linux, GCC 13, এবং Python 3.12 সহ।

সেই দ্বৈত-প্ল্যাটফর্ম অবস্থান ডিপসিকের সাম্প্রতিক ইতিহাসের সাথে সামঞ্জস্যপূর্ণ। কোম্পানিটি অ্যাসেন্ড হার্ডওয়্যারের জন্য টাইল্যাং-ভিত্তিক সফ্টওয়্যার তৈরি করতে কয়েক মাস ব্যয় করেছে এবং CUDA অপূরণীয় এমন অনুমানকে সর্বজনীনভাবে চ্যালেঞ্জ করেছে৷ একটি প্রোডাকশন ইনফারেন্স ফ্রেমওয়ার্ক শিপিং যা অ্যাসেন্ডকে প্রথম শ্রেণীর নাগরিক হিসাবে বিবেচনা করে — গবেষণার পরে চিন্তার পরিবর্তে — সেই কৌশলটিকে প্রসারিত করে এবং এটি এমন এক সময়ে অবতরণ করে যখন মার্কিন রপ্তানি নিয়ন্ত্রণগুলি এনভিডিয়া চিপগুলি চীনা কোম্পানিগুলি কিনতে পারে তা সীমাবদ্ধ করে।

ডোমেস্টিক সিলিকন চালিত চীনা ক্লাউড অপারেটরদের জন্য, একটি রক্ষণাবেক্ষণ করা ইনফারেন্স ইঞ্জিন যা Ascend 950 সমর্থন করে এনভিডিয়া ইকোসিস্টেমের বাইরে ফ্রন্টিয়ার-ক্লাস ওপেন মডেলগুলি পরিবেশন করার ক্ষেত্রে একটি ব্যবহারিক বাধা দূর করে।

মুক্তি থেকে কি নেই

README স্পষ্ট যে এটি এখনও একটি সম্পূর্ণ পরিবেশন স্ট্যাক নয়। DeepInfer-এ নির্মিত একটি প্রোডাকশন ডিপ্লোয়মেন্টের জন্য এখনও তিনটি উপাদানের প্রয়োজন যা রিলিজে অন্তর্ভুক্ত নয়: একটি কেভি ক্যাশে সিস্টেম, প্রিফিল এবং ডিকোড ডিস্যাগ্রিগেশন, এবং ডেটা-সমান্তরাল প্রতিলিপি জুড়ে লোড ব্যালেন্সিং। রিপোজিটরি নোট করে যে ডিস্যাগ্রিগেশনের জন্য প্রয়োজনীয় ইঞ্জিন কার্যকারিতাগুলির বেশিরভাগই ইতিমধ্যে প্রয়োগ করা হয়েছে, কিন্তু আশেপাশের সিস্টেমগুলি অপারেটরের উপর ছেড়ে দেওয়া হয়েছে।

অনুশীলনে এর অর্থ হল ডিপইনফারকে ডিপসিকের পরিকাঠামোর কম্পিউট ইঞ্জিন হিসেবে বোঝা যায় কমিউনিটি পরিবেশন ফ্রেমওয়ার্কের টার্নকি বিকল্পের পরিবর্তে। টিমগুলিকে এখনও এটিকে বাস্তব ট্র্যাফিকের সামনে রাখার আগে ক্যাশিং এবং রাউটিং স্তরগুলির সাথে একীভূত করতে হবে।

কেন এটা গুরুত্বপূর্ণ

ডিপসিকের ব্যবসা অত্যন্ত সস্তায় মডেল পরিবেশন করার উপর নির্ভর করে এবং সেই ব্যবসার অর্থনীতি তীব্র নিরীক্ষার বিষয় হয়ে দাঁড়িয়েছে কারণ কোম্পানিটি তার আগের স্বল্প খরচের অবস্থান থেকে মূল্য নির্ণয়কে যা বর্ণনা করেছে তার দিকে এগিয়ে যাচ্ছে। প্রকৃত উৎপাদন অনুমান পথ খোলা - শুধু গবেষণা কোড নয় - বাইরের ডেভেলপার এবং ক্লাউড প্রদানকারীদের সেই খরচগুলির পিছনের কৌশলগুলিকে অস্বাভাবিকভাবে সরাসরি দেখায়৷

এটি একটি ইচ্ছাকৃত প্যাটার্ন অব্যাহত. ফ্ল্যাশএমএলএ, ডিপজিইএমএম, এবং ডিপইপি সমস্ত আলাদাভাবে প্রকাশিত হয়েছিল কারণ ল্যাবটি তার স্ট্যাক তৈরি করেছিল; ডিপইনফার কার্যকরভাবে ডকুমেন্ট করে কিভাবে টুকরোগুলো একসাথে ফিট করে। গবেষকদের জন্য, রিলিজ ডিপসিকের প্রকাশিত কর্মক্ষমতা দাবি পুনরুত্পাদন করা সহজ করে তোলে। প্রতিযোগীদের জন্য, এটি একটি উন্মুক্ত অনুমান স্ট্যাক হিসাবে গণনা করার জন্য বার বাড়ায়।

Apache 2.0 লাইসেন্স কপিলেফ্ট বাধ্যবাধকতা ছাড়াই বাণিজ্যিক ব্যবহারের অনুমতি দেয়, যার অর্থ পশ্চিমা ক্লাউড সরবরাহকারীরা এটিকে আইনতভাবে স্থাপন করতে পারে — যদিও এর মডেল সমর্থন বর্তমানে DeepSeek এর নিজস্ব V4.1-ফ্ল্যাশ চেকপয়েন্টের মধ্যে সীমাবদ্ধ, তাই বেশিরভাগই এটিকে আপাতত একটি রেফারেন্স বাস্তবায়ন হিসাবে বিবেচনা করবে।

কি দেখতে হবে

তিনটি প্রশ্ন নির্ধারণ করবে যে ডিপইনফার ব্যাপকভাবে গৃহীত হয় বা একটি কৌতূহল থেকে যায়। প্রথমত, সম্প্রদায় এটিকে V4.1-ফ্ল্যাশের বাইরে অন্যান্য মডেল আর্কিটেকচারে পোর্ট করে কিনা। দ্বিতীয়ত, রিপোজিটরির পারফরম্যান্স টেবিলে প্রকাশিত বেঞ্চমার্ক ফলাফল ডিপসিকের নিজস্ব ক্লাস্টারের বাইরে হার্ডওয়্যার ধরে রাখে কিনা। তৃতীয়ত, অনুপস্থিত অংশগুলি কিনা — কেভি ক্যাশে ব্যবস্থাপনা, ডিস্যাগ্রিগেশন, এবং লোড ব্যালেন্সিং — ভবিষ্যতের রিলিজে পৌঁছাবে, ইঞ্জিনটিকে একটি সম্পূর্ণ পরিবেশন কাঠামোতে পরিণত করবে।

আপাতত, রিলিজটি একটি ল্যাব থেকে একটি উল্লেখযোগ্য স্বচ্ছতার পদক্ষেপ যা বারবার তার মডেলগুলির নীচে অবকাঠামো প্রকাশ করতে বেছে নিয়েছে। বিকাশকারীরা যারা পরীক্ষা করতে চান তারা যে কোনও সমর্থিত প্ল্যাটফর্মে উত্স থেকে DeepInfer তৈরি করতে পারেন এবং একটি একক উদাহরণ স্ক্রিপ্টের সাথে অফলাইন অনুমান চালাতে পারেন।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →