আনস্লথ, স্থানীয়ভাবে বৃহৎ ভাষার মডেলগুলি চালানো এবং সূক্ষ্ম-টিউন করার জন্য কিছু বহুল ব্যবহৃত সরঞ্জামগুলির পিছনে ওপেন-সোর্স টিম, ডায়নামিক 3.0 প্রকাশ করেছে, GGUF মডেল ফাইলগুলির জন্য তার কোয়ান্টাইজেশন পদ্ধতির তৃতীয় প্রজন্ম। নতুন স্কিমের অধীনে পাঠানোর জন্য প্রথম মডেলগুলি হল Qwen3.8-27B এর পরিমাণ, এবং আনস্লথ দাবি করে যে তারা অন্য প্রতিটি কোয়ান্টাইজেশন প্রদানকারীর তুলনায় একই ফাইলের আকারে 10 শতাংশের বেশি সেরা শীর্ষ-1 শতাংশ নির্ভুলতা প্রদান করে।
রিলিজটি দ্রুত হ্যাকার নিউজের প্রথম পৃষ্ঠায় পৌঁছেছে, যেখানে স্থানীয়-মডেল উত্সাহীরা বেঞ্চমার্ক চার্টগুলিকে বিচ্ছিন্ন করেছে। এটি প্রকল্পের জন্য উল্লেখযোগ্য ট্র্যাকশনের মধ্যে পৌঁছেছে: আনস্লথ বলেছেন যে মডেলটি প্রকাশের পাঁচ দিনের মধ্যে এর Qwen3.8 কোয়ান্টাইজেশনগুলি 5.1 মিলিয়নেরও বেশি বার ডাউনলোড করা হয়েছে। For more context on this story, see our ongoing artificial intelligence updates.
কেন কোয়ান্টাইজেশন কোয়ালিটি গুরুত্বপূর্ণ
কোয়ান্টাইজেশন একটি মডেলের ফাইলের আকারকে সঙ্কুচিত করে এর ওজন কম নির্ভুলতায় সংরক্ষণ করে, যার ফলে ভোক্তা GPU এবং ল্যাপটপে বড় মডেল চালানো সম্ভব হয়। ট্রেড-অফ সর্বদা যথার্থতা ছিল: হেভি-হ্যান্ডেড কোয়ান্টাইজেশন আউটপুটকে এমনভাবে হ্রাস করে যা নৈমিত্তিক বেঞ্চমার্কগুলি মিস করতে পারে। ক্রমবর্ধমান সম্প্রদায়ের জন্য স্থানীয়ভাবে মডেলগুলি চালানোর জন্য - ডেভেলপার থেকে শুরু করে ব্যয়বহুল ক্লাউড API অ্যাক্সেস সহ অঞ্চলের ব্যবহারকারীদের জন্য এজেন্ট ওয়ার্কফ্লো পরীক্ষা করা - কোয়ান্ট কোয়ালিটি কার্যকরভাবে নির্ধারণ করে কোন মডেলগুলি ব্যবহারযোগ্য।
ডায়নামিক 3.0 হল সেই ট্রেড-অফের আনস্লথের উত্তর। দলের ডকুমেন্টেশন অনুযায়ী, নতুন রিলিজ "একই আকার বজায় রেখে আরও মডেলের গুণমান রক্ষা করে, ডাইভারজেন্স-300 @32 এবং কেএল ডাইভারজেন্সের মতো মেট্রিক্স জুড়ে শক্তিশালী ফলাফল সহ।"
সংস্করণ 3.0 এ কি পরিবর্তন হয়েছে
পদ্ধতির আপগ্রেডগুলি ছলনামূলক না হয়ে দানাদার। আনস্লথ বলে যে এটি এখন অনেক উচ্চ-মানের গুরুত্ব-ম্যাট্রিক্স ক্রমাঙ্কন ডেটাসেট ব্যবহার করে যা বিভিন্ন উত্স থেকে আঁকা, স্পষ্টভাবে এজেন্টিক কোডিং, চ্যাট এবং বহুভাষিক পারফরম্যান্সের জন্য পরিমার্জিত। স্তর নির্বাচন - মডেলের কোন অংশগুলিকে সবচেয়ে বেশি চাপ দেওয়া হবে তা নির্ধারণ করে - উন্নত করা হয়েছে, এবং গুণমান রক্ষা করার জন্য অতিরিক্ত পরিমাণ নির্ধারণের কৌশলগুলি চালু করা হয়েছে।
উল্লেখযোগ্যভাবে, দলটি জোর দেয় যে সবকিছুই প্রশিক্ষণ-পরবর্তী কোয়ান্টাইজেশনের মাধ্যমে করা হয়: কোন কোয়ান্টাইজেশন-সচেতন প্রশিক্ষণ এবং কোন কোয়ান্টাইজেশন-সচেতন পাতন নেই। ক্রমাঙ্কন ডেটাসেট নিজেই প্রশিক্ষিত নয়, এবং imatrix ফাইলটি সর্বজনীনভাবে প্রকাশ করা হয় যাতে সম্প্রদায় কাজটি পুনরুত্পাদন করতে পারে বা এর উপরে সূক্ষ্ম সুর তৈরি করতে পারে।
নির্দিষ্ট পরিমাণের স্তরগুলি ব্যবহারিক প্রভাব দেখায়। UD-Q2_K_XL কোয়ান্ট, 9.83 GB, সেই আকারের পরবর্তী-সেরা বিকল্পের তুলনায় শীর্ষ-1 শতাংশ মেট্রিকে প্রায় 8 শতাংশ বেশি নির্ভুল হিসাবে বর্ণনা করা হয়েছে। একটি অনানুষ্ঠানিক পরীক্ষায় আনস্লথ হাইলাইট করে, সেই কোয়ান্টটি একটি ছোট জাভাস্ক্রিপ্ট বাগ সহ একটি কার্যকরী এইচটিএমএল প্রোগ্রাম তৈরি করেছিল - আউটপুট যা আগের প্রজন্মের একই আকারের কোয়ান্টগুলি সম্পূর্ণরূপে ভেঙে যেত।
চরম নিম্ন প্রান্তে, একটি UD-IQ1_S কোয়ান্ট মডেলটিকে 6.2 GB - মূলের থেকে 89 শতাংশ ছোট - যখন শীর্ষ-1 শতাংশ নির্ভুলতার প্রায় 72 শতাংশ ধরে রাখে৷ আনস্লথ মোটামুটি 500 MB ডিস্ক স্পেস সংরক্ষণের জন্য 8.37 GB-এর কম পরিমাণ থেকে মাল্টি-টোকেন-পূর্বাভাস মডিউলটি সরিয়ে দিয়েছে, মডিউলটি যারা এটি চান তাদের জন্য আলাদাভাবে উপলব্ধ।
একটি কঠিন বেঞ্চমার্ক, শুধু একটি বন্ধুত্বপূর্ণ নয়
সম্ভবত ঘোষণার আরও ফলাফলমূলক অংশটি পদ্ধতিগত। আনস্লথ যুক্তি দেন যে শীর্ষ-১ শতাংশ নির্ভুলতা - মূলত একটি একক-ভবিষ্যদ্বাণী আর্গম্যাক্স পরীক্ষা - বাস্তব অনুমান মানের একটি কার্যকর পরিমাপক নয়। বেঞ্চমার্ক ওভারফিটিং মোকাবেলা করার জন্য, দলটি Divergence-300 @32 তৈরি করেছে: Terminal-Bench 2.1, DeepSWE, Harbor, MathArena 2025-26, এবং নন-ল্যাটিন লং-ডকুমেন্ট প্রম্পট থেকে আঁকা 300টি উদাহরণের একটি হোল্ড-আউট ডেটাসেট, যার কোনোটিই ক্যালিব ডেটাতে দেখা যায় না।
মেট্রিকটি 32টি টোকেনের জন্য লোভনীয় ডিকোডিং চালায় এবং পরিমাপ করে যে প্রতিটি কোয়ান্টের আউটপুট ট্র্যাজেক্টরি আসল BF16 মডেলের সাথে কতটা ঘনিষ্ঠভাবে মেলে — কাছাকাছি ট্র্যাজেক্টরি মানে কোয়ান্ট মাল্টি-টোকেন জেনারেশনের উপর সম্পূর্ণ মডেলের মতো আচরণ করে, শুধুমাত্র একক ভবিষ্যদ্বাণীতে নয়। KL ডাইভারজেন্স বেঞ্চমার্ক সমস্ত প্রোভাইডার জুড়ে চলে আনস্লথের UD-3 কোয়ান্টগুলি ছোট আকারে সবচেয়ে বড় লাভের সাথে সমান ডিস্ক স্পেসে 10 শতাংশ অতিরিক্ত টপ-1 শতাংশ নির্ভুলতা অর্জন করে।
দলটি অদেখা উইকিটেক্সট এবং কোডে তার পুরানো ডায়নামিক 2.0 রিলিজের সাথে নতুন কোয়ান্টগুলির তুলনা করে একটি ওভারফিটিং বিশ্লেষণও প্রকাশ করেছে এবং বলেছে যে এটি বৃহত্তর পরিমাণের আকারগুলিতে পুনরাবৃত্তি করতে থাকবে যেখানে লাভগুলি আরও শালীন ছিল৷
ট্র্যাক রেকর্ড এবং সতর্কতা
আনস্লথ মডেল বিক্রেতাদের সাথে সরাসরি সহযোগিতার মাধ্যমে স্থানীয়-মডেল সম্প্রদায়ে বিশ্বাসযোগ্যতা অর্জন করেছে — টিম Qwen3, Meta's Llama 4, Mistral's Devstral, Google's Gemma সিরিজ এবং Microsoft-এর Phi মডেলগুলিতে অবদান রাখা সংশোধনগুলির তালিকা করে, যে কাজগুলি ঐতিহাসিকভাবে সঠিকভাবে নতুনভাবে মুক্তি পাওয়া ওজনের ত্রুটিগুলি সমাধান করেছে৷
স্বাভাবিক সতর্কতা প্রযোজ্য: এগুলি বিক্রেতা-চালিত বেঞ্চমার্ক, এবং প্রতিদ্বন্দ্বী কোয়ান্টাইজারগুলি ভিন্নভাবে পরিমাপ করে। কিন্তু ক্রমাঙ্কন ফাইল প্রকাশ, হোল্ড-আউট মূল্যায়ন সেট, এবং প্রতি-কোয়ান্ট ডাইভারজেন্স ডেটা স্বাধীন যাচাইকরণকে অস্বাভাবিকভাবে সহজ করে তোলে — এবং সেই স্বচ্ছতাই ঠিক যা প্রকল্পটিকে স্থানীয় LLM ইকোসিস্টেমের কেন্দ্রে রেখেছে কারণ এটি মূলধারার ব্যবহারের দিকে এগিয়ে যাচ্ছে।
স্থানীয় হার্ডওয়্যারে Qwen3.8 বা যেকোনো ফ্রন্টিয়ার ওপেন-ওয়েট মডেল চালানোর জন্য, ডায়নামিক 3.0 রিলিজ একটি কোয়ান্টাইজড মডেল যা করতে পারে তার জন্য কার্যকরভাবে ফ্লোর বাড়ায় — এবং একই কঠোরতা প্রকাশ করার জন্য অন্য প্রতিটি কোয়ান্টাইজেশন প্রদানকারীকে চাপ দেয়।
এই ধরনের টুলের কভারেজ এআই বাজ ওয়্যারের দৈনিক এআই ইন্ডাস্ট্রি কভারেজের অংশ - তারা পাঠানোর সাথে সাথে সর্বশেষ এআই উন্নয়নের জন্য অনুসরণ করুন।---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
