Tencent প্রকাশ করেছে এবং ওপেন-সোর্স Hy4 প্রিভিউ, তার Hunyuan দলের একটি নতুন ফ্ল্যাগশিপ বৃহৎ ভাষার মডেল যা কোম্পানিটি ওপেন-সোর্স ফ্রন্টিয়ারে অবস্থান করছে। সস্তা অনুমানের জন্য একটি FP8-কোয়ান্টাইজড ভেরিয়েন্টের পাশাপাশি অনুমোদিত Apache 2.0 লাইসেন্সের অধীনে ওজনগুলি 28 আগস্ট Hugging Face, ModelScope, GitCode এবং CNB-তে পৌঁছেছে।

লঞ্চটি ওপেন-ওয়েট ফ্রন্টিয়ার মডেল শিপিং করার জন্য চীনা ল্যাবগুলির মধ্যে প্রতিযোগিতাকে তীব্র করে তোলে, একটি ক্ষেত্র যা বর্তমানে Z.AI-এর GLM সিরিজ এবং Moonshot AI-এর কিমি মডেলগুলি অন্তর্ভুক্ত করে৷ ব্লুমবার্গ রিপোর্ট করেছে যে টেনসেন্ট দাবি করেছে যে নতুন মডেলটি অভ্যন্তরীণ পরীক্ষায় উভয় প্রতিদ্বন্দ্বীকে ছাড়িয়ে গেছে - একটি দাবি যে সমস্ত বিক্রেতা-চালিত মূল্যায়নের মতো, যাচাইয়ের দাবি রাখে। For more context on this story, see our ongoing breaking AI news.

শিরোনাম সংখ্যা

Hy4 প্রিভিউ হল একটি মিক্সচার-অফ-এক্সপার্টস (MoE) মডেল যার মোট 770 বিলিয়ন প্যারামিটার রয়েছে, যার মধ্যে টোকেন প্রতি 49 বিলিয়নটি সক্রিয় করা হয়। Tencent-Hunyuan GitHub সংগ্রহস্থলে প্রকাশিত অফিসিয়াল মডেল কার্ড অনুসারে, ব্যাকবোনে 78টি স্তর রয়েছে, 256টি রাউটেড বিশেষজ্ঞ এবং একজন শেয়ার করা বিশেষজ্ঞ রয়েছে এবং প্রতিটি টোকেনের জন্য শীর্ষ-8 রাউটেড বিশেষজ্ঞদের সক্রিয় করে। একটি নেটিভ মাল্টি-টোকেন পূর্বাভাস (MTP) স্তর — 10 বিলিয়ন মোট প্যারামিটার, 0.7 বিলিয়ন সক্রিয় — অনুমানমূলক ডিকোডিংয়ের জন্য তৈরি করা হয়েছে।

কনটেক্সট উইন্ডো হল অন্য মার্কি স্পেসিফিকেশন: 1 মিলিয়ন টোকেন, একটি দৈর্ঘ্য যা মডেলটিকে সম্পূর্ণ কোডবেস, দীর্ঘ আইনি নথি, বা একক পাসে ঘন্টা-ব্যাপী মিটিং ট্রান্সক্রিপ্ট প্রক্রিয়া করতে দেয়।

স্থাপত্য প্রতিদ্বন্দ্বীদের কাছ থেকে ধার করা হয়েছে — এবং এটির উপরে নির্মিত

একটি ফ্ল্যাগশিপ লঞ্চের জন্য একটি অস্বাভাবিক মাত্রার অকপটে, টেনসেন্টের ডকুমেন্টেশনে বলা হয়েছে যে মনোযোগ মডিউলটি "ডিপসিক এবং জিএলএম দ্বারা অনুপ্রাণিত হয়েছিল।" Hy4 প্রিভিউ ক্রস-লেয়ার স্পার্স ইনডেক্স পুনঃব্যবহারের জন্য IndexCache-এর সাথে মিলিত Gated DeepSeek Sparse Attention (Gated DSA) ব্যবহার করে, যখন অবশিষ্ট পাথওয়ে আন্ত-স্তর তথ্য প্রবাহকে প্রসারিত করতে আইডেন্টিটি হাইপার-কানেকশন (iHC) নিয়োগ করে।

মডেলের মূল্যায়নকারী ডেভেলপারদের জন্য খোলামেলা বিষয় গুরুত্বপূর্ণ: বিক্ষিপ্ত মনোযোগ একটি 1M-টোকেন প্রসঙ্গকে অর্থনৈতিকভাবে পরিবেশনযোগ্য করে তোলে, যেহেতু সেই দৈর্ঘ্যে সম্পূর্ণ মনোযোগ দেওয়া নিষেধমূলকভাবে ব্যয়বহুল হয়ে ওঠে। DeepSeek এবং Z.AI উভয়ই তাদের নিজস্ব ফ্ল্যাগশিপ মডেলে এই ডিজাইনের ভেরিয়েন্ট পাঠিয়েছে।

উত্পাদনশীলতার জন্য তৈরি, ইন-হাউস বিশেষজ্ঞদের সাথে টিউন করা হয়েছে

টেনসেন্ট বলেছে যে এটি কোম্পানির অভ্যন্তরে বিশেষজ্ঞদের সাথে অংশীদারিত্ব করেছে — সফ্টওয়্যার ইঞ্জিনিয়ার, গেম ডেভেলপার, ফিনান্স বিশ্লেষক এবং নিরাপত্তা বিশেষজ্ঞরা — এবং তারা আসলে যে কাজটি পাঠায় তার চারপাশে প্রশিক্ষণের ডেটা তৈরি করেছে। মডেল কার্ড চারটি ফোকাস এলাকা হাইলাইট করে:

  • সফ্টওয়্যার ইঞ্জিনিয়ারিং: উন্নত পরিকল্পনা, ডিবাগিং, এবং দীর্ঘ-দিগন্তের বিকাশের কাজগুলিতে যাচাইকরণ, পাশাপাশি সামনের দিকে "ভিজ্যুয়াল স্বাদ" লাভ।
  • অফিস এবং বিশ্লেষণ: অগোছালো মাল্টি-ফাইল প্রসঙ্গকে ভাগ করা যায় এমন নথি, স্প্রেডশীট এবং উপস্থাপনায় রূপান্তর করা, সমীকরণ এবং আর্থিক মডেলগুলির শক্তিশালী পরিচালনার সাথে।
  • গেম ডেভেলপমেন্ট: একটি একক প্রম্পট থেকে খেলার যোগ্য প্রোটোটাইপ তৈরি করা এবং একাধিক পরিমার্জিত মোড় জুড়ে গেম ইঞ্জিনের সাথে সাবলীলভাবে কাজ করা।
  • বৈজ্ঞানিক গবেষণা: এআই গবেষণা, আণবিক গতিবিদ্যা, ঘনীভূত পদার্থ পদার্থবিদ্যা, এবং বিশুদ্ধ গণিত সমস্যাগুলির উপর অগ্রগতি দাবি করা হয়েছে।

টেনসেন্ট আরও বলে যে Hy4 প্রিভিউ তার নিজস্ব পণ্য, CodeBuddy এবং WorkBuddy-এর সাথে সহ-ডিজাইন করা হয়েছিল, যাতে মডেল লাভগুলি পণ্যের উন্নতিতে অনুবাদ করে।

Tencent এর নিজস্ব বেঞ্চমার্ক কি দেখায়

লঞ্চের উপকরণগুলির মধ্যে সবচেয়ে সুনির্দিষ্ট তুলনা হল একটি অন্ধ পাশাপাশি মূল্যায়ন টেনসেন্ট 203টি ইঞ্জিনিয়ারিং কাজের উপর 163 অভ্যন্তরীণ বিশেষজ্ঞের রেটিং আউটপুট সহ দৌড়েছে। এই পরীক্ষাগুলিতে, Hy4 প্রিভিউ গড়ে 2.99 স্কোর করেছে, GLM 5.3 এর 2.92 থেকে কিছুটা এগিয়ে (46.8 শতাংশ জয়, 12.8 শতাংশ টাই, 40.4 শতাংশ হার) এবং কিমি K3-এর 2.94 (51.2 শতাংশ জয়, 7.9 শতাংশ, 90 শতাংশ হার)।

দুটি সতর্কতা স্পষ্টভাবে বলা মূল্যবান। প্রথমত, এগুলো টেনসেন্টের অভ্যন্তরীণ মূল্যায়ন, স্বাধীন মানদণ্ড নয়; কোম্পানি এখনও পাবলিক লিডারবোর্ডে তৃতীয়-যাচাই ফলাফল প্রকাশ করেনি। দ্বিতীয়ত, মার্জিনগুলি সংকীর্ণ — একটি বিষয়গত বিশেষজ্ঞ-রেটিং স্কেলে 0.05 থেকে 0.07 পয়েন্টের ব্যবধান সেই সীমার মধ্যে যা বিভিন্ন রেটিং পুল সহজেই ফ্লিপ করতে পারে।

স্বতন্ত্র যাচাইকরণ পাবলিক এগ্রিগেশন থেকে আসবে কারণ সম্প্রদায়টি আগামী সপ্তাহগুলিতে মানসম্মত কোডিং, যুক্তি এবং এজেন্টিক স্যুটের মাধ্যমে মডেলটি চালায়।

পরিচিত বাগ সহ, তাড়াতাড়ি শিপিং

Tencent স্পষ্ট যে এটি একটি পূর্বরূপ। মডেল কার্ডটি পরিচিত সীমাবদ্ধতার তালিকা করে, যার মধ্যে রয়েছে জটিল কাজের মাধ্যমে প্রয়োজনীয় যুক্তির চেয়ে বেশি সময় ব্যয় করা এবং নিজের কাজকে অতিরিক্ত যাচাই করার প্রবণতা। দলটি বলেছে যে এটি "বরং তাড়াতাড়ি শিপিং করবে এবং শুনতে পাবে কি বিরতি," তার Hy3 প্রজন্মকে উন্নত করার পদ্ধতির উল্লেখ করে।

স্থাপনের জন্য, ওজনগুলি BF16 এবং FP8 উভয়েই উপলব্ধ, vLLM এবং SGLang-এ প্রথম দিনের সমর্থন সহ। টেনসেন্ট উভয়ের জন্যই প্রি-বিল্ট ডকার ইমেজ প্রকাশ করে, রেসিপিগুলি 8টি জিপিইউ জুড়ে টেনসর সমান্তরালতার সুপারিশ করে এবং বিলম্ব-সংবেদনশীল পরিবেশনের জন্য এমটিপি-ভিত্তিক অনুমানমূলক ডিকোডিং। মডেলের পাশাপাশি একটি ফাইনটিউনিং পাইপলাইন এবং AngelSlim কোয়ান্টাইজেশন টুলকিট জাহাজ।

কেন এটা গুরুত্বপূর্ণ

চীনে ওপেন-ওয়েট রেসটি Z.AI-এর GLM সিরিজ এবং মুনশট-এর কিমি মডেলের মধ্যে দ্বি-মুখী যুদ্ধে পরিণত হয়েছে, যেখানে ডিপসিক, কুয়েন এবং এখন অনেক বড় হুনুয়ান এন্ট্রি মাঠে ভিড় করছে। Hy4 প্রিভিউ এর Apache 2.0 লাইসেন্সিং, একটি 770B-প্যারামিটার স্কেল এবং একটি 1M-টোকেন কনটেক্সট যে কেউ কি ডাউনলোড করতে এবং স্ব-হোস্ট করতে পারে তার সর্বোচ্চ সীমা বাড়ায় — এবং প্রথম দিনের vLLM এবং SGLang সমর্থন আসলে এটি চালানোর বাধাকে কমিয়ে দেয়।

ওয়েস্টার্ন ক্লোজড API-এর বিপরীতে ওপেন মডেলের ওজনের উদ্যোগগুলির জন্য, একটি খোলা মডেল কাগজে বন্ধ কর্মক্ষমতার সাথে মেলে কিনা তা বাস্তবিক প্রশ্ন নয়, তবে আশেপাশের টুলিং — কোয়ান্টাইজেশন, পরিবেশন, ফাইনটিউনিং — যথেষ্ট পরিপক্ক কিনা। টেনসেন্ট বাজি ধরছে যে হুনুয়ান কীভাবে কথোপকথনে ফিরে আসে তা হল একটি অনুমতিমূলক লাইসেন্সের অধীনে একযোগে সমস্ত শিপিং।

অভ্যন্তরীণ বেঞ্চমার্ক দাবিগুলি স্বাধীন পরীক্ষার অধীনে ধরে রাখা হবে কিনা তা নির্ধারণ করবে Hy4 প্রিভিউ একটি প্রকৃত সীমান্ত ওপেন সোর্স রিলিজ বা ভিড়ের ক্ষেত্রে অন্য ভেন্ডর বেঞ্চমার্ক হিসাবে মনে রাখা হবে কিনা। ওজন এখন সর্বজনীন, তাই সম্প্রদায়ের রায় আসতে বেশি সময় লাগবে না।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →