Tencent ने अपनी हुनयुआन टीम का एक नया प्रमुख बड़ा भाषा मॉडल Hy4 पूर्वावलोकन जारी और ओपन-सोर्स किया है, जिसे कंपनी ओपन-सोर्स सीमा पर स्थापित कर रही है। सस्ते अनुमान के लिए एफपी8-मात्राबद्ध संस्करण के साथ, स्वीकृत अपाचे 2.0 लाइसेंस के तहत वेट 28 अगस्त को हगिंग फेस, मॉडलस्कोप, गिटकोड और सीएनबी पर उतरा।

यह लॉन्च ओपन-वेट फ्रंटियर मॉडल की शिपिंग करने वाली चीनी प्रयोगशालाओं के बीच प्रतिस्पर्धा को तेज करता है, एक ऐसा क्षेत्र जिसमें वर्तमान में Z.AI की GLM श्रृंखला और मूनशॉट AI की किमी मॉडल शामिल हैं। ब्लूमबर्ग ने बताया कि Tencent का दावा है कि नया मॉडल आंतरिक परीक्षण में दोनों प्रतिद्वंद्वियों से बेहतर प्रदर्शन करता है - एक दावा, जो सभी विक्रेता-संचालित मूल्यांकनों की तरह, जांच के योग्य है। For more context on this story, see our ongoing more AI stories.

हेडलाइन नंबर

Hy4 पूर्वावलोकन 770 बिलियन कुल मापदंडों वाला एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल है, जिनमें से 49 बिलियन प्रति टोकन सक्रिय हैं। Tencent-Hunyuan GitHub रिपॉजिटरी पर प्रकाशित आधिकारिक मॉडल कार्ड के अनुसार, बैकबोन में 78 परतें, 256 रूट किए गए विशेषज्ञ और एक साझा विशेषज्ञ हैं, और प्रत्येक टोकन के लिए शीर्ष -8 रूट किए गए विशेषज्ञों को सक्रिय करता है। एक देशी मल्टी-टोकन भविष्यवाणी (एमटीपी) परत - 10 बिलियन कुल पैरामीटर, 0.7 बिलियन सक्रिय - सट्टा डिकोडिंग के लिए बनाई गई है।

संदर्भ विंडो अन्य मार्की विशिष्टता है: 1 मिलियन टोकन, एक लंबाई जो मॉडल को एक ही पास में संपूर्ण कोडबेस, लंबे कानूनी दस्तावेज़, या घंटे भर की मीटिंग ट्रांसक्रिप्ट को संसाधित करने देती है।

वास्तुकला प्रतिद्वंद्वियों से उधार ली गई - और उसके शीर्ष पर बनाई गई

एक फ्लैगशिप लॉन्च के लिए असामान्य स्तर की स्पष्टवादिता में, Tencent के दस्तावेज़ में कहा गया है कि ध्यान मॉड्यूल "डीपसीक और जीएलएम से प्रेरित था।" Hy4 पूर्वावलोकन क्रॉस-लेयर स्पार्स इंडेक्स पुन: उपयोग के लिए इंडेक्स कैश के साथ संयुक्त गेटेड डीपसीक स्पार्स अटेंशन (गेटेड डीएसए) का उपयोग करता है, जबकि अवशिष्ट मार्ग अंतर-परत सूचना प्रवाह का विस्तार करने के लिए पहचान हाइपर-कनेक्शन (आईएचसी) को नियोजित करता है।

मॉडल का मूल्यांकन करने वाले डेवलपर्स के लिए खुलापन मायने रखता है: विरल ध्यान वह है जो 1M-टोकन संदर्भ को आर्थिक रूप से उपयोगी बनाता है, क्योंकि उस लंबाई पर पूरा ध्यान निषेधात्मक रूप से महंगा हो जाता है। डीपसीक और Z.AI दोनों ने अपने-अपने प्रमुख मॉडलों में इस डिज़ाइन के वेरिएंट भेजे हैं।

उत्पादकता के लिए निर्मित, इन-हाउस विशेषज्ञों के साथ ट्यून किया गया

Tencent का कहना है कि उसने कंपनी के अंदर के विशेषज्ञों - सॉफ्टवेयर इंजीनियरों, गेम डेवलपर्स, वित्त विश्लेषकों और सुरक्षा विशेषज्ञों - के साथ साझेदारी की और उनके द्वारा वास्तव में भेजे जाने वाले काम के आधार पर प्रशिक्षण डेटा तैयार किया। मॉडल कार्ड चार फोकस क्षेत्रों पर प्रकाश डालता है:

  • सॉफ़्टवेयर इंजीनियरिंग: लंबी-क्षितिज विकास कार्यों पर बेहतर योजना, डिबगिंग और सत्यापन, साथ ही फ्रंट-एंड "विज़ुअल स्वाद" में लाभ।
  • कार्यालय और विश्लेषण: समीकरणों और वित्तीय मॉडलों के मजबूत प्रबंधन के साथ, अव्यवस्थित बहु-फ़ाइल संदर्भ को साझा करने योग्य दस्तावेज़ों, स्प्रेडशीट और प्रस्तुतियों में परिवर्तित करना।
  • गेम डेवलपमेंट: एक ही प्रॉम्प्ट से खेलने योग्य प्रोटोटाइप तैयार करना और कई रिफाइनमेंट मोड़ों पर गेम इंजन के साथ धाराप्रवाह काम करना।
  • वैज्ञानिक अनुसंधान: एआई अनुसंधान, आणविक गतिशीलता, संघनित पदार्थ भौतिकी और शुद्ध गणित समस्याओं पर प्रगति का दावा किया गया।

Tencent का यह भी कहना है कि Hy4 पूर्वावलोकन को उसके अपने उत्पादों, CodeBuddy और WorkBuddy के साथ सह-डिज़ाइन किया गया था, ताकि मॉडल का लाभ उत्पाद सुधार में बदल जाए।

Tencent के अपने बेंचमार्क क्या दिखाते हैं

लॉन्च सामग्रियों में सबसे ठोस तुलना एक अंध-पक्ष मूल्यांकन है जिसे Tencent ने 163 आंतरिक विशेषज्ञों के साथ 203 इंजीनियरिंग कार्यों पर रेटिंग आउटपुट के साथ चलाया। उन परीक्षणों में, Hy4 प्रीव्यू ने औसतन 2.99 स्कोर किया, जो GLM 5.3 के 2.92 (46.8 प्रतिशत जीत, 12.8 प्रतिशत टाई, 40.4 प्रतिशत हार) और किमी K3 के 2.94 (51.2 प्रतिशत जीत, 7.9 प्रतिशत टाई, 40.9 प्रतिशत हार) से थोड़ा आगे था।

दो चेतावनियाँ स्पष्ट रूप से कहने लायक हैं। सबसे पहले, ये Tencent के आंतरिक मूल्यांकन हैं, स्वतंत्र बेंचमार्क नहीं; कंपनी ने अभी तक सार्वजनिक लीडरबोर्ड पर तीसरे-सत्यापित परिणाम प्रकाशित नहीं किए हैं। दूसरा, मार्जिन संकीर्ण है - व्यक्तिपरक विशेषज्ञ-रेटिंग पैमाने पर 0.05 से 0.07 अंक का अंतर उस सीमा के भीतर है जिसे विभिन्न रेटिंग पूल आसानी से पलट सकते हैं।

स्वतंत्र सत्यापन सार्वजनिक एकत्रीकरण से आएगा क्योंकि समुदाय आने वाले हफ्तों में मानकीकृत कोडिंग, तर्क और एजेंटिक सुइट्स के माध्यम से मॉडल चलाएगा।

ज्ञात बग के साथ जल्दी शिपिंग

Tencent स्पष्ट है कि यह एक पूर्वावलोकन है। मॉडल कार्ड ज्ञात सीमाओं को सूचीबद्ध करता है, जिसमें जटिल कार्यों के माध्यम से आवश्यक तर्क से अधिक समय व्यतीत करना और अपने स्वयं के कार्य को अधिक सत्यापित करने की प्रवृत्ति शामिल है। अपनी Hy3 पीढ़ी को बेहतर बनाने वाले दृष्टिकोण का हवाला देते हुए टीम का कहना है कि वह "जल्दी जहाज भेजेगी और जो टूटेगी उसे सुनेगी"।

तैनाती के लिए, वीएलएलएम और एसजीएलएंग में दिन-एक समर्थन के साथ, वजन बीएफ16 और एफपी8 दोनों में उपलब्ध हैं। Tencent दोनों के लिए प्रीबिल्ट डॉकर छवियां प्रकाशित करता है, जिसमें 8 जीपीयू में टेंसर समानता की सिफारिश करने वाली रेसिपी और विलंबता-संवेदनशील सेवा के लिए एमटीपी-आधारित सट्टा डिकोडिंग शामिल है। मॉडल के साथ एक फाइनट्यूनिंग पाइपलाइन और एंजेलस्लिम क्वांटाइजेशन टूलकिट शिप।

यह क्यों मायने रखता है

चीन में ओपन-वेट दौड़ Z.AI की GLM श्रृंखला और मूनशॉट के किमी मॉडल के बीच दो मोर्चों का युद्ध बन गई है, जिसमें डीपसीक, क्वेन और अब बहुत बड़ी हुनयुआन प्रविष्टि मैदान में भीड़ जमा कर रही है। Hy4 प्रीव्यू का Apache 2.0 लाइसेंसिंग, 770B-पैरामीटर स्केल और 1M-टोकन संदर्भ का संयोजन किसी भी चीज़ को डाउनलोड करने और स्वयं-होस्ट करने की सीमा को बढ़ाता है - और पहले दिन का vLLM और SGLang समर्थन वास्तव में इसे चलाने में बाधा को कम करता है।

पश्चिमी बंद एपीआई के मुकाबले खुले मॉडल का वजन करने वाले उद्यमों के लिए, व्यावहारिक सवाल अब यह नहीं है कि क्या एक खुला मॉडल कागज पर बंद प्रदर्शन से मेल खा सकता है, बल्कि क्या आसपास के टूलींग - परिमाणीकरण, सेवा, फ़ाइनट्यूनिंग - पर्याप्त परिपक्व है। Tencent शर्त लगा रहा है कि एक अनुमेय लाइसेंस के तहत, एक ही बार में यह सब शिपिंग किया जाए, जिससे हुनयुआन बातचीत में वापस आ जाए।

क्या आंतरिक बेंचमार्क दावे स्वतंत्र परीक्षण के तहत टिके रहेंगे, यह निर्धारित करेगा कि क्या Hy4 पूर्वावलोकन को वास्तविक फ्रंटियर ओपन-सोर्स रिलीज़ या भीड़ भरे क्षेत्र में किसी अन्य विक्रेता बेंचमार्क के रूप में याद किया जाता है। वज़न अब सार्वजनिक हैं, इसलिए समुदाय के फैसले में अधिक समय नहीं लगना चाहिए।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →