NVIDIA ने नेमोट्रॉन 3 एंबेड जारी किया है, जो उत्पादन-पैमाने पर पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी), एजेंटिक पुनर्प्राप्ति, कोड पुनर्प्राप्ति और एजेंट मेमोरी को पावर देने के लिए डिज़ाइन किए गए एम्बेडिंग मॉडल का एक खुला संग्रह है। 17 जुलाई, 2026 को मार्कटेकपोस्ट द्वारा विस्तृत रिलीज, उस परत के रूप में आती है जो यह तय करती है कि एक एआई एजेंट कौन सा मार्ग कभी देखता है जो एक प्रतिस्पर्धी युद्ध का मैदान बन जाता है, इस प्रकाशन की [ब्रेकिंग एआई न्यूज] (https://aibuzzwire.news) डेस्क ने एक प्रवृत्ति का पालन किया है क्योंकि उद्यम चैटबॉट्स से सिस्टम की ओर बढ़ते हैं जो पुनर्प्राप्त ज्ञान पर कार्य करते हैं।

एंबेडिंग मॉडल तय करते हैं कि एक एजेंट कौन सा मार्ग देखता है, जो उन्हें जेनरेटिव एआई स्टैक में एक शांत लेकिन निर्णायक चोकपॉइंट बनाता है। NVIDIA ने उस परत को मजबूत करने के लिए नेमोट्रॉन 3 एंबेड बनाया। संग्रह में तीन खुली चौकियाँ शामिल हैं: नेमोट्रॉन-3-एम्बेड-8बी-बीएफ16, एक सटीकता-पहला विकल्प; नेमोट्रॉन-3-एंबेड-1बी-बीएफ16, जो समान डिज़ाइन को छोटे पदचिह्न में ले जाता है; और नेमोट्रॉन-3-एम्बेड-1बी-एनवीएफपी4, एक ब्लैकवेल-अनुकूलित 4-बिट संस्करण। तीनों ट्रांसफॉर्मर एनकोडर हैं जिन्हें द्विदिशात्मक ध्यान मास्किंग के साथ प्रशिक्षित किया गया है, जिसमें टोकन-स्तर के अभ्यावेदन पर औसत पूलिंग द्वारा अंतिम एम्बेडिंग का उत्पादन किया जाता है। प्रत्येक 32,768 टोकन की अधिकतम अनुक्रम लंबाई का समर्थन करता है।

लीडरबोर्ड में टॉप करना

मुख्य परिणाम यह है कि नेमोट्रॉन-3-एंबेड-8बी-बीएफ16 अपने 16 सार्वजनिक कार्यों में 17 जुलाई, 2026 तक आरटीईबी, रिट्रीवल एंबेडिंग बेंचमार्क पर समग्र रूप से नंबर एक स्थान पर है। 4,096 की मॉडल अनुक्रम लंबाई पर स्कोर को औसत एनडीसीजी@10 के रूप में मापा जाता है। NVIDIA ने 34 भाषाओं में प्रत्येक मॉडल का मूल्यांकन किया, और सभी तीन चेकपॉइंट्स OpenMDW लाइसेंस अनुबंध संस्करण 1.1 के तहत जारी किए गए हैं, जिससे वे डेवलपर्स के लिए डाउनलोड करने, चलाने और संशोधित करने के लिए स्वतंत्र रूप से उपलब्ध हैं।

विशेष रूप से, मॉडल का आधार मिस्ट्रल से लिया गया है। मार्कटेकपोस्ट की रिपोर्ट के अनुसार, 8बी चेकपॉइंट मिनिस्ट्रल-3-8बी-इंस्ट्रक्ट-2512 पर बनाया गया है, जबकि दोनों 1बी वेरिएंट मिनिस्ट्रल-3-3बी-इंस्ट्रक्ट-2512 का उपयोग करते हैं। पूरी तरह से इन-हाउस आर्किटेक्चर के बजाय मिस्ट्रल की नींव पर निर्माण करने का एनवीआईडीआईए का निर्णय दर्शाता है कि तरल मॉडल का विकास कैसे हो गया है, खुले आधारों को नियमित रूप से पुनर्निर्मित किया जाता है और विशेष कार्यों के लिए पुनः प्रशिक्षित किया जाता है।

संपीड़न, कोई छोटा प्रशिक्षण रन नहीं

दो प्रदर्शन अंतराल सामने आते हैं। 1बी मॉडल को पिछली पीढ़ी के लामा-नेमोट्रॉन-एम्बेड-वीएल-1बी-वी2 बेसलाइन की तुलना में 10.4 आरटीईबी अंक प्राप्त हुए हैं। अलग से, NVFP4 4-बिट चेकपॉइंट की लागत इसके BF16 पैरेंट के मुकाबले केवल 0.38 RTEB अंक है, जो इसकी पुनर्प्राप्ति सटीकता का लगभग 99.5% बरकरार रखता है। यह लगभग दोषरहित संपीड़न उन टीमों के लिए विशेष रूप से महत्वपूर्ण है जिन्हें बड़े पैमाने पर एम्बेडिंग चलाने की आवश्यकता होती है, जहां स्मृति और अनुमान लागत अक्सर हावी होती है।

वे 1बी स्कोर एक छोटे प्रशिक्षण रन के बजाय एक संपीड़न पाइपलाइन के माध्यम से प्राप्त किए गए थे। मूल, नेमोट्रॉन-3-एम्बेड-3बी, को दो पुनरावृत्तीय दौरों में काटा और आसवित किया गया था। सबसे पहले, NVIDIA मॉडलऑप्ट के mcore_minitron न्यूरल आर्किटेक्चर सर्च का उपयोग करके 3B पैरेंट को 2B में छोटा कर दिया गया था, जो छिपी हुई चौड़ाई, एफएफएन आकार, ध्यान प्रमुखों और गहराई पर खोज करता है, फिर शीर्ष -10 पेरेटो फ्रंट से सर्वश्रेष्ठ उम्मीदवार को चुनता है। 50,000-सैंपल इन-डोमेन कैलिब्रेशन कॉर्पस ने उन उम्मीदवारों का स्कोर बनाया।

इसके बाद, 2बी मॉडल को फाइन-ट्यून किए गए 8बी एम्बेडिंग टीचर से डिस्टिल्ड किया गया, जिसमें बहुभाषी, इन-डोमेन डेटा मिश्रण पर कोसाइन दूरी हानि और माध्य वर्ग त्रुटि हानि का संयोजन किया गया। 1.14बी चेकपॉइंट तैयार करने के लिए उसी प्रक्रिया को दोहराया गया, जिससे पता चला कि छोटे वेरिएंट स्वतंत्र प्रशिक्षण के बजाय संरचित संपीड़न के माध्यम से बड़े मॉडल की अधिकांश क्षमता प्राप्त करते हैं।

ब्लैकवेल दक्षता के लिए निर्मित

सर्विंग प्रारूप में संपीड़न जारी रहता है। परिमाणीकरण ने एनवीएफपी4 डेटा प्रकार का उपयोग करते हुए केवल रैखिक परतों के वजन और सक्रियण को लक्षित किया, जिसमें अनुसंधान टीम एनवीडिया-मॉडलऑप्ट v0.45.0 पर निर्भर थी। मुख्य रूप से लंबे इनपुट पर सटीकता प्राप्त करने के लिए क्वांटाइजेशन-अवेयर डिस्टिलेशन का पालन किया गया। अंशांकन में 512 नमूनों का उपयोग किया गया, सीएनएन_डेलीमेल डेटासेट से 256 प्रश्नों और 256 अंशों के बीच विभाजित किया गया, जबकि क्यूएडी प्रशिक्षण में 20,000 नमूने लिए गए।

व्यावहारिक लाभ NVIDIA के नवीनतम हार्डवेयर पर दक्षता है। अनुसंधान टीम की रिपोर्ट है कि ब्लैकवेल पर एनवीएफपी4 बीएफ16 की तुलना में 2 गुना अधिक थ्रूपुट प्रदान करता है, जबकि 99% से अधिक बीएफ16 पुनर्प्राप्ति सटीकता को बरकरार रखता है। एनवीएफपी4 मॉडल कार्ड गतिशील एम्बेडिंग आकारों का भी दस्तावेजीकरण करता है, जिससे डेवलपर्स को 2,048-आयामी वेक्टर को 1,024 या 512 आयामों तक काटने और बाद में फिर से सामान्य करने की अनुमति मिलती है, जिससे कम भंडारण लागत के लिए थोड़ी सटीकता होती है। वेक्टर डेटाबेस के लिए यह लचीलापन मायने रखता है, जहां अरबों उच्च-आयामी वैक्टर को संग्रहीत करना महंगा है।

एंबेडिंग अब क्यों मायने रखती है

जेनेरिक एआई स्टैक में एंबेडिंग मॉडल एक शांत चोकपॉइंट बन गए हैं। प्रत्येक पुनर्प्राप्ति-आधारित एजेंट, एंटरप्राइज़ खोज उपकरण और कोड सहायक एक बड़े भाषा मॉडल की प्रतिक्रिया उत्पन्न करने से पहले सही संदर्भ प्राप्त करने के लिए उन पर निर्भर करते हैं। एक मजबूत, सस्ता एम्बेडिंग मॉडल सीधे उत्तर गुणवत्ता में सुधार कर सकता है और परिचालन लागत में कटौती कर सकता है, यही कारण है कि ओपनएआई से लेकर कोहेरे तक ओपन-सोर्स कलेक्टिव के विक्रेता नए परिवारों को जारी करने के लिए दौड़ पड़े हैं।

एक अनुमेय लाइसेंस के तहत एक शीर्ष क्रम के संग्रह को ओपन-सोर्स करके और इसे ब्लैकवेल-ट्यून किए गए परिमाणीकरण के साथ जोड़कर, एनवीआईडीआईए व्यापक एआई पारिस्थितिकी तंत्र को उन उपकरणों के साथ जोड़ने की अपनी रणनीति को मजबूत कर रहा है जो अपने स्वयं के सिलिकॉन पर सबसे अच्छा चलते हैं। आरएजी पाइपलाइन या एजेंट मेमोरी सिस्टम बनाने वाले डेवलपर्स के लिए, नेमोट्रॉन 3 एंबेड एक ताजा, स्वतंत्र रूप से उपलब्ध विकल्प प्रदान करता है जो व्यापक रूप से देखे जाने वाले बेंचमार्क पर कला की स्थिति को आगे बढ़ाता है, जबकि एनवीएफपी 4 वैरिएंट टीमों को पुनर्प्राप्ति गुणवत्ता का त्याग किए बिना अनुमान लागत में कटौती करने का एक विश्वसनीय मार्ग देता है, जिस पर उनके अनुप्रयोग निर्भर करते हैं।

एआई से आगे रहें

नेमोट्रॉन 3 एंबेड जैसे ओपन एंबेडिंग मॉडल चुपचाप एआई एजेंटों द्वारा जानकारी खोजने और उपयोग करने के तरीके को नया आकार दे रहे हैं। क्षेत्र को आगे बढ़ाने वाले मॉडल, रिलीज़ और अनुसंधान के बारे में अधिक जानकारी के लिए, हमारे [नवीनतम एआई विकास] (https://aibuzzwire.news) का अनुसरण करें क्योंकि वे टूट रहे हैं।

अधिक एआई समाचार पढ़ें ->