NVIDIA ने नेमोट्रॉन 3 एम्बेड जारी केले आहे, जे उत्पादन-स्केल रिट्रीव्हल-ऑग्मेंटेड जनरेशन (RAG), एजंटिक पुनर्प्राप्ती, कोड पुनर्प्राप्ती आणि एजंट मेमरी करण्यासाठी डिझाइन केलेले एम्बेडिंग मॉडेल्सचे खुले संग्रह आहे. 17 जुलै, 2026 रोजी MarkTechPost द्वारे तपशीलवार प्रकाशन, एआय एजंट कधीही कोणते परिच्छेद पाहतो हे ठरवणारा स्तर स्पर्धात्मक रणांगण बनतो, हा ट्रेंड या प्रकाशनाच्या ब्रेकिंग एआय न्यूज डेस्कवर आला आहे कारण एंटरप्रायझेस चॅटबॉट्स वरून चॅटबॉट्सवर कृती करतात.
एम्बेडिंग मॉडेल हे ठरवतात की एजंट कधी कोणते पॅसेज पाहतो, जे त्यांना जनरेटिव्ह एआय स्टॅकमध्ये एक शांत परंतु निर्णायक चोकपॉइंट बनवते. NVIDIA ने तो स्तर मजबूत करण्यासाठी Nemotron 3 एम्बेड तयार केला. संग्रहामध्ये तीन खुल्या चेकपॉइंट्सचा समावेश आहे: निमोट्रॉन-3-एम्बेड-8B-BF16, एक अचूकता-प्रथम पर्याय; Nemotron-3-Embed-1B-BF16, जे समान डिझाईन एका लहान पाऊलखुणामध्ये घेऊन जाते; आणि Nemotron-3-Embed-1B-NVFP4, ब्लॅकवेल-ऑप्टिमाइझ केलेले 4-बिट प्रकार. हे तिन्ही ट्रान्सफॉर्मर एन्कोडर आहेत जे द्विदिशात्मक लक्ष मास्किंगसह प्रशिक्षित आहेत, टोकन-स्तरीय प्रतिनिधित्वांवर सरासरी पूलिंगद्वारे अंतिम एम्बेडिंग तयार केले जाते. प्रत्येक कमाल अनुक्रम लांबीचे 32,768 टोकन समर्थन करते.
लीडरबोर्ड वरती
हेडलाइन परिणाम असा आहे की नेमोट्रॉन-3-एम्बेड-8B-BF16 त्याच्या 16 सार्वजनिक कार्यांमध्ये, 17 जुलै 2026 पर्यंत RTEB, पुनर्प्राप्ती एम्बेडिंग बेंचमार्कवर एकंदरीत प्रथम क्रमांकावर आहे. स्कोअर सरासरी NDCG@10 म्हणून 4,096 च्या मॉडेल अनुक्रम लांबीवर मोजले जातात. NVIDIA ने 34 भाषांमध्ये प्रत्येक मॉडेलचे मूल्यमापन केले आणि तीनही चेकपॉईंट्स OpenMDW परवाना करार आवृत्ती 1.1 अंतर्गत रिलीझ केले गेले आहेत, ज्यामुळे ते विकसकांना डाउनलोड, चालविण्यासाठी आणि सुधारित करण्यासाठी विनामूल्य उपलब्ध आहेत.
उल्लेखनीय म्हणजे, मॉडेल बेस मिस्ट्रलमधून काढले आहेत. 8B चेकपॉईंट Ministral-3-8B-Instruct-2512 वर बांधले गेले आहे, तर दोन्ही 1B रूपे Ministral-3-3B-Instruct-2512 वापरतात, MarkTechPost अहवालानुसार. निव्वळ इन-हाऊस आर्किटेक्चरऐवजी मिस्ट्रलच्या पायावर उभारण्याचा NVIDIA चा निर्णय, फ्लुइड मॉडेल डेव्हलपमेंट कसा झाला आहे हे प्रतिबिंबित करते, खुल्या तळांचा नियमितपणे पुनरुत्पादन केला जातो आणि विशेष कार्यांसाठी पुन्हा प्रशिक्षित केला जातो.
कॉम्प्रेशन, एक लहान प्रशिक्षण रन नाही
दोन कामगिरी अंतर बाहेर उभे. 1B मॉडेलने आधीच्या पिढीतील llama-nemotron-embed-vl-1b-v2 बेसलाइनपेक्षा 10.4 RTEB पॉइंट मिळवले आहेत. स्वतंत्रपणे, NVFP4 4-बिट चेकपॉईंटची किंमत त्याच्या BF16 पालकांच्या तुलनेत फक्त 0.38 RTEB पॉइंट्स आहे, जे त्याच्या पुनर्प्राप्ती अचूकतेच्या अंदाजे 99.5% राखून ठेवते. ज्या संघांना मोठ्या प्रमाणावर एम्बेडिंग चालवण्याची आवश्यकता असते त्यांच्यासाठी ते जवळपास-तोटारहित कॉम्प्रेशन विशेषतः महत्त्वपूर्ण आहे, जिथे मेमरी आणि अनुमान खर्च वरचेवर असतात.
ते 1B स्कोअर लहान प्रशिक्षण धावण्याऐवजी कॉम्प्रेशन पाइपलाइनद्वारे प्राप्त केले गेले. पॅरेंट, निमोट्रॉन-3-एम्बेड-3b, दोन पुनरावृत्ती फेऱ्यांमध्ये छाटले गेले आणि डिस्टिल्ड केले गेले. प्रथम, NVIDIA ModelOpt च्या mcore_minitron न्यूरल आर्किटेक्चर शोध वापरून 3B पालकांची छाटणी 2B मध्ये केली गेली, जी लपविलेली रुंदी, FFN आकार, लक्ष हेड्स आणि खोली शोधते, त्यानंतर टॉप-10 पॅरेटो फ्रंटमधून सर्वोत्तम उमेदवार निवडते. 50,000-नमुना इन-डोमेन कॅलिब्रेशन कॉर्पसने त्या उमेदवारांना गुण दिले.
पुढे, 2B मॉडेल फाइन-ट्यून केलेल्या 8B एम्बेडिंग शिक्षकाकडून डिस्टिल्ड केले गेले, ज्यामध्ये कोसाइन अंतराचे नुकसान आणि एक बहुभाषिक, इन-डोमेन डेटा मिश्रणावर स्क्वेअर एरर लॉस एकत्र केले गेले. 1.14B चेकपॉईंट तयार करण्यासाठी त्याच प्रक्रियेची पुनरावृत्ती करण्यात आली, हे दाखवून दिले की लहान रूपे स्वतंत्र प्रशिक्षणाऐवजी संरचित कॉम्प्रेशनद्वारे मोठ्या मॉडेलच्या क्षमतेचा वारसा घेतात.
ब्लॅकवेल कार्यक्षमतेसाठी तयार केलेले
सर्व्हिंग फॉरमॅटमध्ये कॉम्प्रेशन चालू राहते. NVFP4 डेटा प्रकार वापरून, nvidia-modelopt v0.45.0 वर रिसर्च टीम विसंबून क्वांटायझेशन लक्ष्यित वजन आणि रेखीय स्तरांची सक्रियता. क्वांटायझेशन-अवेअर डिस्टिलेशनचे अनुसरण केले गेले, प्रामुख्याने दीर्घ इनपुटवर अचूकता पुनर्प्राप्त करण्यासाठी. कॅलिब्रेशनने 512 नमुने वापरले, cnn_dailymail डेटासेटमधून 256 क्वेरी आणि 256 परिच्छेदांमध्ये विभाजित केले, तर QAD प्रशिक्षणाने 20,000 नमुने घेतले.
व्यावहारिक मोबदला म्हणजे NVIDIA च्या नवीनतम हार्डवेअरची कार्यक्षमता. संशोधन कार्यसंघाने अहवाल दिला आहे की ब्लॅकवेलवरील NVFP4 BF16 पेक्षा 2x जास्त थ्रूपुट प्रदान करते आणि BF16 पुनर्प्राप्ती अचूकता 99% पेक्षा जास्त राखून ठेवते. NVFP4 मॉडेल कार्ड डायनॅमिक एम्बेडिंग आकारांचे दस्तऐवज देखील करते, ज्यामुळे विकसकांना 2,048-आयामी वेक्टर 1,024 किंवा 512 परिमाणांपर्यंत खाली आणता येते आणि नंतर पुन्हा सामान्यीकरण करता येते, कमी स्टोरेज खर्चासाठी थोडी अचूकता व्यापार करते. व्हेक्टर डेटाबेससाठी ही लवचिकता महत्त्वाची आहे, जेथे कोट्यवधी उच्च-आयामी वेक्टर संग्रहित करणे महाग आहे.
एम्बेडिंग आता महत्त्वाचे का आहे
एम्बेडिंग मॉडेल्स जनरेटिव्ह एआय स्टॅकमध्ये एक शांत चोकपॉइंट बनले आहेत. प्रत्येक पुनर्प्राप्ती-आधारित एजंट, एंटरप्राइझ शोध साधन आणि कोड सहाय्यक मोठ्या भाषेच्या मॉडेलने प्रतिसाद निर्माण करण्यापूर्वी योग्य संदर्भ आणण्यासाठी त्यांच्यावर अवलंबून असतात. एक मजबूत, स्वस्त एम्बेडिंग मॉडेल थेट उत्तर गुणवत्ता सुधारू शकते आणि ऑपरेटिंग खर्च कमी करू शकते, म्हणूनच OpenAI ते कोहेरे ते ओपन-सोर्स कलेक्टिव्हपर्यंतचे विक्रेते नवीन कुटुंबे सोडण्यासाठी सरसावले आहेत.
अनुज्ञेय परवान्याखाली शीर्ष-रँक कलेक्शन ओपन-सोर्सिंग करून आणि ब्लॅकवेल-ट्यून केलेले क्वांटायझेशनसह जोडून, NVIDIA त्याच्या स्वतःच्या सिलिकॉनवर सर्वोत्तम चालणाऱ्या टूल्ससह व्यापक AI इकोसिस्टम सीड करण्याच्या धोरणाला बळकट करत आहे. RAG पाइपलाइन किंवा एजंट मेमरी सिस्टीम तयार करणाऱ्या डेव्हलपरसाठी, Nemotron 3 Embed हा एक ताजा, मुक्तपणे उपलब्ध पर्याय ऑफर करतो जो मोठ्या प्रमाणावर पाहिल्या गेलेल्या बेंचमार्कवर अत्याधुनिकतेला धक्का देतो, तर NVFP4 व्हेरिएंट संघांना त्यांच्या अर्जांवर अवलंबून असलेल्या पुनर्प्राप्ती गुणवत्तेचा त्याग न करता अनुमान खर्चात कपात करण्याचा विश्वासार्ह मार्ग देतो.
AI च्या पुढे रहा
निमोट्रॉन 3 एम्बेड सारखी ओपन एम्बेडिंग मॉडेल्स एआय एजंट माहिती कशी शोधतात आणि वापरतात ते शांतपणे बदलत आहेत. मॉडेल्स, रिलीझ आणि क्षेत्राला पुढे नेणाऱ्या संशोधनाविषयी अधिक माहितीसाठी, आमच्या नवीनतम एआय डेव्हलपमेंट्स चे अनुसरण करा.
अधिक AI बातम्या वाचा ->
