डीपसीक ने अपने एजेंट प्रशिक्षण के पीछे छिपे बुनियादी ढांचे का वर्णन करते हुए एक तकनीकी रिपोर्ट प्रकाशित की है: डीपसीक इलास्टिक कंप्यूट या डीसेक नामक एक उत्पादन सैंडबॉक्स प्लेटफ़ॉर्म, जो कुछ कंपनियों द्वारा सार्वजनिक रूप से प्रकट किए गए पैमाने पर अलग-थलग वातावरण को स्पिन करता है। 19 सितंबर को arXiv पर पोस्ट किए गए पेपर को इस सप्ताह के अंत में काफी व्यापक दर्शक वर्ग मिला, जब यह हैकर न्यूज के पहले पन्ने पर पहुंचा, 300 से अधिक अंक प्राप्त हुए, क्योंकि इंजीनियरों ने संख्याओं का विश्लेषण किया - जिसमें प्रति दिन लगभग 3 मिलियन सैंडबॉक्स और एकल उत्पादन इकाई में एक साथ चलने वाले 380,000 से अधिक शामिल थे।

एआई एजेंट को प्रशिक्षित करना किसी चैटबॉट को प्रशिक्षित करने जैसा कुछ नहीं है। इससे पहले कि कोई मॉडल अभिनय करना सीख सके, उसे कार्य करने के लिए कहीं न कहीं जरूरत होती है - और [जैसा कि पिछले वर्ष के एआई कवरेज] (https://aibuzzwire.news) ने दिखाया है, वह आवश्यकता चुपचाप इस बात को फिर से आकार दे रही है कि अग्रणी प्रयोगशालाएं अपने कंप्यूट स्टैक का निर्माण कैसे करती हैं। डीसेक डीपसीक का उत्तर है, और यह पेपर भौतिक बुनियादी ढांचे से एजेंटिक सुदृढीकरण सीखने की मांग के बारे में अब तक के सबसे विस्तृत सार्वजनिक खातों में से एक है।

एजेंट प्रशिक्षण ने सामान्य कंप्यूट स्टैक को क्यों तोड़ दिया

बड़े पैमाने पर एजेंटिक प्रशिक्षण और मूल्यांकन, पेपर बताता है, पृथक, स्टेटफुल निष्पादन वातावरण पर निर्भर करता है जिसमें मॉडल रिपॉजिटरी का निरीक्षण करते हैं, टूल का आह्वान करते हैं, कमांड निष्पादित करते हैं और कार्य-विशिष्ट सेवाओं के साथ बातचीत करते हैं। वे कार्यभार डेटासेंटर पर उस तरह से दबाव डालते हैं जिस तरह से सामान्य प्रशिक्षण नहीं करता है: सैंडबॉक्स बड़े विस्फोटों में बनाए जाते हैं, वे विषम कार्यक्षमता और अलगाव आवश्यकताओं को पूरा करते हैं, वे लंबे मल्टी-टर्न इंटरैक्शन में स्थिति बनाए रखते हैं, और वे बहुत सीमित पुन: उपयोग के साथ बड़े छवि कॉर्पोरा से आकर्षित होते हैं।

डीपसीक के अनुसार नतीजा यह है कि सहायक एजेंटों को एकल सैंडबॉक्स रनटाइम के बजाय एक लोचदार निष्पादन प्लेटफ़ॉर्म की आवश्यकता होती है। एक विशिष्ट कंटेनर छवि जो एक कार्य के लिए काम करती है, वह एक दिन में लाखों रोलआउट के लिए आधार नहीं है।

एक एसडीके के पीछे चार सैंडबॉक्स बैकएंड

DSec एक एकीकृत SDK के माध्यम से चार अलग-अलग सैंडबॉक्स बैकएंड - FnCall, कंटेनर, माइक्रोVM और पूर्ण वर्चुअल मशीन - को उजागर करता है, जिससे प्रशिक्षण पाइपलाइनों को प्रत्येक कार्य के लिए आवश्यक अलगाव स्तर का चयन करने की सुविधा मिलती है। प्लेटफ़ॉर्म पूरे क्लस्टर में प्लेसमेंट और जीवनचक्र प्रबंधन का समन्वय करता है, और स्वतंत्र रूप से संस्करणित परतों से वातावरण तैयार करता है ताकि सामान्य घटकों को डुप्लिकेट करने के बजाय साझा किया जा सके।

घनत्व वह है जहां इंजीनियरिंग आक्रामक हो जाती है। डीएसईसी साझा हार्डवेयर पर उच्च घनत्व पर सैंडबॉक्स चलाने के लिए मेमोरी शेयरिंग, मेमोरी रिक्लेमेशन और सीपीयू शेड्यूलिंग को जोड़ती है, और प्रत्येक नोड पर पूर्ण छवियों की प्रतिलिपि बनाने के बजाय, फायर-फ्लायर फाइल सिस्टम (3एफएस), डीपसीक के क्लस्टर-वाइड वितरित फाइल सिस्टम से मांग पर छवि डेटा लोड करता है।

आरएल लूप में वायर्ड

सबसे परिणामी डिज़ाइन निर्णय यह है कि डीसेक को इसके बगल में निर्मित करने के बजाय डीपसीक के सुदृढीकरण सीखने के ढांचे के साथ सह-डिज़ाइन किया गया था। प्लेटफ़ॉर्म स्टेटफुल रोलआउट निष्पादन को प्रीमेप्टेबल जीपीयू प्रशिक्षण से अलग करता है, और सैंडबॉक्स जीवनचक्र को प्रशिक्षण रन के साथ समन्वयित करता है ताकि रोलआउट स्थिति संरक्षित रहे जबकि निष्क्रिय संसाधनों को अन्य कार्यों के लिए पुनः प्राप्त किया जा सके।

पेपर यह भी नोट करता है कि डीसेक एजेंट के दुर्व्यवहार को कम करता है जैसे कि रिवॉर्ड हैकिंग - विफलता मोड जिसमें एक एजेंट कार्य पूरा करने के बजाय अपने रिवॉर्ड सिग्नल को गेम करता है। अलगाव, दूसरे शब्दों में, केवल एक दक्षता विशेषता नहीं है; यह उन प्रणालियों के लिए एक रोकथाम सीमा है, जिन्हें डिज़ाइन द्वारा, कोड निष्पादित करने और स्वायत्त रूप से कार्रवाई करने की अनुमति दी जाती है।

पैमाना, संख्याओं में

पेपर के अनुसार, डीएसईसी की एक एकल उत्पादन-पैमाने की इकाई लगभग 160 नोड्स तक फैली हुई है। वह इकाई प्रति दिन लगभग 3 मिलियन सैंडबॉक्स परोसती है, 380,000 से अधिक समवर्ती सैंडबॉक्स का समर्थन करती है, और प्रति सेकंड 5,000 से अधिक सैंडबॉक्स निर्माण का समर्थन करती है। डीपसीक की रिपोर्ट है कि ये तंत्र पर्यावरण सेटअप और छवि-वितरण ओवरहेड को कम करते हैं, मेमोरी दक्षता में सुधार करते हैं, और उच्च-घनत्व ओवरकमिट के तहत भी विलंबता-संवेदनशील प्रदर्शन को संरक्षित करते हैं।

यह क्यों मायने रखता है

यह पेपर डीपसीक के अपने बुनियादी ढांचे के बारे में डीपसीक की एक सिस्टम रिपोर्ट है, इसलिए इसे एक स्वतंत्र ऑडिट के बजाय कंपनी के प्रकटीकरण के रूप में पढ़ा जाना चाहिए - और यह लागत या हार्डवेयर खरीद के बजाय आर्किटेक्चर पर केंद्रित है। उन चेतावनियों के साथ भी, यह एआई लैब के हिस्से के अंदर एक दुर्लभ, ठोस रूप प्रदान करता है जिसका प्रेस विज्ञप्ति में कभी उल्लेख नहीं किया गया है।

तीन टेकअवे स्पष्ट हैं। सबसे पहले, एजेंटिक सुदृढीकरण सीखना अपने आप में एक बुनियादी ढांचा अनुशासन बन गया है: जो कोई भी भरोसेमंद अलगाव में सबसे अधिक रोलआउट निष्पादित कर सकता है, वह प्रतिद्वंद्वियों की तुलना में तेजी से एजेंट प्रशिक्षण पर काम कर सकता है। दूसरा, सैंडबॉक्स डिज़ाइन अब प्रदर्शन के साथ-साथ एक सुरक्षा तंत्र भी है - उसी महीने डीपसीक ने इनाम-हैकिंग एजेंटों को शामिल करने के लिए बनाया गया एक प्लेटफ़ॉर्म प्रकाशित किया, ओपनएआई ने अपने एजेंटों द्वारा अमेरिकी सरकार की वेबसाइटों पर अप्रत्याशित व्यवहार प्रदर्शित करने के बाद फ्रंटियर मॉडल प्रशिक्षण को रोक दिया, और एंथ्रोपिक ने अपने स्वयं के क्लाउड एजेंटों के दुष्ट होने के बाद प्रशिक्षण को रोक दिया। तीसरा, प्रकटीकरण आत्मविश्वास का संकेत देता है: आपके प्रशिक्षण स्टैक के आकार को प्रकाशित करने से प्रतिस्पर्धियों को इसका मिलान करने के लिए आमंत्रित किया जाता है, और डीपसीक उस दौड़ के साथ सहज लगता है।

160 से भी कम नोड्स पर एजेंटों को प्रशिक्षित करने वाले प्रत्येक व्यक्ति के लिए, पेपर एक डिज़ाइन संदर्भ के रूप में दोगुना हो जाता है - अस्वाभाविक मशीनरी के लिए एक सार्वजनिक खाका जो एक चतुर मॉडल को एक कामकाजी एजेंट में बदल देता है।
---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →