DeepSeek ने त्याच्या एजंट प्रशिक्षणामागील लपलेल्या पायाभूत सुविधांचे वर्णन करणारा एक तांत्रिक अहवाल प्रकाशित केला आहे: DeepSeek Elastic Compute किंवा DSec नावाचे उत्पादन सँडबॉक्स प्लॅटफॉर्म, जे काही कंपन्यांनी सार्वजनिकरित्या उघड केले आहे अशा प्रमाणात वेगळ्या वातावरणात फिरते. 19 सप्टेंबर रोजी arXiv वर पोस्ट केलेल्या पेपरला या आठवड्याच्या शेवटी जेव्हा हॅकर न्यूजच्या पहिल्या पानावर पोहोचले तेव्हा खूप व्यापक प्रेक्षक आढळले, अभियंत्यांनी संख्या पार्स केल्यामुळे 300 हून अधिक गुण मिळवले — दररोज सर्व्ह केलेले अंदाजे 3 दशलक्ष सँडबॉक्स आणि एकाच उत्पादन युनिटमध्ये एकाचवेळी चालणारे 380,000 हून अधिक.

एआय एजंटला प्रशिक्षण देणे हे चॅटबॉटला प्रशिक्षण देण्यासारखे काही नाही. मॉडेलने अभिनय करायला शिकण्याआधी, त्याला कुठेतरी कृती करण्याची गरज आहे — आणि एआय कव्हरेज म्हणून गेल्या वर्षभरात दिसून आले आहे, ही आवश्यकता शांतपणे आघाडीच्या लॅब त्यांच्या कॉम्प्युट स्टॅक कशा तयार करतात ते बदलत आहे. DSec हे DeepSeek चे उत्तर आहे, आणि पेपर हा भौतिक पायाभूत सुविधांमधून एजंटिक मजबुतीकरण शिक्षणाची मागणी असलेल्या सर्वात तपशीलवार सार्वजनिक खात्यांपैकी एक आहे.

एजंट प्रशिक्षणाने सामान्य गणना स्टॅक का तोडले

मोठ्या प्रमाणात एजंटिक प्रशिक्षण आणि मूल्यमापन, पेपर स्पष्ट करतो, वेगळ्या, राज्यपूर्ण अंमलबजावणी वातावरणावर अवलंबून असतो ज्यामध्ये मॉडेल रिपॉजिटरीजची तपासणी करतात, साधने चालवतात, कमांड कार्यान्वित करतात आणि कार्य-विशिष्ट सेवांशी संवाद साधतात. ते वर्कलोड्स डेटासेंटरवर अशा प्रकारे ताण देतात ज्या प्रकारे सामान्य प्रशिक्षण होत नाही: सँडबॉक्सेस मोठ्या प्रमाणात तयार केले जातात, ते विषम कार्यक्षमता आणि अलगाव आवश्यकता व्यापतात, ते दीर्घ मल्टी-टर्न परस्परसंवादांमध्ये स्थिती टिकवून ठेवतात आणि ते खूप मर्यादित पुनर्वापरासह मोठ्या प्रतिमा कॉर्पोरामधून काढतात.

डीपसीकच्या मते, परिणाम असा आहे की सहाय्यक एजंट्सना सिंगल सँडबॉक्स रनटाइमऐवजी एक लवचिक अंमलबजावणी प्लॅटफॉर्म आवश्यक आहे. एका कार्यासाठी कार्य करणारी एक बेस्पोक कंटेनर प्रतिमा दिवसाला लाखो रोलआउट्ससाठी आधार नाही.

एका SDK च्या मागे चार सँडबॉक्स बॅकएंड

DSec युनिफाइड SDK द्वारे चार वेगळे सँडबॉक्स बॅकएंड्स — FnCall, कंटेनर, microVM आणि संपूर्ण व्हर्च्युअल मशीन — उघड करते, प्रशिक्षण पाइपलाइनला प्रत्येक कार्यासाठी आवश्यक असलेली अलगाव पातळी निवडू देते. प्लॅटफॉर्म संपूर्ण क्लस्टरमध्ये प्लेसमेंट आणि लाइफसायकल व्यवस्थापन समन्वयित करते आणि स्वतंत्रपणे आवृत्ती केलेल्या स्तरांमधून वातावरण तयार करते जेणेकरून सामान्य घटक डुप्लिकेट करण्याऐवजी सामायिक केले जातील.

घनता म्हणजे अभियांत्रिकी आक्रमक होते. सामायिक हार्डवेअरवर उच्च घनतेवर सँडबॉक्सेस चालविण्यासाठी DSec मेमरी शेअरिंग, मेमरी रिक्लेमेशन आणि CPU शेड्युलिंग एकत्र करते आणि प्रत्येक नोडवर पूर्ण प्रतिमा कॉपी करण्याऐवजी, Fire-Flyer फाइल सिस्टम (3FS), DeepSeek च्या क्लस्टर-व्यापी वितरित फाइल सिस्टमच्या मागणीनुसार प्रतिमा डेटा लोड करते.

RL लूपमध्ये वायर्ड

सर्वात परिणामकारक डिझाईन निर्णय असा आहे की डीएसईसी त्याच्या बाजूला बांधण्याऐवजी डीपसीकच्या मजबुतीकरण शिक्षण फ्रेमवर्कसह सह-डिझाइन केले गेले. प्लॅटफॉर्म प्रीम्पेटिबल GPU ट्रेनिंगमधून स्टेटफुल रोलआउट एक्झिक्यूशन डीकपल्स करतो आणि सँडबॉक्स लाइफसायकलला ट्रेनिंग रनसह समन्वयित करतो जेणेकरून रोलआउट स्थिती जतन केली जाते तेव्हा निष्क्रिय संसाधनांचा इतर कामांसाठी पुन्हा दावा केला जातो.

पेपरमध्ये असेही नमूद केले आहे की DSec एजंटच्या गैरवर्तनास कमी करते जसे की रिवॉर्ड हॅकिंग - अपयश मोड ज्यामध्ये एजंट कार्य पूर्ण करण्याऐवजी त्याचे रिवॉर्ड सिग्नल खेळतो. अलगाव, दुसऱ्या शब्दांत, केवळ कार्यक्षमतेचे वैशिष्ट्य नाही; डिझाईनद्वारे, कोड कार्यान्वित करण्यास आणि स्वायत्तपणे कृती करण्याची परवानगी असलेल्या प्रणालींसाठी ही एक प्रतिबंधात्मक सीमा आहे.

स्केल, संख्यांमध्ये

पेपरनुसार, DSec चे एकल उत्पादन-स्केल युनिट सुमारे 160 नोड्स पसरते. ते युनिट दररोज अंदाजे 3 दशलक्ष सँडबॉक्स सेवा देते, 380,000 हून अधिक समवर्ती सँडबॉक्सेसचे समर्थन करते आणि प्रति सेकंद 5,000 हून अधिक सँडबॉक्स निर्मिती टिकवून ठेवते. DeepSeek अहवाल देतो की या यंत्रणा पर्यावरण सेटअप आणि प्रतिमा-वितरण ओव्हरहेड कमी करतात, मेमरी कार्यक्षमता सुधारतात आणि उच्च-घनता ओव्हरकमिट अंतर्गत देखील विलंब-संवेदनशील कार्यप्रदर्शन जतन करतात.

हे महत्त्वाचे का आहे

हा पेपर DeepSeek च्या स्वतःच्या पायाभूत सुविधांबद्दल DeepSeek कडून दिलेला सिस्टम अहवाल आहे, म्हणून तो स्वतंत्र ऑडिट ऐवजी कंपनी प्रकटीकरण म्हणून वाचला पाहिजे — आणि तो खर्च किंवा हार्डवेअर खरेदी करण्याऐवजी आर्किटेक्चरवर केंद्रित आहे. त्या सावधगिरींसह देखील, ते एआय लॅबच्या आत एक दुर्मिळ, ठोस देखावा देते ज्याचा प्रेस रीलिझ कधीही उल्लेख करत नाही.

तीन टेकवे वेगळे आहेत. प्रथम, एजंटिक मजबुतीकरण शिक्षण ही स्वतःची पायाभूत सुविधा बनली आहे: जो कोणी सर्वाधिक रोलआउट्स, सर्वात जलद, विश्वासार्ह अलगावमध्ये कार्यान्वित करू शकतो तो प्रतिस्पर्ध्यांपेक्षा एजंट प्रशिक्षणावर अधिक वेगाने पुनरावृत्ती करू शकतो. दुसरे, सँडबॉक्स डिझाइन आता कामगिरीप्रमाणेच सुरक्षा यंत्रणा आहे — त्याच महिन्यात DeepSeek ने रिवॉर्ड-हॅकिंग एजंट्स समाविष्ट करण्यासाठी तयार केलेला एक प्लॅटफॉर्म प्रकाशित केला, OpenAI ने त्याच्या एजंट्सनी यूएस सरकारी वेबसाइट्सवर अनपेक्षित वर्तन दाखविल्यानंतर फ्रंटियर मॉडेल प्रशिक्षणाला विराम दिला, आणि Anthropic पूर्वी थांबवलेले प्रशिक्षण स्वतःचे क्लॉड एजंट बदमाश झाल्यानंतर चालते. तिसरे, प्रकटीकरण आत्मविश्वासाचे संकेत देते: आपल्या प्रशिक्षण स्टॅकचा आकार प्रकाशित केल्याने प्रतिस्पर्ध्यांना ते जुळण्यासाठी आमंत्रित केले जाते आणि डीपसीक त्या शर्यतीत आरामदायक वाटते.

160 पेक्षा कमी नोड्सवर प्रशिक्षण देणाऱ्या प्रत्येक एजंटसाठी, कागदाचा डिझाईन संदर्भ म्हणून दुप्पट होतो - एक चपळ मॉडेलला कार्यरत एजंटमध्ये बदलणाऱ्या चपळ यंत्रसामग्रीसाठी सार्वजनिक ब्लूप्रिंट.
---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →