डीपसीक के पास ओपन-सोर्स डीपइन्फर है, जो उच्च प्रदर्शन वाला अनुमान ढांचा है, जिसके बारे में चीनी एआई लैब का कहना है कि यह उसकी अपनी बड़े पैमाने पर उत्पादन सेवाओं को शक्ति प्रदान करता है। कोड अपाचे 2.0 लाइसेंस के तहत गिटहब पर दिखाई दिया और रिलीज के बारे में हैकर न्यूज चर्चा के बाद सोमवार को सैकड़ों अपवोट मिलने के बाद कुछ ही दिनों में 5,500 से अधिक स्टार एकत्र कर चुका था।

प्रोजेक्ट के README के ​​अनुसार, रिलीज़ उन मुख्य विशेषताओं के साथ ऑफ़लाइन अनुमान प्रदान करती है जिन पर DeepSeek अपने मॉडलों को बड़े पैमाने पर सेवा प्रदान करने के लिए निर्भर करता है। डिफ़ॉल्ट कॉन्फ़िगरेशन DeepSeek-V4.1-Flash को लक्षित करता है, और फ़्रेमवर्क स्वचालित रूप से पहले रन पर हगिंग फेस से DeepSeek-V4.1-Flash-1017 चेकपॉइंट डाउनलोड करता है। For more context on this story, see our ongoing latest AI developments.

डीपइन्फर में वास्तव में क्या शामिल है

DeepInfer कोई स्क्रैच पुनर्लेखन नहीं है। यह विशेष कर्नेल को एक साथ जोड़ता है, डीपसीक पिछले दो वर्षों में टुकड़े-टुकड़े करके जारी कर रहा है - फ्लैशएमएलए, डीपजीईएमएम, डीपईपी, टाइलकर्नेल, डीपसेलेक्ट, और कस्टम टाइललैंग कर्नेल - अंतर्निहित मॉडल और सैंपलर निष्पादन के साथ एक ही रनटाइम में।

फ्रेमवर्क कई सेवारत तकनीकों को भी शिप करता है जिन्हें रिपॉजिटरी में विस्तार से प्रलेखित किया गया है:

  • विश्वास-अनुसूचित सत्यापन, एक सट्टा डिकोडिंग दृष्टिकोण जो सत्यापन को शेड्यूल करने के लिए ड्राफ्ट टोकन और आत्मविश्वास अनुमान का उपयोग करता है, जिसे पर्यावरण चर के माध्यम से नियंत्रित किया जा सकता है
  • डिकोडर एसडब्ल्यूए बाउंडेड रीप्ले, जो अनुक्रम के केवल बाउंडेड प्रत्यय को रीप्ले करके डिकोडर प्रीफिल कार्य को कम करता है
  • एसिंक्रोनस शेड्यूलिंग जो डिवाइस निष्पादन के साथ सीपीयू बैच शेड्यूलिंग को ओवरलैप करता है, डिफ़ॉल्ट रूप से सक्षम है
  • बैच-अपरिवर्तनीय अनुमान, जो विभिन्न बैच रचनाओं में मॉडल परिणामों को समान रखता है
  • नियतात्मक नमूनाकरण, समान इनपुट और नमूनाकरण मापदंडों के लिए समान आउटपुट उत्पन्न करता है
  • संरचित आउटपुट, पीढ़ी को रेगेक्स, JSON स्कीमा, या EBNF व्याकरण तक सीमित करना

यह संयोजन पूरी तरह से उन ऑपरेटरों पर लक्षित है, जिन्हें प्रयोगात्मक प्लेथिंग्स के बजाय प्रतिलिपि प्रस्तुत करने योग्य, उच्च-थ्रूपुट टेक्स्ट पीढ़ी की आवश्यकता होती है। उद्यमों के लिए विशेष मामले में बैच इनवेरिएंस और नियतात्मक नमूनाकरण, जिन्हें ऑडिट करना होगा कि एक मॉडल ने दिए गए आउटपुट का उत्पादन क्यों किया।

NVIDIA और Huawei Ascend, साथ-साथ

सबसे अधिक ध्यान से देखा जाने वाला विवरण हार्डवेयर समर्थन है। DeepInfer CUDA 13 के माध्यम से NVIDIA SM100 GPU और CANN 9.2 के माध्यम से Huawei Ascend 950 NPU को लक्षित करता है, जिसमें Linux, GCC 13 और Python 3.12 दोनों पथों के लिए पूर्वापेक्षाओं के रूप में सूचीबद्ध हैं।

वह दोहरा-प्लेटफ़ॉर्म रुख डीपसीक के हालिया इतिहास के अनुरूप है। कंपनी ने एसेंड हार्डवेयर के लिए टाइललैंग-आधारित सॉफ़्टवेयर विकसित करने में कई महीने बिताए हैं और सार्वजनिक रूप से इस धारणा को चुनौती दी है कि CUDA अपूरणीय है। एक उत्पादन अनुमान ढाँचे को शिपिंग करना जो एसेंड को प्रथम श्रेणी के नागरिक के रूप में मानता है - एक शोध के बाद के विचार के बजाय - उस रणनीति का विस्तार करता है, और यह ऐसे समय में आता है जब अमेरिकी निर्यात नियंत्रण प्रतिबंधित करना जारी रखता है कि कौन सी एनवीडिया चिप्स चीनी कंपनियां खरीद सकती हैं।

घरेलू सिलिकॉन चलाने वाले चीनी क्लाउड ऑपरेटरों के लिए, एक अनुरक्षित अनुमान इंजन जो एसेंड 950 का समर्थन करता है, एनवीडिया पारिस्थितिकी तंत्र के बाहर फ्रंटियर-क्लास ओपन मॉडल की सेवा के लिए व्यावहारिक बाधाओं में से एक को हटा देता है।

रिलीज़ से क्या कमी है

README स्पष्ट है कि यह अभी तक पूर्ण सर्विंग स्टैक नहीं है। DeepInfer पर निर्मित उत्पादन परिनियोजन के लिए अभी भी तीन घटकों की आवश्यकता होती है जिनमें रिलीज़ शामिल नहीं है: एक KV कैश सिस्टम, प्रीफ़िल और डिकोड पृथक्करण, और डेटा-समानांतर प्रतिकृतियों में लोड संतुलन। रिपॉजिटरी नोट करती है कि पृथक्करण के लिए अधिकांश आवश्यक इंजन कार्यक्षमता पहले ही लागू की जा चुकी है, लेकिन आसपास के सिस्टम को ऑपरेटर पर छोड़ दिया गया है।

व्यवहार में इसका मतलब है कि डीपइन्फर को सामुदायिक सेवा ढांचे के टर्नकी विकल्प के बजाय डीपसीक के बुनियादी ढांचे के कंप्यूट इंजन के रूप में सबसे अच्छा समझा जाता है। वास्तविक ट्रैफ़िक के सामने रखने से पहले टीमों को इसे कैशिंग और रूटिंग परतों के साथ एकीकृत करने की आवश्यकता होगी।

यह क्यों मायने रखता है

डीपसीक का व्यवसाय बेहद सस्ते में मॉडल पेश करने पर आधारित है, और उस व्यवसाय का अर्थशास्त्र गहन जांच का विषय रहा है क्योंकि कंपनी उस दिशा में आगे बढ़ रही है जिसे उसने मूल्य निर्धारण के रूप में वर्णित किया है, वह अपनी पहले की कम लागत वाली स्थिति से दूर जा रही है। वास्तविक उत्पादन अनुमान पथ खोलना - न कि केवल अनुसंधान कोड - बाहरी डेवलपर्स और क्लाउड प्रदाताओं को उन लागतों के पीछे की तकनीकों पर असामान्य रूप से प्रत्यक्ष नज़र देता है।

यह एक सुविचारित पैटर्न भी जारी रखता है। फ्लैशएमएलए, डीपजीईएमएम, और डीपईपी सभी को अलग-अलग जारी किया गया था क्योंकि लैब ने अपना स्टैक बनाया था; DeepInfer प्रभावी ढंग से दस्तावेज करता है कि टुकड़े एक साथ कैसे फिट होते हैं। शोधकर्ताओं के लिए, रिलीज़ से डीपसीक के प्रकाशित प्रदर्शन दावों को पुन: प्रस्तुत करना आसान हो गया है। प्रतिस्पर्धियों के लिए, यह एक खुले अनुमान स्टैक के रूप में गिना जाने वाला मानक उठाता है।

अपाचे 2.0 लाइसेंस कॉपीलेफ्ट दायित्वों के बिना व्यावसायिक उपयोग की अनुमति देता है, जिसका अर्थ है कि पश्चिमी क्लाउड प्रदाता इसे कानूनी रूप से तैनात कर सकते हैं - हालांकि इसका मॉडल समर्थन वर्तमान में डीपसीक के अपने वी4.1-फ्लैश चेकपॉइंट तक सीमित है, इसलिए अधिकांश इसे अभी के लिए एक संदर्भ कार्यान्वयन के रूप में मानेंगे।

क्या देखना है

तीन प्रश्न यह निर्धारित करेंगे कि क्या डीपइन्फर व्यापक रूप से अपनाया जाता है या एक जिज्ञासा बना रहता है। पहला, क्या समुदाय इसे V4.1-फ़्लैश से आगे अन्य मॉडल आर्किटेक्चर में पोर्ट करता है। दूसरा, क्या रिपॉजिटरी के प्रदर्शन तालिकाओं में प्रकाशित बेंचमार्क परिणाम डीपसीक के अपने क्लस्टर के बाहर के हार्डवेयर पर टिके हैं। तीसरा, क्या गायब टुकड़े - केवी कैश प्रबंधन, पृथक्करण, और लोड संतुलन - भविष्य के रिलीज में आते हैं, इंजन को पूर्ण सेवा ढांचे में बदल देते हैं।

अभी के लिए, यह रिलीज़ उस प्रयोगशाला की ओर से एक उल्लेखनीय पारदर्शिता कदम है जिसने बार-बार अपने मॉडलों के तहत बुनियादी ढांचे को प्रकाशित करने के लिए चुना है। जो डेवलपर्स प्रयोग करना चाहते हैं, वे किसी भी समर्थित प्लेटफ़ॉर्म पर स्रोत से डीपइन्फर का निर्माण कर सकते हैं और एकल उदाहरण स्क्रिप्ट के साथ ऑफ़लाइन अनुमान चला सकते हैं।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →