DeepSeek कडे ओपन-सोर्स्ड DeepInfer आहे, उच्च-कार्यक्षमता अनुमान फ्रेमवर्क जी चीनी AI लॅब म्हणते की स्वतःच्या मोठ्या प्रमाणात उत्पादन सेवांना सामर्थ्य देते. Apache 2.0 लायसन्स अंतर्गत GitHub वर कोड दिसला आणि काही दिवसांतच 5,500 हून अधिक तारे गोळा केले, सोमवारी रिलीझबद्दलच्या हॅकर न्यूजच्या चर्चेला शेकडो अपव्होट्स मिळाल्यानंतर.

प्रकल्पाच्या README नुसार, प्रकाशन हे मुख्य वैशिष्ट्यांसह ऑफलाइन अनुमान प्रदान करते ज्यावर DeepSeek त्याच्या मॉडेल्सला मोठ्या प्रमाणावर सेवा देण्यासाठी अवलंबून आहे. डीफॉल्ट कॉन्फिगरेशनमध्ये DeepSeek-V4.1-Flash ला लक्ष्य केले जाते आणि फ्रेमवर्क पहिल्या रनवर Hugging Face वरून DeepSeek-V4.1-Flash-1017 चेकपॉईंट आपोआप डाउनलोड करते. For more context on this story, see our ongoing artificial intelligence updates.

DeepInfer मध्ये प्रत्यक्षात काय समाविष्ट आहे

DeepInfer हे स्क्रॅच रीराईट नाही. हे डीपसीक गेल्या दोन वर्षांपासून तुकड्या-तुकड्या-फ्लॅशएमएलए, डीपजीईएमएम, डीपईपी, टाइलकर्नेल्स, डीपसेलेक्ट आणि सानुकूल टाईलँग कर्नल - मॉडेल आणि सॅम्पलर एक्झिक्यूशनसह एकाच रनटाइममध्ये रिलीज करत आहे.

फ्रेमवर्क अनेक सर्व्हिंग तंत्रे देखील पाठवते जी रेपॉजिटरीमध्ये तपशीलवार दस्तऐवजीकरण केलेली आहेत:

  • आत्मविश्वास-अनुसूचित पडताळणी, एक सट्टा डीकोडिंग दृष्टीकोन जो पडताळणी शेड्यूल करण्यासाठी मसुदा टोकन आणि आत्मविश्वास अंदाज वापरतो, पर्यावरणीय चलने नियंत्रित करता येतो
  • डीकोडर SWA बाउंडेड रीप्ले, जे सीक्वेन्सचा फक्त एक बाउंडेड प्रत्यय पुन्हा प्ले करून डीकोडर प्रीफिल काम कमी करते
  • असिंक्रोनस शेड्युलिंग जे डिव्हाइस अंमलबजावणीसह CPU बॅच शेड्यूलिंग ओव्हरलॅप करते, डीफॉल्टनुसार सक्षम केलेले
  • बॅच-अपरिवर्तनीय अनुमान, जे वेगवेगळ्या बॅच रचनांमध्ये मॉडेलचे परिणाम सारखे ठेवते
  • निश्चयात्मक नमुना, एकसारखे इनपुट आणि सॅम्पलिंग पॅरामीटर्ससाठी एकसारखे आउटपुट तयार करणे
  • संरचित आऊटपुट, regex, JSON स्कीमा किंवा EBNF व्याकरणासाठी जनरेशन मर्यादित करणे

हे संयोजन प्रायोगिक खेळण्याऐवजी पुनरुत्पादक, उच्च-थ्रूपुट मजकूर निर्मितीची आवश्यकता असलेल्या ऑपरेटरसाठी आहे. एखाद्या मॉडेलने दिलेले आउटपुट का तयार केले याचे ऑडिट करणे आवश्यक असलेल्या उद्योगांसाठी विशिष्ट बाबींमध्ये बॅच इन्व्हेरिअन्स आणि निर्धारक नमुने.

NVIDIA आणि Huawei Ascend, शेजारी शेजारी

सर्वात जवळून पाहिलेला तपशील म्हणजे हार्डवेअर समर्थन. DeepInfer ने CUDA 13 द्वारे NVIDIA SM100 GPUs आणि Huawei Ascend 950 NPUs ला CANN 9.2 द्वारे लक्ष्य केले आहे, Linux, GCC 13, आणि Python 3.12 या दोन्ही पथांसाठी पूर्वतयारी म्हणून सूचीबद्ध आहेत.

ती ड्युअल-प्लॅटफॉर्म भूमिका DeepSeek च्या अलीकडील इतिहासाशी सुसंगत आहे. कंपनीने Ascend हार्डवेअरसाठी TileLang-आधारित सॉफ्टवेअर विकसित करण्यात आणि CUDA अपूरणीय आहे या गृहितकांना सार्वजनिकरित्या आव्हान देणारे महिने घालवले आहेत. एक उत्पादन अनुमान फ्रेमवर्क पाठवणे जे Ascend ला प्रथम श्रेणीचे नागरिक म्हणून हाताळते — संशोधनानंतरच्या विचाराऐवजी — त्या धोरणाचा विस्तार करते आणि ते अशा वेळी उतरते जेव्हा यूएस निर्यात नियंत्रणे Nvidia चिप्स चीनी कंपन्या खरेदी करू शकतात यावर निर्बंध घालतात.

डोमेस्टिक सिलिकॉन चालवणाऱ्या चायनीज क्लाउड ऑपरेटर्ससाठी, Ascend 950 ला सपोर्ट करणारे मेंटेन केलेले इन्फरेन्स इंजिन Nvidia इकोसिस्टमच्या बाहेर फ्रंटियर-क्लास ओपन मॉडेल्स सर्व्ह करण्यामधील एक व्यावहारिक अडथळे दूर करते.

रिलीजमधून काय गहाळ आहे

README स्पष्ट आहे की हा अद्याप पूर्ण सर्व्हिंग स्टॅक नाही. DeepInfer वर तयार केलेल्या प्रोडक्शन डिप्लॉयमेंटला अजूनही तीन घटकांची आवश्यकता आहे ज्यामध्ये रिलीझचा समावेश नाही: एक KV कॅशे सिस्टम, प्रीफिल आणि डीकोड डिसॅग्रिगेशन आणि डेटा-समांतर प्रतिकृतींमध्ये लोड बॅलेंसिंग. रिपॉझिटरी नोंदवते की डिसॅग्रिगेशनसाठी आवश्यक असलेली इंजिन कार्यक्षमता आधीपासूनच लागू केली गेली आहे, परंतु आसपासच्या सिस्टम ऑपरेटरवर सोडल्या जातात.

सराव मध्ये याचा अर्थ डीपइन्फर हे डीपसीकच्या पायाभूत सुविधांचे कंप्युट इंजिन म्हणून समजले जाते ऐवजी समुदाय सेवा फ्रेमवर्कसाठी टर्नकी पर्याय म्हणून. कार्यसंघांना वास्तविक रहदारीसमोर ठेवण्यापूर्वी ते कॅशिंग आणि राउटिंग स्तरांसह समाकलित करणे आवश्यक आहे.

हे महत्त्वाचे का आहे

डीपसीकचा व्यवसाय अत्यंत स्वस्तात मॉडेल्स प्रदान करण्यावर अवलंबून आहे आणि त्या व्यवसायाचे अर्थशास्त्र हे गहन तपासणीचा विषय बनले आहे कारण कंपनीने वर्णन केलेल्या किंमती त्याच्या पूर्वीच्या कमी किमतीच्या स्थितीपासून दूर जात आहे. वास्तविक उत्पादन अनुमान मार्ग उघडणे — केवळ संशोधन कोडच नाही — बाहेरील विकासक आणि क्लाउड प्रदात्यांना त्या खर्चामागील तंत्रांकडे असामान्यपणे थेट दृष्टीक्षेप देते.

हे देखील एक मुद्दाम पॅटर्न सुरू आहे. फ्लॅशएमएलए, डीपजीईएमएम आणि डीपईपी हे सर्व स्वतंत्रपणे सोडण्यात आले कारण लॅबने त्याचा स्टॅक तयार केला होता; डीपइन्फर प्रभावीपणे दस्तऐवज करते की तुकडे कसे जुळतात. संशोधकांसाठी, प्रकाशन डीपसीकच्या प्रकाशित कार्यप्रदर्शन दाव्यांचे पुनरुत्पादन करणे सोपे करते. स्पर्धकांसाठी, हे ओपन इन्फेरेन्स स्टॅक म्हणून मोजले जाणारे बार वाढवते.

Apache 2.0 परवाना कॉपीलिफ्ट दायित्वांशिवाय व्यावसायिक वापरास परवानगी देतो, याचा अर्थ पाश्चात्य क्लाउड प्रदाते ते कायदेशीररीत्या उपयोजित करू शकतात — जरी त्याचे मॉडेल समर्थन सध्या DeepSeek च्या स्वतःच्या V4.1-Flash चेकपॉईंटपुरते मर्यादित आहे, त्यामुळे बहुतेक ते आत्तासाठी संदर्भ अंमलबजावणी म्हणून हाताळतील.

काय पहावे

DeepInfer व्यापकपणे स्वीकारले जाते की एक उत्सुकता राहते हे तीन प्रश्न निर्धारित करतील. प्रथम, समुदायाने ते V4.1-फ्लॅशच्या पलीकडे इतर मॉडेल आर्किटेक्चरमध्ये पोर्ट केले की नाही. दुसरे, रेपॉजिटरीच्या कार्यप्रदर्शन सारण्यांमध्ये प्रकाशित केलेले बेंचमार्क परिणाम डीपसीकच्या स्वतःच्या क्लस्टर्सच्या बाहेरील हार्डवेअरवर टिकून राहतात की नाही. तिसरे, गहाळ झालेले तुकडे — केव्ही कॅशे व्यवस्थापन, डिसॅग्रिगेशन, आणि लोड बॅलन्सिंग — भविष्यातील प्रकाशनांमध्ये येतात, इंजिनला संपूर्ण सर्व्हिंग फ्रेमवर्कमध्ये बदलते.

आत्तासाठी, प्रकाशन ही प्रयोगशाळेची एक उल्लेखनीय पारदर्शकता आहे ज्याने त्याच्या मॉडेल्सच्या खाली पायाभूत सुविधा प्रकाशित करणे वारंवार निवडले आहे. ज्या विकसकांना प्रयोग करायचे आहेत ते एकतर समर्थित प्लॅटफॉर्मवर स्त्रोताकडून DeepInfer तयार करू शकतात आणि एकल उदाहरण स्क्रिप्टसह ऑफलाइन अनुमान चालवू शकतात.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →