डीपसीक ने एक ओपन-सोर्स सट्टा डिकोडिंग फ्रेमवर्क डीस्पार्क जारी किया है, जिसके बारे में कंपनी का कहना है कि यह आउटपुट गुणवत्ता में किसी भी नुकसान के बिना लाइव ट्रैफिक के तहत बड़े भाषा मॉडल (एलएलएम) अनुमान को 85% तक तेज कर देता है। डीपसीक-एआई और पेकिंग यूनिवर्सिटी के एक नए पेपर में वर्णित है, सिस्टम पहले से ही डीपसीक-वी4 सेवारत बुनियादी ढांचे के अंदर चल रहा है जो वास्तविक उपयोगकर्ता अनुरोधों को संभालता है।

यह कार्य उत्पादन एआई में सबसे जिद्दी समस्याओं में से एक से निपटता है: अनुमान धीमा है क्योंकि मॉडल एक समय में एक टोकन पर पाठ उत्पन्न करते हैं, प्रत्येक को नेटवर्क के माध्यम से पूर्ण पास की आवश्यकता होती है। सट्टा डिकोडिंग एक लोकप्रिय उपाय है जिसमें एक छोटा, तेज़ "ड्राफ्ट" मॉडल टोकन के एक ब्लॉक का प्रस्ताव करता है जिसे पूर्ण आकार का मॉडल सबसे लंबे सही उपसर्ग को स्वीकार करते हुए एक ही पास में सत्यापित करता है। क्योंकि सत्यापन समानांतर और गणितीय रूप से सटीक है, यह मूल मॉडल के वितरण को संरक्षित करते हुए चीजों को गति देता है। डीस्पार्क, गिटहब पर डीपस्पेक प्रशिक्षण रिपॉजिटरी के साथ जारी किया गया, जल्दी ही हैकर न्यूज पर सबसे अधिक चर्चित एआई इंजीनियरिंग कहानियों में से एक बन गया। For more context on this story, see our ongoing latest AI developments.

क्यों मौजूदा सट्टा डिकोडिंग एक दीवार से टकराती है

हालिया सट्टा डिकोडिंग अनुसंधान "समानांतर ड्राफ्टर्स" की ओर बढ़ गया है जो एक ही फॉरवर्ड पास में उम्मीदवार टोकन के पूरे ब्लॉक को उत्पन्न करता है, जिससे ड्राफ्ट विलंबता ब्लॉक आकार से लगभग स्वतंत्र हो जाती है। डीस्पार्क पेपर उन दो बाधाओं की पहचान करता है जिन्होंने इन तरीकों को बड़े पैमाने पर अपना वादा पूरा करने से रोका है।

पहली गुणवत्ता की समस्या है. क्योंकि समानांतर ड्राफ्टर्स प्रत्येक स्थिति की स्वतंत्र रूप से भविष्यवाणी करते हैं, वे यह मॉडल नहीं बना सकते कि किसी ब्लॉक के भीतर टोकन एक दूसरे पर कैसे निर्भर करते हैं। शोधकर्ताओं ने दिखाया है कि इससे "मल्टी-मोडल टकराव" होता है और ड्राफ्ट ब्लॉक में बाद की स्थिति में तेजी से स्वीकृति क्षय होता है, एक घटना जिसे वे प्रत्यय क्षय कहते हैं। समानांतर ब्लॉक जितना लंबा होगा, इसकी पूंछ गलत होने की संभावना उतनी ही अधिक होगी।

दूसरी सिस्टम-स्तरीय समस्या है. जबकि लंबे ड्राफ्ट ब्लॉक बनाना सस्ता है, हर प्रस्तावित टोकन को आँख बंद करके सत्यापित करने से टोकन पर दुर्लभ बैच क्षमता बर्बाद हो जाती है, जिसे अस्वीकार किए जाने की संभावना होती है। एक वास्तविक सेवा प्रणाली की उच्च संगामिति के तहत, आदर्श सत्यापन लंबाई दो अक्षों के साथ भिन्न होती है: कोड जैसे संरचित अनुरोध ओपन-एंडेड चैट की तुलना में उच्च स्वीकृति दर बनाए रखते हैं, और अतिरिक्त टोकन का सत्यापन हल्के लोड के तहत लगभग मुफ़्त है लेकिन सिस्टम संतृप्त होने पर महंगा है।

एक अर्ध-ऑटोरेग्रेसिव ड्राफ्ट मॉडल

प्रत्यय क्षय को ठीक करने के लिए, DSpark ने उसे अपनाया जिसे लेखक सेमी-ऑटोरेग्रेसिव आर्किटेक्चर कहते हैं। यह एक कम्प्यूटेशनल रूप से भारी समानांतर रीढ़ को जोड़ता है, जो एक हल्के अनुक्रमिक मॉड्यूल के साथ एक बार में कई टोकन प्रस्तावित कर सकता है जो इंट्रा-ब्लॉक निर्भरता मॉडलिंग का परिचय देता है। डिज़ाइन का उद्देश्य प्रारंभिक स्थिति में समानांतर मॉडल की उच्च क्षमता को पारंपरिक ऑटोरेग्रेसिव ड्राफ्टर्स के प्रत्यय सुसंगतता के साथ जोड़ना है, जो एक के बाद एक टोकन उत्पन्न करते हैं और स्वाभाविक रूप से निर्भरता का सम्मान करते हैं।

गणितीय तर्क, कोड निर्माण और दैनिक चैट तक फैले नियंत्रित ऑफ़लाइन बेंचमार्क पर, टीम की रिपोर्ट है कि डीस्पार्क मजबूत आधार रेखाओं पर प्रति सत्यापन चक्र की स्वीकृत लंबाई में काफी सुधार करता है। विशेष रूप से, पेपर में कहा गया है कि डीस्पार्क तीन सेटिंग्स में ऑटोरेग्रेसिव ईगल3 ड्राफ्टर की तुलना में स्वीकृत लंबाई में 30.9%, 26.7% और 30.0% सुधार करता है, और समानांतर डीफ्लैश ड्राफ्टर की तुलना में 16.3%, 18.4% और 18.3% सुधार करता है।

कॉन्फिडेंस-शेड्यूल, लोड-अवेयर वेरिफिकेशन

डीस्पार्क का सबसे नया हिस्सा सत्यापन के प्रति इसका दृष्टिकोण है। प्रत्येक अनुरोध के लिए ड्राफ्ट टोकन की एक निश्चित संख्या को सत्यापित करने के बजाय, DSpark एक वैश्विक थ्रूपुट अधिकतमकरण समस्या के रूप में सत्यापन-लंबाई चयन तैयार करता है। यह एक हार्डवेयर-जागरूक शेड्यूलर के साथ कैलिब्रेटेड अनुमान जोड़ता है कि ड्राफ्ट का उपसर्ग कितने समय तक जीवित रहने की संभावना है, जिसे पेपर जीवित रहने की संभावनाएं कहता है, एक हार्डवेयर-जागरूक शेड्यूलर के साथ जो वास्तविक समय इंजन लोड को पढ़ता है।

परिणाम आत्मविश्वास-अनुसूचित सत्यापन है: सिस्टम गतिशील रूप से यह बताता है कि अनुरोध की सामग्री और सर्विंग इंजन की वर्तमान स्थिति दोनों के आधार पर प्रत्येक अनुरोध के लिए कितने टोकन सत्यापित होते हैं। हल्के भार के तहत यह उदारतापूर्वक सत्यापन कर सकता है, जबकि भारी संगामिति के तहत यह लक्ष्य मॉडल के सत्यापन बजट को केवल उच्चतम अपेक्षित रिटर्न वाले टोकन की ओर ले जाता है, कम संभावना वाले टोकन पर बैच क्षमता खर्च करने से होने वाले थ्रूपुट पतन से बचता है।

लाइव उपयोगकर्ता ट्रैफ़िक के अंतर्गत परिणाम

सबसे अधिक परिणामी संख्याएँ उत्पादन से आती हैं। टीम ने लाइव उपयोगकर्ता ट्रैफ़िक की सेवा देने वाले डीपसीक-वी4 सर्विंग सिस्टम के अंदर डीस्पार्क को तैनात किया और इसकी तुलना कंपनी की पूर्व उत्पादन बेसलाइन, एक मल्टी-टोकन भविष्यवाणी पद्धति, जिसे एमटीपी-1 के नाम से जाना जाता है, से की।

पेपर के अनुसार, DSpark लगातार डीपसीक-वी4-फ्लैश के लिए प्रति-उपयोगकर्ता उत्पादन गति को 60% से 85% तक और डीपसीक-वी4-प्रो के लिए 57% से 78% तक मैच्योर एग्रीगेट थ्रूपुट पर तेज करता है। सख्त सेवा-स्तरीय समझौतों के तहत जहां बेसलाइन की क्षमता गंभीर रूप से खराब हो जाती है, फ्लैश के लिए 120 टोकन प्रति सेकंड और प्रो के लिए 50 टोकन प्रति सेकंड के बराबर, डीस्पार्क मजबूत थ्रूपुट बनाए रखने के लिए सत्यापन ओवरहेड को कम करता है। उस प्रदर्शन चट्टान पर काबू पाकर, लेखकों का तर्क है कि यह सख्त अन्तरक्रियाशीलता स्तरों को खोलता है जो पहले अप्राप्य थे, प्रभावी ढंग से एलएलएम सेवा के पेरेटो सीमा को बाहर की ओर स्थानांतरित कर देता है।

यह अंतर ऑपरेटरों के लिए मायने रखता है। समान कुल थ्रूपुट पर तेज प्रति-उपयोगकर्ता गति का अर्थ है अधिक हार्डवेयर खरीदे बिना अधिक प्रतिक्रियाशील सहायक और एजेंटिक वर्कफ़्लो, जबकि लोड के तहत सख्त विलंबता एसएलए से बचना एक शोध डेमो को उस सिस्टम से अलग करता है जो ट्रैफ़िक स्पाइक्स के दौरान रुक सकता है।

समुदाय के लिए खुला स्रोत

डीपसीक, डीपसीक-वी4-फ्लैश और डीपसीक-वी4-प्रो पूर्वावलोकन मॉडल दोनों के लिए प्रशिक्षित डीस्पार्क चेकपॉइंट जारी कर रहा है। अनुमेय एमआईटी लाइसेंस के तहत प्रकाशित डीपस्पेक रिपॉजिटरी को सट्टा डिकोडिंग के लिए एक पूर्ण-स्टैक, एल्गोरिदम-संचालित प्रशिक्षण और मूल्यांकन कोडबेस के रूप में वर्णित किया गया है। इसमें डेटा तैयारी उपयोगिताएँ, ड्राफ्ट मॉडल कार्यान्वयन, प्रशिक्षण स्क्रिप्ट और मूल्यांकन हार्नेस, और तीन ड्राफ्ट मॉडल एल्गोरिदम वाले जहाज शामिल हैं: डीस्पार्क, डीफ्लैश और ईगल3।

यह रिलीज़ अन्य प्रयोगशालाओं और बुनियादी ढाँचा टीमों के लिए मानकीकृत पाइपलाइन के विरुद्ध अपने स्वयं के ड्राफ्ट मॉडल को प्रशिक्षित करने और बेंचमार्क करने की बाधा को कम करती है। डीपस्पेक के मूल्यांकन सूट में GSM8K, MATH500, AIME 2025, HumanEval, MBPP, LiveCodeBench, MT-Bench, AlpacaEval और Arena-Hard-v2 सहित स्थापित बेंचमार्क शामिल हैं।

यह क्यों मायने रखता है

अनुमान लागत और विलंबता अब एआई उद्योग की परिभाषित बाधाओं में से एक हैं, जो कंपनियों द्वारा एआई एजेंटों को कितनी आक्रामक तरीके से तैनात करती हैं, से लेकर क्या छोटे प्रदाता यूनिट अर्थशास्त्र पर हाइपरस्केलर्स के साथ प्रतिस्पर्धा कर सकते हैं, सब कुछ आकार दे रहे हैं। डीस्पार्क का योगदान एक प्रदर्शन से कम एक नया एल्गोरिदम है जो ड्राफ्ट मॉडल और सत्यापन अनुसूचक को सावधानीपूर्वक सह-डिज़ाइन करता है, और लाइव सिस्टम स्थिति के एक फ़ंक्शन के रूप में सत्यापन लंबाई का इलाज करता है, जो वास्तविक तैनाती में सुई को सार्थक रूप से स्थानांतरित कर सकता है।

डीपसीक के लिए, जिसने कुशल, खुले तौर पर जारी सिस्टम पर अपनी प्रतिष्ठा बनाई है, डीस्पार्क उस तर्क में एक और डेटा बिंदु है जो प्रयोगशाला एक वर्ष से अधिक समय से कर रही है: फ्रंटियर-ग्रेड सेवा प्रदर्शन केवल कच्चे कंप्यूटर के बजाय स्मार्ट इंजीनियरिंग के माध्यम से प्राप्त किया जा सकता है। तथ्य यह है कि लाभ को सिंथेटिक बेंचमार्क के बजाय लाइव ट्रैफ़िक के तहत मापा गया था, जिससे अन्य ऑपरेटरों के लिए परिणाम को गंभीरता से लेना आसान हो जाता है क्योंकि ओपन-सोर्स समुदाय पेपर को पचा लेता है और संख्याओं को पुन: प्रस्तुत करना शुरू कर देता है।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →