WIRED द्वारा रिपोर्ट की गई मूल्यांकन फर्म वाल्स के नए बेंचमार्क परिणामों के अनुसार, एक ओपन-वेट चीनी मॉडल जिसे कोई भी डाउनलोड कर सकता है, सिम्युलेटेड कॉर्पोरेट नेटवर्क में सेंध लगाने में ओपनएआई के सबसे सक्षम साइबर मॉडल से लगभग मेल खाता है।
वाल्स के साइबरऑफ़ेंस परीक्षण में, ओपनएआई का जीपीटी-6 सोल - जिसे कंपनी केवल अपने प्रतिबंधित-एक्सेस डेब्रेक साइबर प्रोग्राम के माध्यम से पेश करती है - ने लगभग 81 प्रतिशत उद्देश्यों को पूरा किया। डीपसीक वी4.1 फ्लैश, एक निःशुल्क ओपन-वेट रिलीज़, पूरी तरह से स्वायत्त एजेंट के रूप में चलते हुए, लगभग 73 प्रतिशत समान उद्देश्यों को पूरा करता है। अन्य ट्रैकर्स ने डीपसीक का हेडलाइन नंबर 72.8 प्रतिशत रखा है।
वाल्स ने अपने परिणामों में लिखा, "साइबर क्षमता जो विश्वसनीय-पहुंच एआई तक सीमित थी, अब किसी के लिए भी उपलब्ध है।" वाल्स के शोधकर्ता निकिल रवि ने WIRED को बताया कि एआई प्रयोगशालाओं के अंदर बंद सर्वोत्तम मॉडलों की तुलना "खुले मॉडलों से की जाने लगी है जिन्हें कोई भी डाउनलोड कर सकता है।"
वैल्स ने टेस्ट कैसे चलाया
वाल्स का साइबरऑफ़ेंस बेंचमार्क दो सिम्युलेटेड साइबर रेंज का उपयोग करता है। पहला, जिसे नोवा कहा जाता है, एक 21-उद्देश्यीय विंडोज नेटवर्क है जो कई सक्रिय निर्देशिका डोमेन तक फैला हुआ है। दूसरे, लाइटहाउस में दो कंपनियों के 31 उद्देश्य शामिल हैं, जहां एजेंट को पहले एक नेटवर्क पर कब्ज़ा करना होगा और फिर दूसरे में सेंध लगाने के लिए वहां पाए गए क्रेडेंशियल्स और जानकारी का उपयोग करना होगा - एक ऐसा परिदृश्य जो वास्तविक दुनिया के बहु-मंचीय घुसपैठ को प्रतिबिंबित करता है।
प्रत्येक मॉडल 48 घंटे की समय सीमा और 500 मिलियन-टोकन बजट के साथ एक अलग काली लिनक्स मशीन पर ओपन-सोर्स पीआई एजेंट में चलता था। महत्वपूर्ण बात यह है कि, वाल्स ने किसी उद्देश्य को केवल तभी श्रेय दिया जब छिपे हुए मार्कर कमांड आउटपुट में दिखाई दिए - मॉडल के स्वयं के दावे पर कभी नहीं कि यह सफल हुआ था।
संख्याएँ, और लागत का अंतर
डीपसीक ने नोवा के 21 उद्देश्यों में से 16.3 का औसत हासिल किया, जो वास्तव में पहले नेटवर्क पर डेब्रेक के 15.7 से आगे निकल गया। डेब्रेक ने कठिन लाइटहाउस रेंज पर आगे बढ़ते हुए, डीपसीक के 21 में से 31 उद्देश्यों में से 27 को पूरा किया।
सबसे बड़ा अंतर लागत का था। WIRED ने डीपसीक के लिए पूर्ण आक्रमण की कीमत लगभग $2 से $3 रखी, जबकि GPT-6 सोल के लिए $17 से $46। विशेष रूप से नोवा रेंज पर, डीपसीक ने अपना काम $3 प्रति रन से कम में पूरा किया, जबकि डेब्रेक के लिए यह लगभग $22 था।
वाल्स ने यह भी देखा कि डीपसीक ने अपने पहले 25 मिलियन टोकन में कुछ भी पूरा नहीं किया और 100 मिलियन के बाद अपनी अधिकांश प्रगति की - एक पेसिंग प्रोफ़ाइल जो संक्षिप्त, गणना-कैप्ड मूल्यांकन का सुझाव देती है जो व्यवस्थित रूप से कम करती है कि सस्ते खुले मॉडल दिए गए समय और बजट में क्या कर सकते हैं।
अन्य मॉडलों का प्रदर्शन कैसा रहा
डीपसीक ने ओपन-वेट क्षेत्र में बिना किसी चुनौती के नेतृत्व नहीं किया - लेकिन किसी और ने इसे नहीं पकड़ा। किमी K3.1 प्रो, मेटा का वंडर, और xAI का ग्रोक 4.7 सभी वाल्स के सात-मॉडल की तुलना में डीपसीक से पीछे रहे।
Z.ai का GLM 5.3 फ़्लैश अंतिम स्थान पर आया, जिसने प्रत्येक रेंज पर पाँच उद्देश्य पूरे किए। वाल्स ने इसे समूह का "सबसे स्पष्ट गतिरोध" कहा: एक रेंज पर, मॉडल ने लगभग 36 घंटे बिताए - इसमें से अधिकांश पृष्ठभूमि नौकरी के लिए मतदान किया जो कभी वापस नहीं आया।
अन्य मूल्यांकनकर्ता साइबर कार्यों पर पूर्ण GLM-5.3 मॉडल को काफी अधिक रेटिंग देते हैं। परीक्षण फर्म इर्रेगुलर ने पाया कि उसने 13 मल्टी-स्टेज हमले परिदृश्यों में से 3 को पूरा कर लिया है - सबसे अच्छा परिणाम जो उसने खुले तौर पर उपलब्ध मॉडल से दर्ज किया है - और एनआईएसटी ने इसे अब तक जारी किया गया सबसे सक्षम ओपन-वेट साइबर मॉडल कहा है, यह अनुमान लगाते हुए कि यह अग्रणी अमेरिकी प्रणालियों से लगभग चार महीने पीछे है। एंथ्रोपिक ने रॉयटर्स को अलग से बताया कि जीएलएम-5.3 ने 12 प्रतिशत प्रयासों में कामकाजी कारनामे बनाए, जबकि इसके क्लाउड मिथोस के लिए यह 14 प्रतिशत था। वाल्स नोट करते हैं कि ये अलग-अलग परीक्षण हैं जिनके स्कोर की तुलना सीधे साइबरऑफ़ेंस परिणामों से नहीं की जा सकती है।
यह क्यों मायने रखता है
परिणाम सीमांत एआई साइबर क्षमताओं के आसपास सुरक्षा रेलिंग के बारे में चल रही बहस को तेज करते हैं। ओपनएआई का डेब्रेक कार्यक्रम विशेष रूप से उच्च क्षमता वाले साइबर मॉडल को पहचान जांच और प्रतिबंधित पहुंच के पीछे रखने के लिए मौजूद है, इस सिद्धांत पर कि आक्रामक साइबर क्षमता को स्वतंत्र रूप से वितरित नहीं किया जाना चाहिए। एक मुफ्त डाउनलोड एक प्रतिबंधित मॉडल से केवल कुछ अंकों से पीछे है - जबकि प्रति ऑपरेशन कम परिमाण के क्रम की लागत - उस तस्वीर को काफी जटिल बनाती है।
यह रक्षकों के लिए भी मायने रखता है। एआई-सहायता प्राप्त हमलावरों के खिलाफ योजना बनाने वाली सुरक्षा टीमें अब यह नहीं मान सकती हैं कि गंभीर स्वायत्त आक्रामक क्षमता के लिए प्रयोगशाला के प्रतिबंधित मॉडल या बड़े बजट तक पहुंच की आवश्यकता होती है। जैसा कि वाल्स की स्वयं की फ़्रेमिंग से पता चलता है, क्षमता स्तर पहुंच नियंत्रण की तुलना में तेज़ी से बढ़ रहा है।
ओपनएआई ने रिपोर्ट में तुलना पर कोई टिप्पणी नहीं की। डीपसीक ने टिप्पणी के अनुरोधों का तुरंत जवाब नहीं दिया।
एक परीक्षण पद्धति चुनौती
हेडलाइन स्कोर से परे, परिणाम यह सबक देते हैं कि एआई साइबर क्षमताओं को कैसे मापा जाता है। वैल्स के डिज़ाइन विकल्प - लंबी 48-घंटे की विंडो, आधा-बिलियन-टोकन बजट, और स्वयं-रिपोर्ट की गई सफलता के बजाय छिपे हुए मार्करों के माध्यम से सत्यापन - को एजेंटिक सिस्टम का निष्पक्ष मूल्यांकन करने के लिए तेजी से आवश्यक माना जाता है। कम, सस्ते टेस्ट रन से डीपसीक को बहुत कम स्कोर मिलने की संभावना है, क्योंकि इसकी धीमी शुरुआत, अधिक गणना के साथ उभरी क्षमताओं को छिपाती है।
नीति के लिए इसके व्यावहारिक परिणाम हैं। ओपनएआई के डेब्रेक प्रोग्राम जैसे एक्सेस प्रतिबंधों को मापी गई क्षमता के अनुसार कैलिब्रेट किया जाता है, और यदि मूल्यांकन विधियां व्यवस्थित रूप से कम बताती हैं कि खुले मॉडल क्या कर सकते हैं, तो रेलिंग वास्तविकता से पीछे रह सकती है। वैल्स का साइबरऑफ़ेंस लीडरबोर्ड, जिसके बारे में कंपनी का कहना है कि वह अपडेट करना जारी रखेगी, इसके परिणामस्वरूप एआई सुरक्षा समुदाय में अधिक बारीकी से देखे जाने वाले स्कोरबोर्ड में से एक बनने की संभावना है।
अभी के लिए, डेटा से संदेश स्पष्ट है: प्रयोगशालाएं प्रतिबंधित कार्यक्रमों के पीछे क्या रखवाली करती हैं और कोई भी क्या डाउनलोड कर सकता है, के बीच का अंतर उस बिंदु तक कम हो रहा है जहां इसे जल्द ही मॉडलों की पीढ़ियों के बजाय महीनों में मापा जा सकता है।
