WIRED ने अहवाल दिलेल्या मूल्यमापन फर्म वॅल्सच्या नवीन बेंचमार्क परिणामांनुसार, कोणीही डाउनलोड करू शकणारे ओपन-वेट चीनी मॉडेल सिम्युलेटेड कॉर्पोरेट नेटवर्कमध्ये मोडण्यासाठी OpenAI च्या सर्वात सक्षम सायबर मॉडेलशी जवळपास जुळले आहे.
Vals च्या सायबरऑफेन्स चाचणीमध्ये, OpenAI च्या GPT-6 Sol - जे कंपनी फक्त तिच्या प्रतिबंधित-प्रवेश डेब्रेक सायबर प्रोग्रामद्वारे ऑफर करते - सुमारे 81 टक्के उद्दिष्टे पूर्ण करतात. DeepSeek V4.1 Flash, एक विनामूल्य ओपन-वेट रिलीझ, संपूर्ण स्वायत्त एजंट म्हणून कार्यरत, समान उद्दिष्टांपैकी अंदाजे 73 टक्के पूर्ण केले. इतर ट्रॅकर्सनी डीपसीकचा मथळा क्रमांक ७२.८ टक्के ठेवला आहे.
"सायबर क्षमता जी विश्वसनीय-प्रवेश एआयपर्यंत मर्यादित होती ती आता कोणासाठीही उपलब्ध आहे," वॅल्सने त्याच्या निकालांमध्ये लिहिले. Vals संशोधक निकिल रवी यांनी WIRED ला सांगितले की AI लॅबमध्ये लॉक केलेले सर्वोत्कृष्ट मॉडेल "कोणीही डाउनलोड करू शकतील अशा खुल्या मॉडेल्सशी जुळत आहेत."
वॅल्सने कसोटी कशी चालवली
Vals' CyberOffense बेंचमार्क दोन सिम्युलेटेड सायबर श्रेणी वापरतो. पहिले, नोव्हा नावाचे, एक 21-उद्देशीय विंडोज नेटवर्क आहे ज्यामध्ये अनेक सक्रिय निर्देशिका डोमेन आहेत. दुसरे, लाइटहाऊस, दोन कंपन्यांमध्ये 31 उद्दिष्टे समाविष्ट करतात, जिथे एजंटने प्रथम एका नेटवर्कचा ताबा घेतला पाहिजे आणि नंतर दुसऱ्यामध्ये प्रवेश करण्यासाठी क्रेडेन्शियल्स आणि माहितीचा वापर केला पाहिजे - वास्तविक-जगातील बहु-स्टेज घुसखोरी दर्शविणारी एक परिस्थिती.
प्रत्येक मॉडेल 48-तासांची वेळ मर्यादा आणि 500-दशलक्ष-टोकन बजेटसह, वेगळ्या काली लिनक्स मशीनवर ओपन-सोर्स पाई एजंटमध्ये धावले. महत्त्वाचे म्हणजे, वॅल्सने केवळ तेव्हाच उद्दिष्टाचे श्रेय दिले जेव्हा लपलेले मार्कर कमांड आउटपुटमध्ये दिसले - मॉडेलच्या स्वतःच्या दाव्यावर ते यशस्वी झाले नाही.
संख्या आणि खर्चातील अंतर
डीपसीकने नोव्हाच्या 21 उद्दिष्टांपैकी 16.3 ची सरासरी मिळवली, प्रत्यक्षात पहिल्या नेटवर्कवर डेब्रेकच्या 15.7 च्या पुढे गेले. डेब्रेकने कठीण लाइटहाऊस श्रेणीत पुढे खेचले, डीपसीकच्या 21 पैकी 31 पैकी 27 उद्दिष्टे पूर्ण केली.
अधिक उल्लेखनीय फरक खर्च होता. WIRED ने डीपसीकसाठी संपूर्ण आक्रमणाची किंमत अंदाजे $2 ते $3 ठेवली, जीपीटी-6 सोलसाठी $17 ते $46 विरुद्ध. विशेषत: नोव्हा रेंजवर, DeepSeek ने डेब्रेकसाठी $22 विरुद्ध $3 प्रति रन पेक्षा कमी काम पूर्ण केले.
वॅल्सने असेही निरीक्षण केले की डीपसीकने त्याच्या पहिल्या 25 दशलक्ष टोकन्समध्ये काहीही पूर्ण केले नाही आणि 100 दशलक्ष नंतर त्याची बरीच प्रगती केली - एक पेसिंग प्रोफाइल जे लहान, गणना-कॅप्ड मूल्यमापन सुचवते जे स्वस्त ओपन मॉडेल्स वेळ आणि बजेटनुसार काय करू शकतात हे पद्धतशीरपणे कमी करते.
इतर मॉडेल्स कसे चालले
डीपसीकने ओपन-वेट फील्डचे नेतृत्व केले नाही - परंतु इतर कोणीही ते पकडले नाही. Kimi K3.1 Pro, Meta's Wonder, आणि xAI चे Grok 4.7 हे सर्व Vals च्या सात-मॉडेल तुलनेमध्ये DeepSeek च्या मागे राहिले.
Z.ai चे GLM 5.3 Flash शेवटचे आले, प्रत्येक श्रेणीवर पाच उद्दिष्टे पूर्ण केली. वॅल्सने याला समूहाचा "सर्वात स्पष्ट अंत" म्हटले: एका श्रेणीवर, मॉडेलने सुमारे 36 तास घालवले - त्यातील बहुतेक पार्श्वभूमी नोकरीसाठी मतदान केले जे कधीही परत आले नाही.
इतर मूल्यांकनकर्ते संपूर्ण GLM-5.3 मॉडेलला सायबर टास्कवर खूप जास्त रेट करतात. टेस्टिंग फर्म इरॅग्युलरला आढळले की तिने 13 पैकी 3 मल्टी-स्टेज अटॅक परिस्थिती पूर्ण केल्या आहेत - हे उघडपणे उपलब्ध मॉडेलमधून नोंदवलेले सर्वोत्कृष्ट परिणाम आहे - आणि NIST ने त्याला आजपर्यंत प्रसिद्ध केलेले सर्वात सक्षम ओपन-वेट सायबर मॉडेल म्हटले आहे, असा अंदाज आहे की ते आघाडीच्या यूएस प्रणालींपेक्षा सुमारे चार महिने मागे आहे. अँथ्रोपिकने स्वतंत्रपणे रॉयटर्सला सांगितले की GLM-5.3 ने क्लॉड मिथॉससाठी 14 टक्के प्रयत्नांच्या तुलनेत 12 टक्के प्रयत्नांमध्ये कार्यरत शोषण केले. Vals नोंदवतात की या वेगवेगळ्या चाचण्या आहेत ज्यांच्या स्कोअरची थेट CyberOffense परिणामांशी तुलना केली जाऊ शकत नाही.
हे महत्त्वाचे का आहे
हे परिणाम सीमावर्ती AI सायबर क्षमतांच्या आसपासच्या सुरक्षा रेलिंगबद्दल चालू असलेल्या वादाला धार देतात. ओपनएआयचा डेब्रेक प्रोग्राम विशेषतः उच्च-क्षमता सायबर मॉडेल्सना ओळख तपासणी आणि प्रतिबंधित प्रवेशाच्या मागे ठेवण्यासाठी अस्तित्वात आहे, या सिद्धांतावर आक्षेपार्ह सायबर क्षमता मुक्तपणे वितरित केली जाऊ नये. प्रतिबंधित मॉडेलला केवळ काही पॉइंट्सने मागे टाकणारे विनामूल्य डाउनलोड — प्रति ऑपरेशन कमी परिमाणाच्या ऑर्डरची किंमत असताना — ते चित्र खूपच गुंतागुंतीचे करते.
हे बचावकर्त्यांसाठी देखील महत्त्वाचे आहे. AI-सहाय्यित हल्लेखोरांच्या विरोधात योजना आखत असलेले सुरक्षा संघ यापुढे असे गृहीत धरू शकत नाहीत की गंभीर स्वायत्त आक्षेपार्ह क्षमतेसाठी प्रयोगशाळेच्या प्रतिबंधित मॉडेल्समध्ये प्रवेश करणे किंवा मोठ्या बजेटची आवश्यकता आहे. वॅल्सचे स्वत:च्या फ्रेमिंगने सुचविल्याप्रमाणे, ॲक्सेस कंट्रोलमध्ये असल्यापेक्षा क्षमता मजला अधिक वेगाने वाढत आहे.
OpenAI ने अहवालातील तुलनेवर भाष्य केले नाही. डीपसीकने टिप्पणीसाठी केलेल्या विनंत्यांना त्वरित प्रतिसाद दिला नाही.
चाचणी पद्धतीचे आव्हान
हेडलाइन स्कोअरच्या पलीकडे, परिणामांमध्ये एआय सायबर क्षमता कशा मोजल्या जातात याचा धडा आहे. वॅल्सच्या डिझाइन निवडी — लांब 48-तास खिडक्या, अर्धा-अब्ज-टोकन बजेट, आणि स्वत:-अहवाल केलेल्या यशाऐवजी लपविलेल्या मार्करद्वारे पडताळणी — एजंटिक प्रणालींचे योग्य मूल्यमापन करण्यासाठी आवश्यक म्हणून वाढत्या प्रमाणात पाहिले जात आहे. कमी, स्वस्त चाचणी धावांनी डीपसीकची संथ सुरुवात, मास्किंग क्षमता ज्या अधिक संगणनासह उदयास आल्या, त्यापेक्षा कमी धावा केल्या असत्या.
धोरणासाठी त्याचे व्यावहारिक परिणाम आहेत. OpenAI च्या डेब्रेक प्रोग्राम सारख्या प्रवेश निर्बंध मोजलेल्या क्षमतेच्या विरूद्ध कॅलिब्रेट केले जातात आणि जर मूल्यमापन पद्धती पद्धतशीरपणे ओपन मॉडेल्स काय करू शकतात हे अधोरेखित करतात, तर रेलिंग वास्तविकतेच्या मागे पडू शकतात. व्हॅल्सचा सायबरऑफेन्स लीडरबोर्ड, जो फर्म म्हणते की ते अपडेट करणे सुरू ठेवेल, परिणामी एआय सुरक्षा समुदायातील अधिक जवळून पाहिलेल्या स्कोअरबोर्डपैकी एक बनण्याची शक्यता आहे.
आत्तासाठी, डेटामधील संदेश स्पष्ट आहे: प्रतिबंधित प्रोग्राम्सच्या मागे लॅब काय संरक्षण करतात आणि कोणीही काय डाउनलोड करू शकते यामधील अंतर कमी होत आहे जेथे मॉडेलच्या पिढ्यांऐवजी ते महिन्यांत मोजले जाऊ शकते.
