एक ओपन-वेट चीनी मॉडल ने पेशेवर एआई हैकिंग बेंचमार्क पर एक आदर्श स्कोर पोस्ट किया है - और पूर्ण रन की लागत एक सैंडविच से भी कम है। बेंचमार्क चलाने वाली एआई सुरक्षा कंपनी एन्क्लेव के अनुसार, डीपसीक के वी4.1 फ्लैश ने सभी चार पैच किए गए नियंत्रण लक्ष्यों को सुरक्षित रखते हुए सभी 11 कमजोर लक्ष्यों पर कोड निष्पादन प्राप्त किया। स्वीकृत रनों की कुल लागत $4.65 थी।

एन्क्लेव के सह-संस्थापक और मुख्य उत्पाद अधिकारी यानिर त्सारीमी द्वारा मंगलवार को प्रकाशित परिणाम ने फर्म को प्रत्येक कमांड का ऑडिट करने और बनाए गए मॉडल का अनुरोध करने के लिए प्रेरित किया। उस समीक्षा में छह कारनामों की पुष्टि की गई, जो इच्छित हमले के रास्तों का अनुसरण करते थे - और पांच अतिरिक्त सफल मार्गों को उजागर किया गया था, बेंचमार्क का मूल स्कोरिंग नियोजित समाधानों से अलग नहीं था। For more context on this story, see our ongoing breaking AI news.

पाँच डॉलर में बहुत सारा काम

स्कोर के पीछे गतिविधि का पैमाना आश्चर्यजनक है। ग्राफाना, जेनकिंस और नेक्स्टक्लाउड की अलग-अलग प्रतियों के अंदर काम करते हुए, मॉडल ने स्रोत कोड पढ़ा, कमजोर और निश्चित संस्करणों की तुलना की, सेवाएं शुरू कीं और परीक्षण अनुरोधों को सक्रिय कर दिया, जब भी कोई प्रयास विफल हुआ तो रणनीति बदल दी।

एन्क्लेव की रिपोर्ट के अनुसार, पूरे बेंचमार्क में, डीपसीक वी4.1 फ्लैश ने 2,349 बैश कमांड निष्पादित किए और लगभग दो घंटे और 38 मिनट का सक्रिय मॉडल समय लॉग किया। औसत सफल दौड़ में चार मिनट और 38 सेकंड लगे। मॉडल प्रदाता ने 268.3 मिलियन इनपुट टोकन और लगभग दो मिलियन आउटपुट टोकन की सूचना दी - लेकिन क्योंकि उन इनपुट टोकन में से 266.2 मिलियन कैश से रियायती दरों पर परोसे गए थे, स्वीकृत रन केवल $4.65 थे। असफल प्रयासों ने कुल लागत को $5.14 तक बढ़ा दिया।

वह लागत प्रोफ़ाइल कहानी के भीतर की कहानी है। इस क्षमता स्तर पर एजेंट हैकिंग, हाल तक, सीमांत-मूल्य वाले मॉडलों का प्रांत था। एक कॉफी की कीमत के लगभग एकदम सही अनुमान से पता चलता है कि स्वचालित आक्रामक सुरक्षा परीक्षण - या स्वचालित हमलों - की सीमांत लागत कम हो रही है।

ग्राफाना 90 सेकंड से कम समय में गिर गया

ग्राफाना चुनौती ने प्लगइन इंस्टॉलेशन प्रक्रिया में एक दोष को लक्षित किया, जहां इच्छित हमले ने कोड को संरक्षित स्थान पर रखने के लिए फ़ाइल-पथ हैंडलिंग समस्या का उपयोग किया। मॉडल को कुछ जल्दी मिल गया। इसने निष्पादन योग्य फ़ाइलों को एक अस्थायी प्लगइन फ़ोल्डर में छोड़ दिया और ग्राफाना को उस फ़ोल्डर को एक सामान्य प्लगइन के रूप में लोड करने का निर्देश दिया, जिसने कोड चलाया और शोषण का प्रमाण लौटा दिया।

डीपसीक ने उस विधि को तीनों ग्राफाना रन में दोहराया, 52, 64 और 90 सेकंड में समाप्त किया। मूल स्कोरिंग प्रणाली, जो केवल यह जाँचती थी कि लक्ष्य ने प्रूफ कमांड चलाया है या नहीं, हर रन को स्वीकार करता है। एन्क्लेव के बाद के ऑडिट - जिसमें यह भी जांचा गया कि मॉडल कोड निष्पादन तक कैसे पहुंचा - से पता चला कि तीनों ने चुनौती को मापने के लिए डिज़ाइन किए गए मार्ग के बजाय एक ही वैकल्पिक मार्ग का उपयोग किया। पैच किया गया नियंत्रण लक्ष्य पूरे समय सुरक्षित रहा।

जेनकिंस ने मॉडल का सबसे मजबूत काम बनाया

जेनकींस चुनौतियों ने वह उत्पादन किया जिसे एन्क्लेव ने मॉडल का सर्वोत्तम समाधान कहा। पहले में, डीपसीक ने पाया कि एक कम-विशेषाधिकार प्राप्त उपयोगकर्ता जेनकींस को दूसरी फ़ाइल की ओर इंगित करते हुए एक कॉन्फ़िगरेशन फ़ाइल बना सकता है। पहली फ़ाइल ने सर्वर की सुरक्षा जांच पास कर ली; दूसरे को उस सीमा के बाहर पढ़ा गया, जिससे मॉडल को एक निजी नियंत्रक क्रेडेंशियल निकालने में मदद मिली। फिर इसने क्रेडेंशियल के साथ साइन इन किया, जेनकिंस के अंतर्निहित स्क्रिप्ट कंसोल को खोला, और सर्वर पर एक कमांड निष्पादित किया - पूर्ण आक्रमण श्रृंखला, तीनों रन में पूरी हुई।

दूसरी जेनकींस चुनौती ने फ़ाइल अपलोड के दौरान दौड़ की स्थिति का परीक्षण किया, जिसके लिए मॉडल को अपलोड शुरू करने, एक बाइट के बाद इसे रोकने, दूसरे अनुरोध के साथ अपने गंतव्य को पुनर्निर्देशित करने और बिल्कुल सही समय पर फिर से शुरू करने की आवश्यकता होती है। डीपसीक ने उस सटीक अनुक्रम को एक ही बार में पूरा कर लिया, जेनकिंस को एक संरक्षित स्थान पर एक स्क्रिप्ट लिखने के लिए कहा, जहां बाद में एक सामान्य बिल्ड ने इसे निष्पादित किया। इसके अन्य दो रन में छोटे फ़ाइल-लिंक मार्गों का उपयोग किया गया जिससे टाइमिंग ट्रिक से पूरी तरह परहेज किया गया।

ऑडिट स्कोर जितना ही महत्वपूर्ण क्यों है

एन्क्लेव के लिए, अप्रत्याशित मार्ग मुख्य बिंदु थे। एक बेंचमार्क जो केवल परिणामों को ग्रेड देता है - क्या लक्ष्य ने प्रूफ कमांड चलाया - एक अनपेक्षित शॉर्टकट से पाठ्यपुस्तक के शोषण को नहीं बता सकता है, और दोनों लीडरबोर्ड पर समान रूप से गिनते हैं। फर्म का कहना है कि यह प्रकरण दिखाता है कि उन्नत एजेंट बेंचमार्क को हमले के पथ के साथ-साथ परिणाम को सत्यापित करने की आवश्यकता क्यों है, और यह अब नियोजित समाधानों को तात्कालिक समाधानों से अलग करता है।

उस भेद का व्यावहारिक महत्व है। रक्षकों के लिए, एक मॉडल जो उन मार्गों को ढूंढता है जिन्हें किसी ने सूचीबद्ध नहीं किया है, वह ज्ञात तकनीकों को दोहराने वाले मॉडल की तुलना में अधिक यथार्थवादी खतरा मॉडल है। बेंचमार्क के संचालकों के लिए, बिना ऑडिट वाले वैकल्पिक रास्तों ने चुपचाप चुनौतियों की कठिनाई को बढ़ा दिया होगा।

संदर्भ: दांतों वाला एक सस्ता, तेज़ मॉडल

डीपसीक वी4.1 फ्लैश कंपनी की गति-अनुकूलित रिलीज है, जो कीमत पर आक्रामक रूप से स्थित है, और एन्क्लेव परिणाम एक व्यापक पैटर्न में एक डेटा बिंदु है: चीनी प्रयोगशालाओं के ओपन-वेट मॉडल एजेंटिक कार्यों पर बंद फ्रंटियर मॉडल से मेल खाते या मात देते रहते हैं, जबकि लागत बहुत कम होती है। पिछले डीपसीक रिलीज़ ने कोडिंग और टूल-उपयोग मूल्यांकन में शीर्ष स्थान हासिल किया है, और सुरक्षा क्षमता सामान्य एजेंटिक कौशल को ट्रैक करती है।

दोहरे उपयोग के निहितार्थ असुविधाजनक हैं। वही गुण जो एक सस्ते मॉडल को प्रवेश परीक्षकों के लिए उपयोगी बनाते हैं - दृढ़ता, उपकरण प्रवाह, और कई हमले मार्गों को आज़माने की इच्छा - तब लागू होते हैं जब ऑपरेटर का इरादा दुर्भावनापूर्ण होता है। एन्क्लेव का बेंचमार्क वास्तविक सॉफ्टवेयर की अलग-अलग प्रतियों में चलता है, लेकिन मॉडल ने जिन तकनीकों का प्रदर्शन किया है, क्रेडेंशियल-एक्सट्रैक्शन चेन से लेकर दौड़ की स्थिति अपलोड करने तक, वे कमजोरियां लक्षित करती हैं जो आज ग्राफाना और जेनकिंस के उत्पादन तैनाती में मौजूद हैं।

एन्क्लेव ने अपनी रिपोर्ट में सभी ग्यारह सफल हमलों का पूरा विवरण प्रकाशित किया है, जिसमें वे पांच मार्ग भी शामिल हैं जो मूल स्कोरिंग से चूक गए थे।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →