एप्लिकेशन-सुरक्षा फर्म सेमग्रेप के एक नए बेंचमार्क ने एक अप्रत्याशित परिणाम दिया है: चीन के जिपु एआई के एक ओपन-वेट मॉडल ने सॉफ्टवेयर में वास्तविक सुरक्षा खामियों को खोजने में एंथ्रोपिक के क्लाउड से बेहतर प्रदर्शन किया। यह खोज इस बहस को हवा देती है कि क्या सबसे सक्षम एआई आवश्यक रूप से सबसे महंगा है या सबसे प्रतिबंधित है।

एंथ्रोपिक के शक्तिशाली माइथोस मॉडल के अमेरिकी निर्यात प्रतिबंध के कारण, एक सुलभ विकल्प की तलाश में सुरक्षा टीमें नवीनतम एआई उद्योग कवरेज के लिए [जीएलएम 5.2] (https://aibuzzwire.news) जैसे ओपन-वेट विकल्पों की ओर रुख कर रही हैं। 22 जून को प्रकाशित सेमग्रेप के परीक्षण से पता चलता है कि शिकार को उम्मीद से जल्दी लाभ मिल सकता है।

सेमग्रेप ने क्या परीक्षण किया

सेमग्रेप ने अपने आंतरिक आईडीओआर-डिटेक्शन बेंचमार्क पर ओपन-वेट और फ्रंटियर मॉडल की एक लाइनअप का मूल्यांकन किया। आईडीओआर - असुरक्षित प्रत्यक्ष ऑब्जेक्ट संदर्भ - एक्सेस-कंट्रोल बग हैं जो एक उपयोगकर्ता को दूसरे उपयोगकर्ता के डेटा तक पहुंचने देते हैं। पारंपरिक स्थैतिक विश्लेषण के साथ उन्हें पकड़ना बेहद कठिन है क्योंकि दोष वाक्यविन्यास के बजाय तार्किक है: कोड तकनीकी रूप से मान्य है, इसमें केवल प्राधिकरण जांच का अभाव है।

कंपनी अपने नियम-आधारित इंजन को एआई रीजनिंग के साथ जोड़कर इन कमजोरियों का पता लगाने के लिए वर्कफ़्लो को परिष्कृत कर रही है। यह पता लगाने के लिए कि मॉडल बनाम इसके चारों ओर मचान से कितना प्रदर्शन आता है, शोधकर्ताओं ने न्यूनतम हार्नेस के माध्यम से लोकप्रिय ओपन-वेट मॉडल का एक सेट चलाया - प्रत्येक मॉडल को दिए गए समान आईडीओआर प्रॉम्प्ट का उपयोग करके एक सरल पाइडेंटिक सेटअप, जिसमें कोई समापन बिंदु खोज और कोई निर्देशित नेविगेशन नहीं था। प्रॉम्प्ट ने केवल एक बुनियादी खोज रणनीति और आईडीओआर कैसा दिखता है, इस पर कुछ संकेत दिए - "यहां कोड है, बग ढूंढें" से थोड़ा अधिक, लेकिन सेमग्रेप की पूरी पाइपलाइन के अंदर चलने पर फ्रंटियर कोडिंग एजेंटों को जो प्राप्त होता है, उससे बहुत कम।

आईडीओआर एप्लिकेशन सुरक्षा टीमों के लिए लगातार सिरदर्द बने हुए हैं क्योंकि वे पारंपरिक स्कैनर की दरारों में फंस जाते हैं। एक नियम-आधारित उपकरण एक लापता इनपुट जांच को चिह्नित कर सकता है, लेकिन यह समझने के लिए कि क्या एक विशिष्ट समापन बिंदु वास्तव में किसी अन्य उपयोगकर्ता के डेटा को उजागर करता है, एप्लिकेशन के व्यावसायिक तर्क के बारे में तर्क की आवश्यकता होती है - बिल्कुल उसी तरह का प्रासंगिक निर्णय जिसमें बड़े भाषा मॉडल तेजी से अच्छे हो रहे हैं।

जीएलएम 5.2 अग्रणी है

सबसे खास था GLM 5.2, झिपु एआई का ओपन-वेट मॉडल। केवल एक साधारण संकेत के अलावा, इसने आईडीओआर डिटेक्शन पर 39% एफ1 स्कोर किया - क्लाउड कोड के 32% को पूरे सात अंकों से पीछे छोड़ दिया। सेमग्रेप के अनुसार, ओपन-वेट मॉडल ने कार्य में क्लाउड ओपस 4.8 को भी पीछे छोड़ दिया, जिससे यह परीक्षण किया गया सबसे मजबूत गैर-सीमांत विकल्प बन गया।

अर्थशास्त्र भी उतना ही प्रभावशाली था। जीएलएम 5.2 की कीमत पर, प्रति भेद्यता मिलने पर रन की लागत लगभग $0.17 थी। उन संगठनों के लिए जो हजारों समापन बिंदुओं को स्कैन कर सकते हैं, सेमग्रेप ने कहा कि प्रति-बग लागत अक्सर यह निर्णायक कारक होती है कि कोई पहचान तकनीक बड़े पैमाने पर व्यावहारिक है या नहीं।

अन्य ओपन-वेट दावेदार और भी पीछे रह गए। मिनीमैक्स एम3 ने 23% एफ1 स्कोर किया और किमी के2.7 कोड ने 22% स्कोर हासिल किया, दोनों ही क्लाउड कोड से काफी नीचे हैं। सेमग्रेप ने ओपन-वेट वर्ग के लिए प्रतिनिधि परिणाम के बजाय जीएलएम 5.2 को स्पष्ट अपवाद के रूप में चित्रित किया।

हार्नेस अभी भी मायने रखता है

रॉ-प्रॉम्प्ट श्रेणी में ओपन-वेट जीत के बावजूद, सेमग्रेप की स्वयं की उद्देश्य-निर्मित पाइपलाइन समग्र नेता बनी रही। कंपनी का मल्टीमॉडल सेटअप - जो एआई तर्क को नियम-आधारित पहचान और संरचित समापन बिंदु गणना के साथ जोड़ता है - कॉन्फ़िगरेशन के आधार पर 53% से 61% एफ1 हासिल किया गया। यह अंतर शोधकर्ताओं के मूल प्रश्न को रेखांकित करता है: मॉडल में भेद्यता का पता लगाने का प्रदर्शन कितना है, और इसके चारों ओर वास्तुकला कितनी है?

उत्तर प्रतीत होता है "दोनों, लेकिन जितना लोग सोचते हैं उससे कहीं अधिक हार्नेस है।" जीएलएम 5.2 ने साबित कर दिया कि एक सक्षम मॉडल न्यूनतम समर्थन के साथ सार्थक काम कर सकता है, फिर भी यह समस्या के लिए विशेष रूप से इंजीनियर किए गए सिस्टम से मेल नहीं खा सका।

सेमग्रेप टीम - जिसमें शोधकर्ता पैक्सटन-फियर, सेठ जाकसिक, ब्रेंडन नोब्लिट और एरिक बुकानन शामिल थे - ने कहा कि वे "वास्तव में हैरान" थे कि एक नंगे प्रॉम्प्ट पर चलने वाला एक ओपन-वेट मॉडल एक तर्क-भारी सुरक्षा कार्य पर एक फ्रंटियर कोडिंग एजेंट से आगे निकल गया।

घर पर मिथोस

वर्तमान भू-राजनीतिक पृष्ठभूमि के मुकाबले बेंचमार्क में अतिरिक्त महत्व है। ब्लॉग पोस्ट का शीर्षक - "वी हैव माइथोस एट होम" - इस तथ्य का एक स्पष्ट संदर्भ है कि एंथ्रोपिक का साइबर सुरक्षा-केंद्रित माइथोस मॉडल दुनिया के अधिकांश हिस्सों में प्रभावी रूप से अनुपलब्ध है। ट्रम्प प्रशासन द्वारा गैर-अमेरिकी नागरिकों को मिथोस और उसके प्रतिबंधित भाई फैबल 5 का उपयोग करने से प्रतिबंधित करने के बाद, वैश्विक सुरक्षा टीमों ने आक्रामक और रक्षात्मक सुरक्षा कार्यों के लिए व्यापक रूप से सबसे सक्षम एआई मानी जाने वाली एआई तक पहुंच खो दी।

उस शून्य में, सुलभ ओपन-वेट मॉडल इस अंतर को भर रहे हैं। तथ्य यह है कि जीएलएम 5.2 - स्वतंत्र रूप से डाउनलोड करने योग्य और कहीं भी तैनात करने योग्य - पहले से ही विशिष्ट सुरक्षा कार्यों पर फ्रंटियर मालिकाना मॉडल से मेल खा सकता है या हरा सकता है, यह बताता है कि निर्यात प्रतिबंध का ठंडा प्रभाव अपेक्षा से कम हो सकता है। यदि सर्वोत्तम "अप्रतिबंधित" मॉडल में सुधार जारी रहता है, तो सीमांत क्षमताओं को जमा करने का रणनीतिक मूल्य कम हो जाता है।

अभी के लिए, परिणाम संकीर्ण है: भेद्यता के एक ही वर्ग पर एक एकल बेंचमार्क। लेकिन यह एक संकेत है कि ओपन-वेट फ्रंटियर कई अनुमानों की तुलना में तेजी से बंद हो रहा है, और पहुंच - कच्ची क्षमता नहीं - एआई सुरक्षा परिदृश्य में परिभाषित चर बन सकती है।

यह खोज सीमांत प्रयोगशालाओं के लिए भी असहज प्रश्न उठाती है। यदि एक स्वतंत्र रूप से उपलब्ध मॉडल पहले से ही सुरक्षा तर्क कार्यों पर मालिकाना प्रणालियों से मेल खा सकता है, तो बंद मॉडलों के आसपास प्रतिस्पर्धी खाई कम हो जाती है - खासकर जब निर्यात नियंत्रण उन बंद मॉडलों को वैश्विक बाजार के कई हिस्सों के लिए दुर्गम बना देता है। ओपन-वेट डेवलपर्स, उपयोग प्रतिबंधों से मुक्त, एक साथ हर जगह पुनरावृत्त और तैनात कर सकते हैं।

एआई से आगे रहें

फ्रंटियर और ओपन-वेट एआई के बीच का अंतर [ब्रेकिंग एआई न्यूज] (https://aibuzzwire.news) और सुरक्षा, बुनियादी ढांचे और नीति को नया आकार देने वाले अनुसंधान पर कम हो रहा है।

अधिक AI समाचार पढ़ें →