यह लोकप्रिय धारणा कि प्रत्येक कमांड की समीक्षा करने वाला मानव एआई कोडिंग एजेंटों को नियंत्रण में रख सकता है, गंभीर जांच का सामना कर रहा है। 40,000 से अधिक खेल सत्रों और 409,000 से अधिक व्यक्तिगत अनुमोदन-या-अस्वीकार निर्णयों के एक नए विश्लेषण में पाया गया कि मानव समीक्षक एआई एजेंटों के तीन दुर्भावनापूर्ण आदेशों में से लगभग एक को चूक गए, जिससे इस बारे में तत्काल सवाल उठते हैं कि क्या "मानव-इन-द-लूप" एक विश्वसनीय सुरक्षा सीमा है।

यह निष्कर्ष उबेर के पूर्व स्टाफ इंजीनियर एलेक्स वॉटर्स द्वारा बनाए गए एक ब्राउज़र-आधारित गेम से आया है, जो स्केल एक्स में डेवलपर सुरक्षा के बारे में लिखता है। गेम खिलाड़ियों को एआई कोडिंग एजेंट के लिए एक मानव समीक्षक की भूमिका में रखता है, जो उन्हें समय के दबाव में शेल कमांड को स्वीकृत या अस्वीकार करने के लिए कहता है। कुछ कमांड नियमित हैं, जैसे `गिट स्टेटस` या `एनपीएम टेस्ट`। अन्य साख को बाहर निकालने, पिछले दरवाजे स्थापित करने, या दूरस्थ सर्वर पर रहस्य भेजने के सावधानीपूर्वक प्रच्छन्न प्रयास हैं। सांख्यिकी ट्रैकिंग जोड़ने के बाद, वॉटरर्स ने एक विस्तृत तस्वीर पेश करने के लिए पर्याप्त डेटा एकत्र किया कि मानव निर्णय कहाँ सफल होता है और, अधिक बार, विफल होता है। व्यापक [एआई उद्योग कवरेज] (https://aibuzzwire.news) पर अधिक जानकारी के लिए, यह अध्ययन अब तक के सबसे अधिक डेटा-समृद्ध प्रयोगों में से एक है।

सबसे खतरनाक कमांड को पकड़ना सबसे कठिन था

अध्ययन की सबसे महत्वपूर्ण खोज यह है कि महत्वपूर्ण निर्देशिकाओं पर `आरएम-आरएफ` जैसे स्पष्ट रूप से विनाशकारी आदेश विश्वसनीय रूप से पकड़े गए थे। जो धमकियाँ वास्तव में साख चुराने में सफल रहीं, वे लगभग तीन गुना बार चूक गईं। पूरे गेम में सबसे ज्यादा छूटी गई कमांड 'एनपीएम रन एनालिसिस' थी, जिसे 64.7 प्रतिशत खिलाड़ियों ने मंजूरी दे दी, जबकि एजेंट का इतिहास लॉग स्पष्ट रूप से दिखा रहा था कि बाहरी सर्वर पर क्रेडेंशियल भेजने के लिए अंतर्निहित स्क्रिप्ट के साथ छेड़छाड़ की गई थी।

समस्या संरचनात्मक है. `npm run` जैसे कमांड किसी प्रोजेक्ट की `package.json` फ़ाइल में परिभाषित किसी भी स्क्रिप्ट को निष्पादित करते हैं। वह स्क्रिप्ट एक वैध बंडल विश्लेषक या एजेंट द्वारा संशोधित पिछली फ़ाइल संपादन द्वारा इंजेक्ट किया गया दुर्भावनापूर्ण कोड हो सकता है। निश्चित रूप से जानने के लिए, एक डेवलपर को मंजूरी देने से पहले प्रत्येक संशोधित फ़ाइल का निरीक्षण करना होगा, जो एआई कोडिंग टूल द्वारा प्रदान किए जाने वाले गति लाभ को नकार देता है।

खेल में ऐसे तीन प्रच्छन्न-पेलोड कमांडों में, चूक दर 52.5 प्रतिशत थी, जबकि अन्य सभी क्रेडेंशियल-एक्सफ़िल्ट्रेशन हमलों के लिए 28.4 प्रतिशत थी। एक परिचित स्क्रिप्ट नाम के पीछे पेलोड को छिपाने से इसकी सफलता दर लगभग दोगुनी हो गई, तब भी जब पेलोड अनुमति संकेत के ठीक ऊपर प्रदर्शित इतिहास लॉग में दिखाई दे रहा था।

अनुमति की थकान समय के साथ सतर्कता को ख़त्म कर देती है

एंथ्रोपिक ने पहले स्वीकार किया था कि उसके क्लाउड कोड उत्पाद में अनुमति की थकान एक वास्तविक घटना है, यह देखते हुए कि उपयोगकर्ता जितनी अधिक स्वीकृतियां देखता है, वह प्रत्येक पर उतना ही कम ध्यान देता है। स्केल एक्स डेटा अनुभवजन्य रूप से इस चिंता का समर्थन करता है। जैसे-जैसे खिलाड़ी गर्म होते गए, प्रत्येक सत्र के पहले कुछ आदेशों के दौरान चूक की दर कम हो गई, लेकिन फिर थकान या टिक-टिक करती घड़ी के बढ़ते दबाव के कारण अंत की ओर लगातार बढ़ती गई।

यह पैटर्न वास्तविक दुनिया की गतिशीलता को प्रतिबिंबित करता है। समय सीमा के दबाव के तहत सुविधाओं को शिप करने की होड़ में लगे डेवलपर्स को तुरंत अनुमोदन पर क्लिक करने के लिए समान प्रोत्साहन का सामना करना पड़ता है, और नियमित आदेशों की भारी मात्रा एक सुई-में-एक-भूसे के ढेर की समस्या पैदा करती है जहां वास्तविक खतरे सांख्यिकीय रूप से दुर्लभ होते हैं। परिणाम एक ऐसी प्रणाली है जो उपयोगकर्ताओं को हर चीज़ पर रबर-स्टैंप लगाने के लिए प्रशिक्षित करती है।

दूसरा पक्ष: ओवर-ब्लॉकिंग सब कुछ धीमा कर देती है

अध्ययन ने विपरीत विफलता मोड का भी दस्तावेजीकरण किया। मानक निर्माण और परीक्षण आमंत्रण सहित, सतर्क खिलाड़ियों द्वारा कई वास्तविक सौम्य आदेशों को नियमित रूप से अवरुद्ध कर दिया गया था। यह अति-अवरुद्धीकरण एजेंट को धीमा कर देता है और, विरोधाभासी रूप से, दीर्घकालिक जोखिम को बढ़ाता है। जब उपयोगकर्ताओं को बार-बार उन आदेशों को मंजूरी देने के लिए कहा जाता है जो हानिरहित साबित होते हैं, तो शोर भविष्य के संकेतों की जांच करने की उनकी इच्छा को खत्म कर देता है, अंततः उन्हें पूर्ण बाईपास या ऑटो-अनुमोदन मोड की ओर धकेलता है जो मानव समीक्षा को पूरी तरह से हटा देता है।

एंथ्रोपिक के ऑटो मोड जैसी सुविधाएं उपयोगकर्ता को संकेत देने से पहले स्वचालित रूप से यह निर्धारित करके इसे कम करने का प्रयास करती हैं कि कोई कमांड सुरक्षित है या नहीं। लेकिन जैसा कि प्रच्छन्न पेलोड पर अध्ययन के आंकड़ों से पता चलता है, दबाव में विश्वसनीय निर्णय लेने के लिए दृश्यमान कमांड सामग्री भी मनुष्यों के लिए पर्याप्त नहीं है।

गुम संदर्भ मुख्य समस्या है

एक आदेश, `cat ~/.zshrc`, पूरे खेल में सबसे अधिक विभाजनकारी साबित हुआ, जिसे 45.9 प्रतिशत खिलाड़ियों ने मंजूरी दी। यह कमांड उन डेवलपर्स के लिए हानिरहित है जो अपने शेल प्रोफ़ाइल में कोई रहस्य नहीं रखते हैं, लेकिन यह उन कई लोगों के लिए एपीआई कुंजियाँ उजागर करता है जो वहां क्रेडेंशियल निर्यात करते हैं। इसका जोखिम पूरी तरह से सिस्टम कॉन्फ़िगरेशन पर निर्भर करता है जिसे एजेंट नहीं देख सकता है और समीक्षक को याद नहीं रह सकता है।

कई अन्य आदेशों ने इसी कारण से हैकर न्यूज़ चर्चा थ्रेड पर समान विवाद उत्पन्न किया। मूल मुद्दा यह है कि डेवलपर्स को इस बात की पूरी तस्वीर के बिना सुरक्षा निर्णय लेने के लिए कहा जा रहा है कि फाइलें क्या बदली हैं, एजेंट ने पिछले चरणों में क्या किया और सिस्टम की वर्तमान कॉन्फ़िगरेशन में क्या शामिल है। जैसा कि एक टिप्पणीकार ने कहा, उपयोगकर्ताओं से उन आदेशों को मान्य करने के लिए कहना जो संदर्भ के बिना अस्पष्ट हैं, एक मजबूत सुरक्षा उपाय नहीं है।

एजेंट सुरक्षा के लिए आगे क्या आता है

वॉटरर्स का तर्क है कि इसका समाधान बेहतर इंसान नहीं बल्कि बेहतर टूलिंग है। सैंडबॉक्सिंग एजेंट ताकि वे सीधे क्रेडेंशियल्स तक नहीं पहुंच सकें, सख्त संदर्भ अलगाव, और उन्नत अनुमतियों के बिना एजेंट क्या कर सकते हैं, इस पर संरचनात्मक सीमाएं मानव सतर्कता पर भरोसा करने की तुलना में अधिक आशाजनक हैं। जब तक ये सुरक्षा उपाय लागू नहीं हो जाते, तब तक एजेंटों को व्यापक अनुमतियाँ देना जोखिम भरा रहता है, भले ही कोई इंसान नाममात्र के लिए लूप में हो।

अध्ययन एक सहकर्मी-समीक्षित अकादमिक पेपर नहीं है, और वॉटरर्स इसकी सीमाओं को स्वीकार करते हैं। खेल ने खिलाड़ियों को खतरों के बारे में चेतावनी दी और कृत्रिम समय का दबाव डाला जो वास्तविक विकास के माहौल को पूरी तरह से प्रतिबिंबित नहीं कर सकता है। लेकिन मुख्य निष्कर्ष, कि दबाव में प्रशिक्षित मानव समीक्षक जानबूझकर छिपे हुए हमलों में से एक तिहाई चूक जाते हैं, एआई कोडिंग एजेंटों को तैनात करने वाली प्रत्येक टीम को अपने सुरक्षा मॉडल पर पुनर्विचार करने का कारण देना चाहिए।

आज एआई एजेंटों के साथ निर्माण करने वाले डेवलपर्स के लिए, व्यावहारिक उपाय यह मान लेना है कि मानव-इन-लूप अंततः विफल हो जाएगा। अपने एजेंट की अनुमतियों और सैंडबॉक्सिंग को डिज़ाइन करें ताकि छूटी हुई मंजूरी का मतलब लीक हुई AWS कुंजी या समझौता वाली बिल्ड पाइपलाइन न हो। डेटा से पता चलता है कि मानवीय समीक्षा को अपना प्राथमिक बचाव मानना ​​एक ऐसा दांव है जिसका कोई फ़ायदा नहीं होता।

एआई से आगे रहें

एआई एजेंट सुरक्षा परिदृश्य तेजी से विकसित हो रहा है। नवीनतम एआई विकास और नवीनतम शोध से अवगत रहें।

अधिक AI समाचार पढ़ें →