शोधकर्ताओं ने तर्कशील एआई मॉडल के खिलाफ एक शक्तिशाली नए हमले का प्रदर्शन किया है जो बड़े भाषा मॉडल (एलएलएम) डेटा से निर्देशों को अलग करने के तरीके में एक मौलिक अंधे स्थान का फायदा उठाता है। चेन-ऑफ-थॉट (सीओटी) फोर्जरी नामक तकनीक, एक मॉडल को हमलावर द्वारा प्रदत्त पाठ को ऐसे व्यवहार करने के लिए प्रेरित करती है जैसे कि यह मॉडल का अपना निजी आंतरिक तर्क हो, जिससे पाठ वैध निर्देशों को ओवरराइड कर सके।
हैकाडे द्वारा रिपोर्ट किए गए निष्कर्ष इस बात को रेखांकित करते हैं कि हेरफेर के खिलाफ एआई सिस्टम को सुरक्षित करना एक अनसुलझी समस्या क्यों बनी हुई है। क्षेत्र में उभरते खतरों से निपटने के लिए, चल रहे विश्लेषण के लिए हमारे [एआई उद्योग कवरेज] (https://aibuzzwire.news) का अनुसरण करें।
मूल कारण: भूमिका संबंधी भ्रम
भेद्यता के मूल में वह है जिसे शोधकर्ता "भूमिका भ्रम" के रूप में वर्णित करते हैं। आधुनिक एलएलएम अपने सभी इनपुट-सिस्टम नियम, उपयोगकर्ता अनुरोध और मॉडल की अपनी श्रृंखला-विचार-तर्क-एक ही पाठ चैनल के माध्यम से प्राप्त करते हैं। ऑर्डर थोपने के लिए, डेवलपर्स विश्वास का पदानुक्रम बनाने के लिए `
`<थिंक>` टैग विशेष रूप से शक्तिशाली है क्योंकि यह मॉडल की आंतरिक तर्क प्रक्रिया का प्रतिनिधित्व करता है, एक धारा जो उच्च विश्वास रखती है। शोधकर्ताओं ने पाया कि समस्या यह है कि मॉडल किस पर भरोसा करना है यह तय करने के लिए मुख्य रूप से टैग पर निर्भर नहीं होते हैं। वे लेखन शैली को प्राथमिकता देते हैं। मॉडल के आंतरिक `<थिंक>` आउटपुट से मिलता-जुलता शैलीगत रूप से तैयार किया गया पाठ वास्तविक तर्क के लिए गलत हो सकता है, भले ही वह वास्तव में कहां से आया हो।
हमला कैसे काम करता है
महत्वपूर्ण रूप से, सीओटी जालसाजी केवल `<थिंक>` टैग के अंदर एक दुर्भावनापूर्ण संकेत लपेटने का मामला नहीं है, जिसे अधिकांश मॉडल अस्वीकार कर देंगे। इसके बजाय, हमलावर एक ऐसी शैली में जटिल तर्क लिखता है जो मॉडल की अपनी विशिष्ट आंतरिक तर्क आवाज से निकटता से मेल खाता है। जब मॉडल इस पाठ का सामना करता है, तो वह नकली तर्क को पहले से ही पहुंच चुके निष्कर्ष के रूप में मानता है।
हैकाडे के अनुसार, इसके कारण एलएलएम पारदर्शी रूप से अतार्किक तर्क को पूर्व निष्कर्ष के रूप में स्वीकार कर लेता है, जिससे उपयोगकर्ता के अनुरोध पर उसकी प्रतिक्रिया बदल जाती है। क्योंकि नकली सामग्री को कम-भरोसेमंद उपयोगकर्ता इनपुट के बजाय उच्च-भरोसेमंद आंतरिक विचार के रूप में माना जाता है, यह सुरक्षा रेलिंग को बायपास कर सकता है जो आम तौर पर हेरफेर निर्देशों को अवरुद्ध कर देगा।
एलएलएम के अंदर विश्वास का पदानुक्रम
यह समझने के लिए कि हमला क्यों सफल होता है, यह समझने की आवश्यकता है कि भूमिकाएँ कैसे काम करती हैं। हुड के तहत, भूमिकाएँ मॉडल के इनपुट को एक संगठित पदानुक्रम में विभाजित करती हैं। किसी भूमिका में निर्देशों का तब तक पालन किया जाता है जब तक कि वे उच्च-प्राथमिकता वाले लोगों के साथ टकराव न करें। उदाहरण के लिए, "अवैध गतिविधियों पर चर्चा न करें" का एक सिस्टम-स्तरीय निर्देश, एक निषिद्ध नुस्खा प्रदान करने के लिए उपयोगकर्ता के अनुरोध को ओवरराइड करने के लिए है। `<थिंक>` भूमिका उस पदानुक्रम के शीर्ष के करीब बैठती है क्योंकि यह उन निष्कर्षों का प्रतिनिधित्व करती है जो मॉडल का मानना है कि वह पहले ही अपने दम पर पहुंच चुका है।
ब्रेकडाउन इसलिए होता है क्योंकि मॉडल उस पदानुक्रम को यांत्रिक रूप से लागू नहीं करता है। इसके बजाय, यह आंशिक रूप से शैलीगत संकेतों से अनुमान लगाता है कि कौन सा पाठ किस भूमिका से संबंधित है। जैसा कि शोध की सामुदायिक चर्चा में उल्लेख किया गया है, यदि पाठ को एक सोच संदर्भ की तरह तैयार किया गया है, तो मॉडल वास्तविक तर्क के लिए समान संरचना वाले किसी भी पाठ को गलती कर सकता है - और सोच पाठ सामान्य उपयोगकर्ता पाठ की तुलना में उच्च प्राथमिकता रखता है।
एक नए मोड़ के साथ एक परिचित पैटर्न
अनुसंधान एआई सिस्टम में लंबे समय से मान्यता प्राप्त कमजोरी पर आधारित है: शीघ्र इंजेक्शन। शुरुआती हमलों ने इस तथ्य का फायदा उठाया कि एलएलएम में निर्देशों और डेटा के लिए कोई अलग स्ट्रीम नहीं है, इसलिए "पिछले सभी निर्देशों को अनदेखा करें" जैसा वाक्यांश कभी-कभी किसी मॉडल के व्यवहार को हाईजैक कर सकता है। भूमिकाओं और मेटाडेटा टैग की शुरूआत का उद्देश्य एक विश्वास पदानुक्रम बनाकर इसे कम करना था।
सीओटी जालसाजी दर्शाता है कि शमन अधूरा है। जब तक मॉडल पाठ की विश्वसनीयता को उसके संरचनात्मक मेटाडेटा के बजाय आंशिक रूप से उसकी शैलीगत विशेषताओं के आधार पर आंकते हैं, हमलावर जो सही शैली की नकल कर सकते हैं, वे अपने इनपुट के कथित अधिकार को बढ़ा सकते हैं।
इसे ठीक करना कठिन क्यों है
शोधकर्ता, चार्ल्स ये, जैस्मीन कुई और डायलन हैडफील्ड-मेनल का तर्क है कि एलएलएम में भूमिका धारणा एक द्विआधारी संपत्ति नहीं है जिसे सफाई से लागू किया जा सकता है। मॉडल हार्ड-कोडित नियमों के बजाय प्रशिक्षण के माध्यम से टैग की व्याख्या करना सीखते हैं, जिसका अर्थ है कि उनका व्यवहार डेटा में पैटर्न द्वारा आकार दिया जाता है - और पैटर्न की नकल की जा सकती है।
हैकाडे द्वारा हाइलाइट किए गए कार्य की सामुदायिक चर्चा में एक आवर्ती विषय सामने आया: सबसे साफ समाधान के लिए मॉडलों को सीखे गए, शैली-आधारित संकेतों पर भरोसा करने के बजाय संरचनात्मक रूप से अलग-अलग मार्गों के माध्यम से विश्वसनीय इनपुट को संभालने की आवश्यकता होगी। जब तक ऐसा नहीं होता, त्वरित इंजेक्शन-शैली के हमलों से बचाव संभवतः एक हल की गई समस्या के बजाय एक विकसित प्रक्रिया बनी रहेगी।
व्यापक निहितार्थ
प्रयोगशाला प्रदर्शनों से परे भेद्यता मायने रखती है। रीज़निंग मॉडल तेजी से एजेंटिक सिस्टम में तैनात किए जा रहे हैं जो वेब ब्राउज़ कर सकते हैं, कोड निष्पादित कर सकते हैं और उपयोगकर्ता की ओर से कार्रवाई कर सकते हैं। यदि कोई हमलावर किसी मॉडल के आंतरिक निष्कर्ष निकाल सकता है, तो वे उन कार्यों को अनपेक्षित या हानिकारक परिणामों की ओर ले जाने में सक्षम हो सकते हैं। जैसे-जैसे मॉडल अधिक स्वायत्तता और उपकरणों तक पहुंच प्राप्त करते हैं, जोखिम बढ़ता जाता है। शोधकर्ताओं का कहना है कि मनुष्य चतुर और रचनात्मक रहते हैं, और जब तक मॉडलों में विश्वसनीय और अविश्वसनीय पाठ के बीच स्पष्ट वास्तुशिल्प अलगाव का अभाव है, तब तक दृढ़ हमलावर लाइन को धुंधला करने के तरीके ढूंढते रहेंगे। पेपर में चुनौती को पैच किए जाने वाले बग के रूप में कम और सिस्टम की संरचनात्मक संपत्ति के रूप में अधिक बताया गया है जो हार्ड-कोडित नियमों के बजाय डेटा से अपना व्यवहार सीखते हैं।
पूरा पेपर arXiv पर उपलब्ध है, और शोधकर्ताओं ने GitHub पर कोड उदाहरण प्रकाशित किए हैं ताकि डेवलपर्स परीक्षण कर सकें कि क्या उनके अपने सिस्टम अतिसंवेदनशील हैं।
एआई से आगे रहें
एआई सुरक्षा अनुसंधान, सुरक्षा कमजोरियों और बड़े भाषा मॉडल की सीमाओं के बारे में अधिक जानकारी के लिए, [एआई बज़ वायर] (https://aibuzzwire.news) पर जाएं।
अधिक AI समाचार पढ़ें →
