محققین نے استدلال AI ماڈلز کے خلاف ایک طاقتور نئے حملے کا مظاہرہ کیا ہے جو اس بنیادی اندھے مقام کا استحصال کرتا ہے کہ بڑے لینگویج ماڈلز (LLMs) کس طرح ڈیٹا سے ہدایات کو الگ کرتے ہیں۔ چین آف تھوٹ (CoT) جعل سازی کہلانے والی تکنیک، حملہ آور کی طرف سے فراہم کردہ متن کا علاج کرنے کے لیے ایک ماڈل کو چال کرتی ہے گویا یہ ماڈل کی اپنی ذاتی داخلی استدلال ہے، جس سے متن کو جائز ہدایات کو اوور رائیڈ کرنے کی اجازت ملتی ہے۔
ہیکاڈے کے ذریعہ رپورٹ کردہ نتائج اس بات کی نشاندہی کرتے ہیں کہ ہیرا پھیری کے خلاف اے آئی سسٹم کو محفوظ بنانا ایک حل طلب مسئلہ کیوں ہے۔ میدان میں ابھرتے ہوئے خطرات سے باخبر رہنے کے لیے، جاری تجزیہ کے لیے ہماری AI انڈسٹری کوریج پر عمل کریں۔
بنیادی وجہ: کردار کی الجھن
خطرے کے مرکز میں وہی ہے جسے محققین "کردار کی الجھن" کے طور پر بیان کرتے ہیں۔ جدید LLMs اپنے تمام ان پٹ—سسٹم کے قواعد، صارف کی درخواستیں، اور ماڈل کی اپنی سوچ کے مطابق استدلال—ایک ہی ٹیکسٹ چینل کے ذریعے وصول کرتے ہیں۔ آرڈر مسلط کرنے کے لیے، ڈویلپرز میٹا ڈیٹا ٹیگز جیسے `
`
حملہ کیسے کام کرتا ہے۔
اہم بات یہ ہے کہ CoT جعل سازی صرف `
Hackaday کے مطابق، اس کی وجہ سے LLM شفاف طور پر غیر منطقی استدلال کو پہلے سے طے شدہ نتیجہ کے طور پر قبول کرتا ہے، اور صارف کی درخواست پر اپنے ردعمل کو تبدیل کرتا ہے۔ چونکہ جعلی مواد کو کم اعتماد والے صارف کے ان پٹ کے بجائے اعلیٰ بھروسہ والی اندرونی سوچ کے طور پر سمجھا جاتا ہے، اس لیے یہ حفاظتی محافظوں کو نظرانداز کر سکتا ہے جو عام طور پر ہیرا پھیری سے متعلق ہدایات کو روکتا ہے۔
LLM کے اندر اعتماد کا درجہ بندی
یہ سمجھنے کے لیے کہ حملہ کیوں کامیاب ہوتا ہے یہ سمجھنے کی ضرورت ہے کہ کردار کیسے کام کرتے ہیں۔ ہڈ کے نیچے، رول ماڈل کے ان پٹ کو ایک منظم درجہ بندی میں تقسیم کرتے ہیں۔ کسی کردار میں ہدایات کی پیروی اس وقت تک کی جاتی ہے جب تک کہ وہ اعلیٰ ترجیحات سے متصادم نہ ہوں۔ مثال کے طور پر "غیر قانونی سرگرمیوں پر بحث نہ کریں" کے نظام کی سطح کی ہدایت کا مقصد ممنوعہ نسخہ فراہم کرنے کی صارف کی درخواست کو اوور رائیڈ کرنا ہے۔ `
خرابی اس لیے ہوتی ہے کیونکہ ماڈل میکانکی طور پر اس درجہ بندی کو نافذ نہیں کرتا ہے۔ اس کے بجائے، یہ اندازہ لگاتا ہے کہ کس متن کا تعلق جزوی طور پر اسٹائلسٹک اشاروں سے ہے۔ جیسا کہ تحقیق کی کمیونٹی ڈسکشن نے نوٹ کیا، اگر متن کو سوچنے کے سیاق و سباق کی طرح بنایا گیا ہے، تو ماڈل کسی بھی متن کو حقیقی استدلال کے لیے ایک جیسی ساخت کے ساتھ غلطی کر سکتا ہے — اور سوچنے والا متن عام صارف کے متن سے زیادہ ترجیح رکھتا ہے۔
ایک نئے موڑ کے ساتھ ایک مانوس نمونہ
تحقیق اے آئی سسٹمز میں ایک طویل عرصے سے تسلیم شدہ کمزوری پر مبنی ہے: فوری انجیکشن۔ ابتدائی حملوں نے اس حقیقت کا فائدہ اٹھایا کہ LLMs میں ہدایات اور ڈیٹا کے لیے کوئی الگ سلسلہ نہیں ہے، اس لیے "پچھلی تمام ہدایات کو نظر انداز کریں" جیسا جملہ بعض اوقات ماڈل کے رویے کو ہائی جیک کر سکتا ہے۔ کرداروں اور میٹا ڈیٹا ٹیگز کے تعارف کا مقصد اعتماد کا درجہ بندی بنا کر اس کو کم کرنا تھا۔
CoT جعل سازی ظاہر کرتی ہے کہ تخفیف نامکمل ہے۔ جب تک کہ ماڈل متن کی بھروسے کو جزوی طور پر اس کے ساختی میٹا ڈیٹا سے سختی سے بجائے اس کے اسٹائلسٹک خصوصیات سے جانچتے ہیں، حملہ آور جو صحیح انداز کی نقل کر سکتے ہیں وہ اپنے ان پٹ کی سمجھی ہوئی اتھارٹی کو بڑھا سکتے ہیں۔
اسے ٹھیک کرنا کیوں مشکل ہے۔
محققین، Charles Ye، Jasmine Cui، اور Dylan Hadfield-Menll، دلیل دیتے ہیں کہ LLMs میں کردار کا تصور کوئی بائنری پراپرٹی نہیں ہے جسے صاف طور پر نافذ کیا جا سکتا ہے۔ ماڈلز ٹیگز کی ترجمانی کرنا سیکھتے ہیں نہ کہ سخت کوڈ والے اصولوں کے ذریعے تربیت کے ذریعے، جس کا مطلب ہے کہ ان کے رویے کو ڈیٹا میں پیٹرن کی شکل دی جاتی ہے — اور پیٹرن کی نقل کی جا سکتی ہے۔
کام کے بارے میں کمیونٹی ڈسکشن، جس کو Hackaday کے ذریعے اجاگر کیا گیا، ایک بار بار چلنے والی تھیم کو منظر عام پر لایا: سب سے صاف ستھرا حل کے لیے ماڈلز کو سیکھے ہوئے، طرز پر مبنی اشاروں پر انحصار کرنے کے بجائے ساختی طور پر الگ الگ راستوں کے ذریعے قابل اعتماد ان پٹ کو سنبھالنے کی ضرورت ہوگی۔ جب تک ایسا نہیں ہوتا، فوری طور پر انجیکشن طرز کے حملوں کے خلاف دفاع ممکنہ طور پر حل شدہ مسئلہ کے بجائے ایک ارتقائی عمل رہے گا۔
وسیع تر مضمرات
کمزوری لیبارٹری کے مظاہروں سے بالاتر ہے۔ استدلال کے ماڈلز تیزی سے ایجنٹی نظاموں میں تعینات کیے جا رہے ہیں جو ویب کو براؤز کر سکتے ہیں، کوڈ پر عمل درآمد کر سکتے ہیں، اور صارف کی جانب سے کارروائیاں کر سکتے ہیں۔ اگر کوئی حملہ آور ماڈل کے اندرونی نتائج اخذ کر سکتا ہے، تو وہ ان کارروائیوں کو غیر ارادی یا نقصان دہ نتائج کی طرف لے جانے کے قابل ہو سکتا ہے۔ خطرہ بڑھتا ہے کیونکہ ماڈلز زیادہ خود مختاری حاصل کرتے ہیں اور ٹولز تک رسائی حاصل کرتے ہیں۔ محققین نوٹ کرتے ہیں کہ انسان ہوشیار اور تخلیقی رہتے ہیں، اور جب تک ماڈلز میں قابل اعتماد اور ناقابل اعتماد متن کے درمیان صاف تعمیراتی علیحدگی کی کمی ہے، پرعزم حملہ آور لائن کو دھندلا کرنے کے طریقے تلاش کرتے رہیں گے۔ کاغذ چیلنج کو پیچ کرنے کے لیے ایک بگ کے طور پر کم اور سسٹمز کی ساختی خاصیت کے طور پر زیادہ تیار کرتا ہے جو سخت کوڈ والے اصولوں کے بجائے ڈیٹا سے اپنا رویہ سیکھتا ہے۔
مکمل کاغذ arXiv پر دستیاب ہے، اور محققین نے GitHub پر کوڈ کی مثالیں شائع کی ہیں تاکہ ڈویلپرز یہ جانچ سکیں کہ آیا ان کے اپنے سسٹم حساس ہیں یا نہیں۔
AI سے آگے رہیں
AI حفاظتی تحقیق، حفاظتی خطرات، اور بڑے لینگویج ماڈلز کے بارے میں مزید جاننے کے لیے، AI Buzz Wire ملاحظہ کریں۔
مزید AI خبریں پڑھیں →
