أظهر الباحثون هجومًا جديدًا قويًا ضد نماذج الذكاء الاصطناعي المنطقية التي تستغل نقطة عمياء أساسية في كيفية قيام نماذج اللغة الكبيرة (LLMs) بفصل التعليمات عن البيانات. هذه التقنية، التي تسمى تزوير سلسلة الفكر (CoT)، تخدع النموذج ليتعامل مع النص المقدم من المهاجم كما لو كان المنطق الداخلي الخاص بالنموذج، مما يسمح للنص بتجاوز التعليمات المشروعة.

وتؤكد النتائج، التي نشرها موقع Hackaday، لماذا يظل تأمين أنظمة الذكاء الاصطناعي ضد التلاعب مشكلة لم يتم حلها. لمواكبة التهديدات الناشئة في الميدان، تابع [تغطية صناعة الذكاء الاصطناعي] (https://aibuzzwire.news) للتحليل المستمر.

السبب الجذري: ارتباك الدور

وفي قلب الثغرة الأمنية يوجد ما وصفه الباحثون بـ"ارتباك الأدوار". تتلقى LLMs الحديثة جميع مدخلاتها - قواعد النظام، وطلبات المستخدم، وسلسلة التفكير الخاصة بالنموذج - من خلال قناة نصية واحدة. لفرض النظام، يستخدم المطورون علامات البيانات الوصفية مثل `` و`` و`` لإنشاء تسلسل هرمي للثقة. على سبيل المثال، من المفترض أن يؤدي توجيه `` لتجنب المحتوى الضار إلى تجاوز طلب `` الذي يؤدي إلى العكس.

تعتبر العلامة `` قوية بشكل خاص لأنها تمثل عملية التفكير الداخلي للنموذج، وهي تدفق يحمل ثقة عالية. ووجد الباحثون أن المشكلة هي أن النماذج لا تعتمد في المقام الأول على العلامات نفسها لتحديد ما يجب الوثوق به. إنهم يعطون الأولوية لأسلوب الكتابة. يمكن الخلط بين النص الذي تم تنسيقه أسلوبيًا ليشبه مخرجات `<أعتقد>` الداخلية للنموذج على أنه تفكير حقيقي، بغض النظر عن مصدره فعليًا.

كيف يعمل الهجوم

والأهم من ذلك، أن CoT Forgery لا يقتصر على مجرد تغليف موجه ضار داخل علامات ````، وهو الأمر الذي ترفضه معظم النماذج. وبدلاً من ذلك، يكتب المهاجم تفكيرًا معقدًا بأسلوب يتطابق بشكل وثيق مع صوت التفكير الداخلي المميز للنموذج. عندما يواجه النموذج هذا النص، فإنه يتعامل مع المنطق المخادع باعتباره نتيجة تم التوصل إليها بالفعل.

وفقًا لـ Hackaday، يؤدي هذا إلى قبول LLM للاستدلال غير المنطقي بشفافية باعتباره نتيجة مفروغ منها، مما يغير استجابتها لطلب المستخدم. ونظرًا لأن المحتوى المخادع يُنظر إليه على أنه فكر داخلي عالي الثقة وليس مدخلات مستخدم منخفضة الثقة، فيمكنه تجاوز حواجز الحماية الأمنية التي عادةً ما تمنع تعليمات التلاعب.

التسلسل الهرمي للثقة داخل ماجستير إدارة الأعمال

إن فهم سبب نجاح الهجوم يتطلب فهم كيفية عمل الأدوار. تحت الغطاء، تقوم الأدوار بتقسيم مدخلات النموذج إلى تسلسل هرمي منظم. يتم اتباع التعليمات الموجودة في الدور طالما أنها لا تتعارض مع التعليمات ذات الأولوية الأعلى. على سبيل المثال، يهدف التوجيه على مستوى النظام "لا تناقش الأنشطة غير القانونية" إلى تجاوز طلب المستخدم لتقديم وصفة محظورة. يقع دور "<التفكير>" بالقرب من قمة هذا التسلسل الهرمي لأنه يمثل الاستنتاجات التي يعتقد النموذج أنه قد وصل إليها بالفعل من تلقاء نفسه.

يحدث الانهيار لأن النموذج لا يفرض هذا التسلسل الهرمي ميكانيكيًا. وبدلاً من ذلك، فهو يستنتج النص الذي ينتمي إلى أي دور جزئيًا من خلال الإشارات الأسلوبية. كما لاحظت مناقشة المجتمع للبحث، إذا تم تصميم النص مثل سياق التفكير، يمكن للنموذج أن يخطئ في أي نص له بنية مماثلة للاستدلال الحقيقي - ويحظى نص التفكير بأولوية أعلى من نص المستخدم العادي.

نمط مألوف بلمسة جديدة

يعتمد البحث على نقطة الضعف المعترف بها منذ فترة طويلة في أنظمة الذكاء الاصطناعي: الحقن الفوري. استغلت الهجمات المبكرة حقيقة أن LLMs ليس لديها تدفقات منفصلة للتعليمات والبيانات، لذا فإن عبارة مثل "تجاهل جميع التعليمات السابقة" يمكن أن تختطف أحيانًا سلوك النموذج. كان الهدف من إدخال الأدوار وعلامات البيانات الوصفية هو التخفيف من ذلك عن طريق إنشاء تسلسل هرمي للثقة.

يوضح CoT Forgery أن عملية التخفيف غير مكتملة. وطالما أن النماذج تحكم على موثوقية النص جزئيًا من خلال خصائصه الأسلوبية وليس من خلال بياناته الوصفية الهيكلية بشكل صارم، فإن المهاجمين الذين يمكنهم محاكاة النمط الصحيح يمكنهم تصعيد السلطة المتصورة لمدخلاتهم.

لماذا يصعب إصلاحه

يرى الباحثون، تشارلز يي، وياسمين كوي، وديلان هادفيلد-مينل، أن إدراك الدور في ماجستير إدارة الأعمال ليس خاصية ثنائية يمكن تنفيذها بشكل واضح. تتعلم النماذج تفسير العلامات من خلال التدريب وليس من خلال القواعد المشفرة، مما يعني أن سلوكها يتشكل من خلال أنماط في البيانات، ويمكن تقليد الأنماط.

وقد برزت مناقشة المجتمع للعمل، والتي أبرزها هاكاداي، موضوعًا متكررًا: يتطلب الحل الأنظف نماذج للتعامل مع المدخلات الموثوقة من خلال مسارات منفصلة هيكليًا بدلاً من الاعتماد على إشارات متعلمة قائمة على الأسلوب. وإلى أن يحدث ذلك، من المرجح أن يظل الدفاع ضد الهجمات السريعة بمثابة عملية متطورة وليس مشكلة تم حلها.

الآثار الأوسع

إن مسألة الضعف لا تقتصر على العروض التوضيحية المختبرية. يتم نشر نماذج الاستدلال بشكل متزايد في الأنظمة الوكيلة التي يمكنها تصفح الويب وتنفيذ التعليمات البرمجية واتخاذ الإجراءات نيابة عن المستخدم. إذا تمكن المهاجم من صياغة استنتاجات داخلية للنموذج، فقد يكون قادرًا على توجيه تلك الإجراءات نحو نتائج غير مقصودة أو ضارة. ويتزايد الخطر مع اكتساب النماذج المزيد من الاستقلالية والوصول إلى الأدوات. ويشير الباحثون إلى أن البشر يظلون أذكياء ومبدعين، وطالما افتقرت النماذج إلى فصل معماري نظيف بين النص الموثوق به وغير الموثوق به، فإن المهاجمين المصممين سيستمرون في إيجاد طرق لطمس هذا الخط. تضع الورقة التحدي في إطار أقل من كونه خطأً يجب تصحيحه، وأكثر من كونه خاصية هيكلية للأنظمة التي تتعلم سلوكها من البيانات وليس من القواعد المضمنة.

الورقة الكاملة متاحة على arXiv، وقد نشر الباحثون أمثلة التعليمات البرمجية على GitHub حتى يتمكن المطورون من اختبار ما إذا كانت أنظمتهم الخاصة عرضة للخطر.

ابق في صدارة الذكاء الاصطناعي

لمزيد من المعلومات حول أبحاث سلامة الذكاء الاصطناعي، والثغرات الأمنية، وحدود نماذج اللغات الكبيرة، تفضل بزيارة AI Buzz Wire.

اقرأ المزيد من أخبار الذكاء الاصطناعي →