إن الافتراض الشائع بأن مراجعة الإنسان لكل أمر يمكن أن يبقي عملاء تشفير الذكاء الاصطناعي تحت المراقبة يواجه تدقيقًا جديًا. وجد تحليل جديد لأكثر من 40,000 جلسة لعبة وأكثر من 409,000 قرار فردي بالموافقة أو الرفض أن المراجعين البشريين أخطأوا ما يقرب من واحد من كل ثلاثة أوامر ضارة من عملاء الذكاء الاصطناعي، مما يثير أسئلة ملحة حول ما إذا كان "الإنسان في الحلقة" يمثل حدًا أمنيًا موثوقًا به على الإطلاق.

تأتي النتائج من لعبة تعتمد على المتصفح أنشأها Alex Wauters، وهو مهندس سابق في Uber يكتب عن أمان المطورين في Scale X. وتضع اللعبة اللاعبين في دور مراجع بشري لوكيل ترميز الذكاء الاصطناعي، وتطلب منهم الموافقة على أوامر shell أو رفضها تحت ضغط الوقت. بعض الأوامر روتينية، مثل git Status أو npm test. والبعض الآخر عبارة عن محاولات مقنعة بعناية لسحب بيانات الاعتماد، أو تثبيت أبواب خلفية، أو إرسال أسرار إلى خوادم بعيدة. بعد إضافة تتبع الإحصائيات، قام ووترز بجمع بيانات كافية لرسم صورة مفصلة عن المكان الذي ينجح فيه الحكم البشري، وفي أغلب الأحيان يفشل. لمزيد من المعلومات حول [تغطية صناعة الذكاء الاصطناعي] الأوسع نطاقًا (https://aibuzzwire.news)، تبرز هذه الدراسة باعتبارها واحدة من أكثر التجارب ثراءً بالبيانات حتى الآن.

الأوامر الأكثر خطورة كانت الأصعب في الإمساك بها

النتيجة الأكثر إثارة للدهشة التي توصلت إليها الدراسة هي أن الأوامر المدمرة بشكل واضح، مثل `rm -rf' في الأدلة المهمة، تم اكتشافها بشكل موثوق. التهديدات التي نجحت بالفعل في سرقة بيانات الاعتماد تم تفويتها ثلاث مرات تقريبًا. كان الأمر الوحيد الذي لم يتم تجاهله في اللعبة بأكملها هو "تحليل تشغيل npm"، والذي تمت الموافقة عليه من قبل 64.7 بالمائة من اللاعبين على الرغم من أن سجل محفوظات العميل يُظهر بوضوح أنه تم التلاعب بالنص الأساسي لتوجيه بيانات الاعتماد إلى خادم خارجي.

المشكلة هيكلية. أوامر مثل `npm run` تنفذ أي برنامج نصي محدد في ملف `package.json` الخاص بالمشروع. يمكن أن يكون هذا البرنامج النصي عبارة عن محلل حزم شرعي أو تعليمات برمجية ضارة تم إدخالها بواسطة ملف سابق تم تعديله بواسطة الوكيل. لمعرفة ذلك على وجه اليقين، سيحتاج المطور إلى فحص كل ملف معدل قبل الموافقة عليه، مما ينفي ميزة السرعة التي من المفترض أن توفرها أدوات تشفير الذكاء الاصطناعي.

عبر ثلاثة أوامر حمولة مقنعة في اللعبة، بلغ معدل الخطأ 52.5 بالمائة مقارنة بـ 28.4 بالمائة لجميع هجمات استخراج بيانات الاعتماد الأخرى. أدى إخفاء الحمولة خلف اسم برنامج نصي مألوف إلى مضاعفة معدل نجاحها تقريبًا، حتى عندما كانت الحمولة مرئية في سجل المحفوظات المعروض أعلى مطالبة الإذن مباشرةً.

إرهاق الإذن يؤدي إلى تآكل اليقظة مع مرور الوقت

اعترفت شركة Anthropic سابقًا بأن إرهاق الأذونات هو ظاهرة حقيقية في منتج Claude Code الخاص بها، مشيرة إلى أنه كلما زاد عدد الموافقات التي يراها المستخدم، قل الاهتمام الذي يوليه لكل منها. تدعم بيانات Scale X هذا القلق تجريبيًا. انخفضت معدلات الفشل خلال الأوامر القليلة الأولى من كل جلسة أثناء قيام اللاعبين بالإحماء، ولكنها ارتفعت بعد ذلك بثبات نحو النهاية، بما يتوافق مع الإرهاق أو الضغط المتزايد لساعة تدق.

يعكس هذا النمط ديناميكيات العالم الحقيقي. يواجه المطورون الذين يتسابقون لشحن الميزات تحت ضغط الموعد النهائي نفس الحافز للنقر على الموافقة بسرعة، كما أن الحجم الهائل للأوامر الروتينية يخلق مشكلة إبرة في كومة قش حيث تكون التهديدات الحقيقية نادرة إحصائيًا. والنتيجة هي نظام يدرب المستخدمين على التصديق على كل شيء.

الجانب الآخر: الإفراط في الحظر يؤدي إلى إبطاء كل شيء

كما وثقت الدراسة وضع الفشل المعاكس. تم حظر العديد من الأوامر الحميدة بشكل روتيني من قبل اللاعبين الحذرين، بما في ذلك استدعاءات البناء والاختبار القياسية. يؤدي هذا المنع المفرط إلى إبطاء العامل، ومن المفارقة أنه يزيد من المخاطر على المدى الطويل. عندما يُطلب من المستخدمين بشكل متكرر الموافقة على الأوامر التي يتبين أنها غير ضارة، يؤدي هذا الضجيج إلى تآكل رغبتهم في التدقيق في المطالبات المستقبلية، مما يدفعهم في النهاية نحو التجاوزات الكاملة أو أوضاع الموافقة التلقائية التي تزيل المراجعة البشرية تمامًا.

تحاول ميزات مثل الوضع التلقائي لـ Anthropic التخفيف من ذلك عن طريق التحديد التلقائي لما إذا كان الأمر آمنًا قبل مطالبة المستخدم. ولكن كما تظهر بيانات الدراسة حول الحمولات المقنعة، فحتى محتويات الأوامر المرئية ليست كافية للبشر لإصدار أحكام موثوقة تحت الضغط.

السياق المفقود هو المشكلة الأساسية

أثبت أحد الأوامر، `cat ~/.zshrc`، أنه الأكثر إثارة للانقسام في اللعبة بأكملها، حيث وافق عليه 45.9 بالمائة من اللاعبين. الأمر غير ضار للمطورين الذين لا يحتفظون بأي أسرار في ملف تعريف الصدفة الخاص بهم، ولكنه يكشف عن مفاتيح API للعديد من الذين يصدرون بيانات الاعتماد هناك. وتعتمد خطورتها كليًا على تكوين النظام الذي لا يستطيع الوكيل رؤيته وقد لا يتذكره المراجع.

أثارت عدة أوامر أخرى جدلاً مماثلاً في موضوع مناقشة Hacker News لنفس السبب. المشكلة الأساسية هي أنه يُطلب من المطورين إصدار أحكام أمنية دون الحصول على الصورة الكاملة للملفات التي تم تغييرها، وما فعله الوكيل في الخطوات السابقة، وما يحتويه التكوين الحالي للنظام. وكما أشار أحد المعلقين، فإن مطالبة المستخدمين بالتحقق من صحة الأوامر الغامضة بدون سياق لا تعد ضمانة قوية.

ما الذي سيأتي بعد ذلك بالنسبة لأمن الوكيل

يرى ووترز أن الحل لا يكمن في وجود بشر أفضل، بل في استخدام أدوات أفضل. إن وكلاء وضع الحماية، بحيث لا يتمكنون من الوصول إلى بيانات الاعتماد مباشرة، والعزل الصارم للسياق، والقيود الهيكلية على ما يمكن للوكلاء القيام به دون أذونات مرتفعة، كلها أمور واعدة أكثر من الاعتماد على اليقظة البشرية. وإلى أن يتم تطبيق هذه الضمانات، فإن منح الوكلاء أذونات واسعة يظل محفوفًا بالمخاطر بغض النظر عما إذا كان الإنسان موجودًا اسميًا أم لا.

الدراسة ليست ورقة أكاديمية خاضعة لمراجعة النظراء، ويعترف ووترز بحدودها. حذرت اللعبة اللاعبين من التهديدات والضغط الزمني المصطنع الذي قد لا يعكس تمامًا بيئات التطوير الحقيقية. لكن النتيجة الأساسية، وهي أن المراجعين البشريين المدربين تحت الضغط يفوتون ثلث الهجمات المقنعة عمدًا، يجب أن تمنح كل فريق ينشر عملاء تشفير الذكاء الاصطناعي سببًا لإعادة النظر في نموذجهم الأمني.

بالنسبة للمطورين الذين يبنون وكلاء الذكاء الاصطناعي اليوم، فإن الفكرة العملية هي افتراض أن الإنسان المتواجد في الحلقة سيفشل في النهاية. صمم أذونات الوكيل ووضع الحماية الخاص بك بحيث لا تعني الموافقة المفقودة تسرب مفتاح AWS أو خط أنابيب البناء المخترق. تشير البيانات إلى أن التعامل مع المراجعة البشرية باعتبارها دفاعك الأساسي هو رهان لا يؤتي ثماره.

البقاء في صدارة الذكاء الاصطناعي

يتطور المشهد الأمني لوكلاء الذكاء الاصطناعي بسرعة. ابق على اطلاع بأحدث تطورات الذكاء الاصطناعي والأبحاث العاجلة.

اقرأ المزيد من أخبار الذكاء الاصطناعي →