یہ مقبول مفروضہ کہ ہر کمانڈ کا جائزہ لینے والا انسان AI کوڈنگ ایجنٹوں کو روک سکتا ہے، اس کی سنگین جانچ پڑتال کا سامنا ہے۔ 40,000 سے زیادہ گیم سیشنز اور 409,000 سے زیادہ انفرادی منظوری یا تردید کے فیصلوں کے ایک نئے تجزیے سے پتا چلا ہے کہ انسانی جائزہ لینے والوں نے AI ایجنٹوں کی طرف سے تقریباً تین میں سے ایک بدنیتی پر مبنی کمانڈز سے محروم کیا، جس سے اس بارے میں فوری سوالات پیدا ہوتے ہیں کہ آیا "ہیومن-ان-دی-لوپ" ایک قابل اعتماد حفاظتی حد ہے۔

یہ نتائج ایک براؤزر پر مبنی گیم سے سامنے آئے ہیں جو الیکس واٹرس کے بنائے گئے ہیں، جو Uber کے ایک سابق اسٹاف انجینئر ہیں جو Scale X میں ڈویلپر سیکیورٹی کے بارے میں لکھتے ہیں۔ گیم کھلاڑیوں کو AI کوڈنگ ایجنٹ کے لیے انسانی جائزہ لینے والے کے کردار میں رکھتی ہے، اور انہیں وقت کے دباؤ میں شیل کمانڈز کو منظور یا مسترد کرنے کے لیے کہتی ہے۔ کچھ کمانڈز معمول کے مطابق ہیں، جیسے کہ 'git status' یا 'npm test'۔ دوسرے لوگ احتیاط سے بھیس بدل کر اسناد کو نکالنے، بیک ڈور انسٹال کرنے، یا ریموٹ سرورز کو راز بھیجنے کی کوششیں کر رہے ہیں۔ اعداد و شمار سے باخبر رہنے کو شامل کرنے کے بعد، Wauters نے اس بات کی تفصیلی تصویر پینٹ کرنے کے لیے کافی ڈیٹا اکٹھا کیا کہ انسانی فیصلہ کہاں کامیاب ہوتا ہے اور اکثر ناکام ہوتا ہے۔ وسیع تر AI انڈسٹری کوریج کے بارے میں مزید جاننے کے لیے، یہ مطالعہ اب تک کے سب سے زیادہ ڈیٹا سے بھرپور تجربات میں سے ایک ہے۔

سب سے خطرناک کمانڈز کو پکڑنا سب سے مشکل تھا۔

مطالعہ کا سب سے حیران کن نتیجہ یہ ہے کہ واضح طور پر تباہ کن کمانڈز، جیسے کہ اہم ڈائریکٹریز پر `rm -rf`، قابل اعتماد طریقے سے پکڑے گئے تھے۔ وہ دھمکیاں جو درحقیقت اسناد چوری کرنے میں کامیاب ہوئیں، تقریباً تین گنا زیادہ گنوائی گئیں۔ پوری گیم میں واحد سب سے زیادہ یاد کی جانے والی کمانڈ `npm run analyze` تھی، جسے ایجنٹ کے ہسٹری لاگ کے باوجود 64.7 فیصد کھلاڑیوں نے منظور کیا جو واضح طور پر ظاہر کرتا ہے کہ بنیادی اسکرپٹ کو کسی بیرونی سرور پر پائپ اسناد کے ساتھ چھیڑ چھاڑ کیا گیا تھا۔

مسئلہ ساختی ہے۔ 'npm run' جیسی کمانڈز پروجیکٹ کی 'package.json' فائل میں جو بھی اسکرپٹ بیان کی گئی ہے اس پر عمل درآمد کرتی ہے۔ وہ اسکرپٹ ایک جائز بنڈل اینالائزر یا خرابی کوڈ ہو سکتا ہے جو پہلے کی فائل کے ذریعے انجکشن کیا جاتا ہے جس میں ترمیم شدہ ایجنٹ میں ترمیم کی جاتی ہے۔ یقینی طور پر جاننے کے لیے، ایک ڈویلپر کو منظوری دینے سے پہلے ہر ترمیم شدہ فائل کا معائنہ کرنے کی ضرورت ہوگی، جو اس رفتار کے فائدہ کی نفی کرتی ہے جو AI کوڈنگ ٹولز فراہم کرنے والے ہیں۔

گیم میں اس طرح کے تین ایسے چھپے ہوئے پے لوڈ کمانڈز میں، مس ریٹ 52.5 فیصد تھا جب کہ دیگر تمام اسناد سے نکالے جانے والے حملوں میں 28.4 فیصد تھا۔ ایک مانوس اسکرپٹ نام کے پیچھے پے لوڈ کو چھپانے سے اس کی کامیابی کی شرح تقریباً دوگنی ہو جاتی ہے، یہاں تک کہ جب پے لوڈ اجازت کے پرامپٹ کے بالکل اوپر دکھائے گئے ہسٹری لاگ میں نظر آتا تھا۔

اجازت کی تھکاوٹ وقت کے ساتھ ساتھ چوکسی کو ختم کرتی ہے۔

Anthropic نے پہلے تسلیم کیا تھا کہ اجازت کی تھکاوٹ اس کے Claude Code پروڈکٹ میں ایک حقیقی رجحان ہے، یہ نوٹ کرتے ہوئے کہ صارف جتنی زیادہ منظوری دیکھتا ہے، وہ ہر ایک پر اتنی ہی کم توجہ دیتا ہے۔ اسکیل ایکس ڈیٹا تجرباتی طور پر اس تشویش کی حمایت کرتا ہے۔ ہر سیشن کے پہلے چند کمانڈز کے دوران مس ریٹس میں کمی واقع ہوئی کیونکہ کھلاڑی گرم ہو گئے، لیکن پھر تھکاوٹ یا ٹک ٹک ٹک ٹک کلاک کے بڑھتے ہوئے دباؤ کے مطابق، اختتام کی طرف مستقل طور پر چڑھ گئے۔

یہ نمونہ حقیقی دنیا کی حرکیات کا آئینہ دار ہے۔ ڈیولپرز کو ڈیڈ لائن پریشر کے تحت فیچرز بھیجنے کی دوڑ میں تیزی سے منظوری پر کلک کرنے کے لیے اسی ترغیب کا سامنا کرنا پڑتا ہے، اور روٹین کمانڈز کا سراسر حجم ایک سوئی کے اندر گھاس کے اسٹیک کا مسئلہ پیدا کرتا ہے جہاں حقیقی خطرات اعدادوشمار کے لحاظ سے بہت کم ہوتے ہیں۔ نتیجہ ایک ایسا نظام ہے جو صارفین کو ہر چیز کو ربڑ سٹیمپ کرنے کی تربیت دیتا ہے۔

دوسری طرف: اوور بلاکنگ ہر چیز کو سست کر دیتی ہے۔

مطالعہ نے مخالف ناکامی موڈ کو بھی دستاویز کیا. بہت سے حقیقی طور پر بے نظیر کمانڈز کو محتاط کھلاڑیوں نے معمول کے مطابق بلاک کر دیا تھا، بشمول معیاری تعمیر اور ٹیسٹ کی درخواستیں۔ یہ اوور بلاکنگ ایجنٹ کو سست کر دیتا ہے اور متضاد طور پر، طویل مدتی خطرے کو بڑھاتا ہے۔ جب صارفین سے بار بار ان احکامات کو منظور کرنے کے لیے کہا جاتا ہے جو بے ضرر ثابت ہوتے ہیں، تو شور مستقبل کے اشارے کی جانچ پڑتال کے لیے ان کی آمادگی کو ختم کر دیتا ہے، آخر کار انھیں مکمل بائی پاسز یا خودکار منظوری کے طریقوں کی طرف دھکیل دیتا ہے جو انسانی جائزے کو مکمل طور پر ہٹا دیتے ہیں۔

اینتھروپک کے آٹو موڈ جیسی خصوصیات خود بخود اس بات کا تعین کرکے اسے کم کرنے کی کوشش کرتی ہیں کہ آیا صارف کو اشارہ کرنے سے پہلے کوئی کمانڈ محفوظ ہے یا نہیں۔ لیکن جیسا کہ چھپے ہوئے پے لوڈز پر مطالعہ کا ڈیٹا ظاہر کرتا ہے، یہاں تک کہ مرئی کمانڈ کے مواد بھی انسانوں کے لیے دباؤ میں قابل اعتماد فیصلے کرنے کے لیے کافی نہیں ہیں۔

سیاق و سباق کی کمی بنیادی مسئلہ ہے۔

ایک کمانڈ، `cat ~/.zshrc`، پوری گیم میں سب سے زیادہ تفرقہ انگیز ثابت ہوئی، جسے 45.9 فیصد کھلاڑیوں نے منظور کیا۔ یہ کمانڈ ان ڈویلپرز کے لیے بے ضرر ہے جو اپنے شیل پروفائل میں کوئی راز نہیں رکھتے، لیکن یہ بہت سے لوگوں کے لیے API کیز کو بے نقاب کرتا ہے جو وہاں اسناد برآمد کرتے ہیں۔ اس کا خطرہ مکمل طور پر سسٹم کنفیگریشن پر منحصر ہے جسے ایجنٹ نہیں دیکھ سکتا اور ہو سکتا ہے کہ جائزہ لینے والے کو یاد نہ ہو۔

اسی وجہ سے ہیکر نیوز ڈسکشن تھریڈ پر کئی دیگر کمانڈز نے اسی طرح کا تنازعہ پیدا کیا۔ بنیادی مسئلہ یہ ہے کہ ڈویلپرز سے کہا جا رہا ہے کہ وہ اس مکمل تصویر کے بغیر حفاظتی فیصلے کریں کہ فائلوں میں کیا تبدیلی آئی ہے، ایجنٹ نے پچھلے مراحل میں کیا کیا، اور سسٹم کی موجودہ کنفیگریشن میں کیا شامل ہے۔ جیسا کہ ایک تبصرہ نگار نے نوٹ کیا، صارفین سے سیاق و سباق کے بغیر مبہم کمانڈز کی توثیق کرنے کے لیے کہنا کوئی مضبوط تحفظ نہیں ہے۔

ایجنٹ سیکیورٹی کے لیے آگے کیا ہوتا ہے۔

واٹرز کا کہنا ہے کہ حل بہتر انسان نہیں بلکہ بہتر ٹولنگ ہے۔ سینڈ باکسنگ ایجنٹس تاکہ وہ اسناد تک براہ راست رسائی نہ کر سکیں، سخت سیاق و سباق کی تنہائی، اور اس بات کی ساختی حدود جو کہ ایجنٹ اعلیٰ اجازت کے بغیر کر سکتے ہیں، یہ سب کچھ انسانی چوکسی پر انحصار کرنے سے زیادہ امید افزا ہیں۔ جب تک کہ وہ حفاظتی اقدامات نافذ نہ ہوں، ایجنٹوں کو وسیع اجازتیں دینا خطرناک رہے گا، قطع نظر اس کے کہ کوئی انسان برائے نام طور پر اس کی لپیٹ میں ہے۔

مطالعہ ہم مرتبہ نظرثانی شدہ اکیڈمک پیپر نہیں ہے، اور واٹرس اس کی حدود کو تسلیم کرتا ہے۔ گیم نے کھلاڑیوں کو خطرات کے بارے میں متنبہ کیا اور مصنوعی وقتی دباؤ کا اطلاق کیا جو حقیقی ترقی کے ماحول کی مکمل عکاسی نہیں کر سکتا۔ لیکن بنیادی کھوج، کہ تربیت یافتہ انسانی جائزہ لینے والے دباؤ کے تحت جان بوجھ کر چھپے ہوئے حملوں کا ایک تہائی حصہ چھوڑ دیتے ہیں، ہر ٹیم کو AI کوڈنگ ایجنٹوں کو تعینات کرنے کے لیے اپنے سیکیورٹی ماڈل پر نظر ثانی کرنے کی وجہ فراہم کرنی چاہیے۔

آج AI ایجنٹوں کے ساتھ تعمیر کرنے والے ڈویلپرز کے لیے، عملی طور پر یہ فرض کرنا ہے کہ ہیومن ان دی لوپ بالآخر ناکام ہو جائے گا۔ اپنے ایجنٹ کی اجازتوں اور سینڈ باکسنگ کو ڈیزائن کریں تاکہ منظوری چھوٹ جانے کا مطلب AWS کلید یا سمجھوتہ شدہ تعمیراتی پائپ لائن نہ ہو۔ اعداد و شمار سے پتہ چلتا ہے کہ انسانی جائزے کو اپنا بنیادی دفاع سمجھنا ایک شرط ہے جس کا کوئی فائدہ نہیں ہوتا۔

AI سے آگے رہیں

اے آئی ایجنٹ سیکورٹی لینڈ سکیپ تیزی سے تیار ہو رہا ہے۔ تازہ ترین AI پیش رفت اور بریکنگ ریسرچ سے باخبر رہیں۔

مزید AI خبریں پڑھیں →