জনপ্রিয় ধারণা যে প্রতিটি কমান্ড পর্যালোচনা করে একজন মানুষ এআই কোডিং এজেন্টদের নিয়ন্ত্রণে রাখতে পারে তা গুরুতর তদন্তের মুখোমুখি। 40,000-এরও বেশি গেম সেশন এবং 409,000-এর বেশি ব্যক্তিগত অনুমোদন-অস্বীকৃতির সিদ্ধান্তের একটি নতুন বিশ্লেষণে দেখা গেছে যে মানব পর্যালোচকরা AI এজেন্টদের কাছ থেকে তিনটি দূষিত কমান্ডের মধ্যে প্রায় একটি মিস করেছেন, যা "হিউম্যান-ইন-দ্য-লুপ" আদৌ একটি নির্ভরযোগ্য নিরাপত্তা সীমানা কিনা তা নিয়ে জরুরি প্রশ্ন উত্থাপন করে।

উবারের প্রাক্তন স্টাফ ইঞ্জিনিয়ার অ্যালেক্স ওয়াটারস দ্বারা তৈরি একটি ব্রাউজার-ভিত্তিক গেম থেকে ফলাফলগুলি এসেছে, যিনি স্কেল এক্স-এ বিকাশকারী সুরক্ষা সম্পর্কে লিখেছেন৷ গেমটি খেলোয়াড়দেরকে একটি AI কোডিং এজেন্টের জন্য একজন মানব পর্যালোচকের ভূমিকায় রাখে, তাদেরকে সময়ের চাপে শেল কমান্ডগুলিকে অনুমোদন বা অস্বীকার করতে বলে৷ কিছু কমান্ড রুটিন, যেমন `গিট স্ট্যাটাস` বা `এনপিএম টেস্ট`। অন্যরা সাবধানে ছদ্মবেশে শংসাপত্রগুলি বের করার, পিছনের দরজা ইনস্টল করার বা দূরবর্তী সার্ভারগুলিতে গোপনীয়তা প্রেরণের প্রচেষ্টা। পরিসংখ্যান ট্র্যাকিং যোগ করার পরে, ওয়াটাররা মানুষের বিচার কোথায় সফল হয় এবং প্রায়শই ব্যর্থ হয় তার একটি বিশদ ছবি আঁকার জন্য যথেষ্ট ডেটা সংগ্রহ করেছিল। বিস্তৃত AI শিল্প কভারেজ সম্পর্কে আরও জানতে, এই গবেষণাটি এখন পর্যন্ত সবচেয়ে ডেটা সমৃদ্ধ পরীক্ষাগুলির মধ্যে একটি হিসাবে দাঁড়িয়েছে।

সবচেয়ে বিপজ্জনক কমান্ডগুলি ধরা সবচেয়ে কঠিন ছিল

অধ্যয়নের সবচেয়ে আকর্ষণীয় ফলাফল হল যে স্পষ্টতই ধ্বংসাত্মক কমান্ড, যেমন সমালোচনামূলক ডিরেক্টরিগুলিতে `rm -rf`, নির্ভরযোগ্যভাবে ধরা হয়েছিল। শংসাপত্র চুরি করার ক্ষেত্রে যে হুমকিগুলি সফল হয়েছিল তা প্রায় তিনগুণ মিস করা হয়েছিল। পুরো গেমটিতে সবচেয়ে বেশি মিস হওয়া কমান্ডটি ছিল `npm রান অ্যানালাইজ`, 64.7 শতাংশ খেলোয়াড় দ্বারা অনুমোদিত, যদিও এজেন্টের ইতিহাস লগ স্পষ্টভাবে দেখায় যে অন্তর্নিহিত স্ক্রিপ্টটি একটি বহিরাগত সার্ভারে পাইপ শংসাপত্রের সাথে টেম্পার করা হয়েছে।

সমস্যাটি কাঠামোগত। 'npm run'-এর মতো কমান্ডগুলি প্রজেক্টের 'package.json' ফাইলে যে স্ক্রিপ্ট সংজ্ঞায়িত করা হয়েছে তা কার্যকর করে। সেই স্ক্রিপ্টটি একটি বৈধ বান্ডেল বিশ্লেষক বা ক্ষতিকারক কোড হতে পারে যা পূর্ববর্তী ফাইল দ্বারা সংশোধিত এজেন্ট সংশোধন করে। নিশ্চিতভাবে জানার জন্য, একজন বিকাশকারীকে অনুমোদন করার আগে প্রতিটি পরিবর্তিত ফাইল পরিদর্শন করতে হবে, যা এআই কোডিং সরঞ্জামগুলি যে গতির সুবিধা প্রদান করে তা অস্বীকার করে।

গেমটিতে এই ধরনের তিনটি ছদ্মবেশী-পেলোড কমান্ড জুড়ে, মিস রেট ছিল 52.5 শতাংশের তুলনায় 28.4 শতাংশ অন্যান্য সমস্ত শংসাপত্র-প্রস্থান আক্রমণের জন্য। একটি পরিচিত স্ক্রিপ্ট নামের পিছনে একটি পেলোড লুকিয়ে রাখা তার সাফল্যের হার প্রায় দ্বিগুণ করে, এমনকি যখন পেলোডটি অনুমতি প্রম্পটের ঠিক উপরে প্রদর্শিত ইতিহাস লগে দৃশ্যমান ছিল।

অনুমতি ক্লান্তি সময়ের সাথে সাথে সতর্কতা নষ্ট করে

Anthropic পূর্বে স্বীকার করেছে যে অনুমতি ক্লান্তি তার ক্লাউড কোড পণ্যে একটি বাস্তব ঘটনা, উল্লেখ্য যে ব্যবহারকারী যত বেশি অনুমোদন দেখেন, তারা প্রত্যেকটির প্রতি তত কম মনোযোগ দেয়। স্কেল এক্স ডেটা অভিজ্ঞতাগতভাবে এই উদ্বেগকে সমর্থন করে। প্রতিটি সেশনের প্রথম কয়েকটি কমান্ডের সময় মিস রেট কমে যায় যখন খেলোয়াড়রা উষ্ণ হয়, কিন্তু তারপর ক্লান্তি বা টিক টিক টিক ক্লক চাপের সাথে সামঞ্জস্য রেখে শেষের দিকে স্থিরভাবে আরোহণ করে।

এই প্যাটার্নটি বাস্তব-বিশ্বের গতিবিদ্যাকে প্রতিফলিত করে। ডেভেলপাররা সময়সীমার চাপের মধ্যে বৈশিষ্ট্যগুলি শিপ করার জন্য দৌড়াদৌড়ি করে দ্রুত অনুমোদনে ক্লিক করার জন্য একই প্রণোদনার সম্মুখীন হয় এবং রুটিন কমান্ডের নিছক পরিমাণ একটি সুই-ইন-এ-খড়ের গাদা সমস্যা তৈরি করে যেখানে প্রকৃত হুমকি পরিসংখ্যানগতভাবে বিরল। ফলাফল হল একটি সিস্টেম যা ব্যবহারকারীদের সবকিছু রাবার-স্ট্যাম্প করতে প্রশিক্ষণ দেয়।

অন্য দিক: ওভার-ব্লকিং সবকিছুকে ধীর করে দেয়

গবেষণায় বিপরীত ব্যর্থতার মোডও নথিভুক্ত করা হয়েছে। বেশ কিছু সত্যিকারের সৌম্য কমান্ড নিয়মিতভাবে সতর্ক খেলোয়াড়দের দ্বারা অবরুদ্ধ করা হয়েছিল, যার মধ্যে স্ট্যান্ডার্ড বিল্ড এবং পরীক্ষার আহ্বান রয়েছে। এই ওভার-ব্লকিং এজেন্টকে ধীর করে দেয় এবং বিপরীতভাবে, দীর্ঘমেয়াদী ঝুঁকি বাড়ায়। যখন ব্যবহারকারীদের বারবার আদেশগুলি অনুমোদন করতে বলা হয় যা নিরীহ বলে প্রমাণিত হয়, তখন গোলমাল তাদের ভবিষ্যত প্রম্পটগুলি যাচাই করার ইচ্ছাকে ক্ষয় করে, অবশেষে তাদের সম্পূর্ণ বাইপাস বা স্বয়ংক্রিয়-অনুমোদন মোডের দিকে ঠেলে দেয় যা মানুষের পর্যালোচনাকে সম্পূর্ণরূপে সরিয়ে দেয়।

অ্যানথ্রপিকের অটো মোডের মতো বৈশিষ্ট্যগুলি ব্যবহারকারীকে অনুরোধ করার আগে একটি কমান্ড নিরাপদ কিনা তা স্বয়ংক্রিয়ভাবে নির্ধারণ করে এটি হ্রাস করার চেষ্টা করে। কিন্তু ছদ্মবেশী পেলোডের উপর অধ্যয়নের তথ্য যেমন দেখায়, এমনকি দৃশ্যমান কমান্ড বিষয়বস্তুও চাপের মধ্যে নির্ভরযোগ্য সিদ্ধান্ত নেওয়ার জন্য মানুষের পক্ষে যথেষ্ট নয়।

অনুপস্থিত প্রসঙ্গ মূল সমস্যা

একটি কমান্ড, `cat ~/.zshrc`, পুরো খেলায় সবচেয়ে বিভাজনকারী প্রমাণিত হয়েছে, যা ৪৫.৯ শতাংশ খেলোয়াড় দ্বারা অনুমোদিত। কমান্ডটি ডেভেলপারদের জন্য নিরীহ যারা তাদের শেল প্রোফাইলে কোন গোপনীয়তা রাখেন না, তবে এটি অনেকের জন্য এপিআই কী প্রকাশ করে যারা সেখানে শংসাপত্র রপ্তানি করে। এর ঝুঁকি সম্পূর্ণরূপে নির্ভর করে একটি সিস্টেম কনফিগারেশনের উপর যা এজেন্ট দেখতে পায় না এবং পর্যালোচক মনে রাখতে পারে না।

একই কারণে হ্যাকার নিউজ আলোচনা থ্রেডে অন্যান্য বেশ কয়েকটি কমান্ড একই রকম বিতর্ক তৈরি করেছে। মৌলিক সমস্যাটি হল যে ডেভেলপারদের কি ফাইলগুলি পরিবর্তিত হয়েছে, এজেন্ট পূর্ববর্তী ধাপে কী করেছে এবং সিস্টেমের বর্তমান কনফিগারেশনে কী রয়েছে তার সম্পূর্ণ ছবি ছাড়াই নিরাপত্তা বিচার করতে বলা হচ্ছে। একজন মন্তব্যকারী উল্লেখ করেছেন, ব্যবহারকারীদের প্রসঙ্গ ছাড়াই অস্পষ্ট কমান্ড যাচাই করতে বলা একটি শক্তিশালী সুরক্ষা নয়।

এজেন্ট নিরাপত্তার জন্য পরবর্তী কি আসে

ওয়াটারস যুক্তি দেন যে সমাধানটি ভাল মানুষ নয় বরং আরও ভাল টুলিং। স্যান্ডবক্সিং এজেন্ট যাতে তারা সরাসরি শংসাপত্রগুলি অ্যাক্সেস করতে না পারে, কঠোর প্রসঙ্গ বিচ্ছিন্নতা এবং এজেন্টরা উচ্চতর অনুমতি ছাড়া কী করতে পারে তার কাঠামোগত সীমাবদ্ধতা মানব সতর্কতার উপর নির্ভর করার চেয়ে আরও প্রতিশ্রুতিশীল। যতক্ষণ না এই সুরক্ষাগুলি কার্যকর হয়, ততক্ষণ পর্যন্ত এজেন্টদের বিস্তৃত অনুমতি দেওয়া ঝুঁকিপূর্ণ থেকে যায় তা নির্বিশেষে একজন মানুষ নামমাত্র লুপের মধ্যে থাকুক না কেন।

অধ্যয়নটি পিয়ার-পর্যালোচিত একাডেমিক পেপার নয় এবং ওয়াটারস এর সীমাবদ্ধতা স্বীকার করে। গেমটি খেলোয়াড়দের হুমকির বিষয়ে সতর্ক করেছে এবং কৃত্রিম সময়ের চাপ প্রয়োগ করেছে যা বাস্তব উন্নয়ন পরিবেশকে পুরোপুরি প্রতিফলিত করতে পারে না। কিন্তু মূল অনুসন্ধান, চাপের মধ্যে প্রশিক্ষিত মানব পর্যালোচকরা ইচ্ছাকৃতভাবে ছদ্মবেশী আক্রমণের এক তৃতীয়াংশ মিস করেন, প্রতিটি দলকে তাদের নিরাপত্তা মডেল পুনর্বিবেচনা করার জন্য এআই কোডিং এজেন্টদের মোতায়েন করার কারণ দেওয়া উচিত।

আজকে এআই এজেন্টদের নিয়ে তৈরি ডেভেলপারদের জন্য, বাস্তবসম্মত উপায় হল অনুমান করা যে মানব-ইন-দ্য-লুপ শেষ পর্যন্ত ব্যর্থ হবে। আপনার এজেন্ট অনুমতি এবং স্যান্ডবক্সিং ডিজাইন করুন যাতে অনুমোদন মিস হওয়া মানে ফাঁস হওয়া AWS কী বা আপস করা বিল্ড পাইপলাইন না হয়। ডেটা পরামর্শ দেয় যে মানুষের পর্যালোচনাকে আপনার প্রাথমিক প্রতিরক্ষা হিসাবে বিবেচনা করা একটি বাজি যা পরিশোধ করে না।

এআই থেকে এগিয়ে থাকুন

এআই এজেন্ট নিরাপত্তা ল্যান্ডস্কেপ দ্রুত বিকশিত হচ্ছে। সাম্প্রতিক AI উন্নয়ন এবং ব্রেকিং রিসার্চ সম্পর্কে অবগত থাকুন।

আরও এআই খবর পড়ুন →