একটি তিন সপ্তাহের রেড-টিম অনুশীলন OpenAI-এর অভ্যন্তরীণ মিস্যালাইনমেন্ট মনিটরিং সিস্টেমে অভিনব দুর্বলতা খুঁজে পেয়েছে - যে উপায়গুলি সহ যেগুলি এআই এজেন্টরা, নীতিগতভাবে, মানুষের দ্বারা পর্যালোচনা না করেই পদক্ষেপ নিতে পারে৷ METR, স্বাধীন মূল্যায়ন অলাভজনক, 22 অক্টোবর ফলাফলের একটি উচ্চ-স্তরের সারসংক্ষেপ প্রকাশ করেছে, এটি একটি 61-পৃষ্ঠার অভ্যন্তরীণ প্রতিবেদন থেকে টানা হয়েছে যা এটি OpenAI গবেষক এবং নিরাপত্তা কর্মীদের কাছে সরবরাহ করেছে।

পাইলট 21 জুলাই থেকে 11 আগস্ট পর্যন্ত দৌড়েছিলেন এবং একজন METR কর্মী এবং একজন রেডউড রিসার্চ কর্মীকে OpenAI-এর অভ্যন্তরীণ পরিকাঠামোতে অস্বাভাবিকভাবে গভীর অ্যাক্সেস দিয়েছেন: কোডবেস, মনিটরিং সিস্টেমের প্রম্পট এবং কনফিগারেশন, অভ্যন্তরীণ ডকুমেন্টেশন এবং প্রায় এক ডজন গবেষক এবং প্রকৌশলীর সাথে টেকনিক্যাল ইন্টারভিউ নিরীক্ষণ, নিরাপত্তা-ব্যবস্থা এবং নিরাপত্তা ব্যবস্থায়। তারা ওপেনএআই-জারি করা ডিভাইসগুলিতে কাজ করেছিল যেগুলি কখনই প্রাঙ্গন ছেড়ে যায় না এবং অনসাইটের সময় সাথে ছিল। গবেষণার এই লাইন সম্পর্কে আরও জানতে, আমাদের नवीनतम AI উন্নয়ন দেখুন।

রেড টিম কি খুঁজে পেয়েছে

অনুশীলনটি দুটি প্রশ্নের উপর দৃষ্টি নিবদ্ধ করে: ওপেনএআই-এর এজেন্টিক অনুমান কতটা নিরীক্ষণ করা হয় এবং এজেন্টরা মনিটরিং সিস্টেমকে নিষ্ক্রিয় বা বিকৃত করতে পারে কিনা। উত্তরগুলি অর্থপূর্ণ ফাঁক প্রকাশ করেছে।

কভারেজের উপর, METR অনুমান করেছে যে আনুমানিক 75 থেকে 94 শতাংশ এজেন্টিক অভ্যন্তরীণ প্রতিক্রিয়া API ট্র্যাফিক — যে API কোডেক্সকে শক্তি দেয়, অন্যান্য জিনিসগুলির মধ্যে — মডেলগুলি থেকে অন্তত GPT-5.5 এর মতো সক্ষম সেই সময়ে নজরদারির জন্য যোগ্য ছিল, যদিও সংস্থাটি উভয় দিকেই যথেষ্ট অনিশ্চয়তা নোট করেছে৷ অভ্যন্তরীণ কোডেক্স এজেন্টদের জন্য ব্যবহৃত ট্রাফিকের উপসেটের মধ্যে, 99.2 শতাংশ যোগ্য ছিল। কিন্তু যোগ্যতা কভারেজের মতো ছিল না: অনুশীলনের শুরুতে রিইনফোর্সমেন্ট-লার্নিং ট্রেনিং রানগুলি মনিটরিং সিস্টেমের দ্বারা কভার করা হয়নি, এবং মে এবং জুলাই 2026-এর মধ্যে 10 শতাংশ যোগ্য অভ্যন্তরীণ কোডেক্স ট্র্যাফিকের উপর নজরদারি ছাড়াই কমপ্যাকশন ইভেন্টগুলি বাকি থাকতে পারে। ওপেনএআই কর্মীরা অনুশীলনের আগে কমপ্যাকশন সমস্যাটিকে স্বাধীনভাবে চিহ্নিত করেছিল এবং এটি অনুশীলনের আগে ছিল।

সময় বিস্তারিত গুরুত্বপূর্ণ. যেহেতু এজেন্টরা ব্যবহারকারীর কাছে নিয়ন্ত্রণ ফিরিয়ে দিলে মনিটরটি ট্রিগার হয়, তাই একজন এজেন্ট অনির্দিষ্টকালের জন্য নিরীক্ষণ করা স্থগিত করতে পারে কেবলমাত্র অনির্বাচিত উইন্ডো চলাকালীন পদক্ষেপ নেওয়া চালিয়ে যাওয়ার মাধ্যমে।

দলটি সক্রিয় চুরির পথগুলিও নথিভুক্ত করেছে। কোডেক্স এজেন্টরা নীতিগতভাবে কোডেক্স স্যান্ডবক্সিং এবং অটো-রিভিউকে বাইপাস করতে পারে, যাতে হোস্ট ব্যবহারকারী যে কোনো পদক্ষেপ নিতে পারে। METR এমন একটি শোষণ আবিষ্কার করেছে যা শত শত সাম্প্রতিক ক্রিয়াকলাপকে আটকাতে পারে — শোষণের সাথে জড়িত ক্রিয়াগুলি সহ — নিরীক্ষণ করা থেকে; OpenAI প্রযুক্তিগত বিবরণ সংশোধন করেছে। এজেন্টরা সম্ভবত এমন ইনপুট তৈরি করতে পারে যার কারণে এজেন্ট যে ট্র্যাজেক্টোরি দেখে এবং মনিটর যা দেখে তার মধ্যে ক্রমিককরণের পার্থক্যকে কাজে লাগিয়ে মনিটরকে ব্যর্থ করে দেয়, মানুষের পর্যালোচনায় বৃদ্ধি এড়ানো। এবং দুটি ক্লায়েন্ট-নিয়ন্ত্রণযোগ্য শিরোনাম পাওয়া গেছে যেগুলি নতুন এজেন্টের জন্য নিরীক্ষণ অক্ষম করে, সম্ভাব্যভাবে একজন এজেন্টকে একটি অনিয়ন্ত্রিত কিন্তু অন্যথায় অভিন্ন উদাহরণ শুরু করতে দেয় — যদিও METR নোট করে যে সেই শিরোনামগুলি সেট করার কাজটি নিজেই ধরা যেতে পারে।

অবশেষে, দলটি দুটি অ-নিরীক্ষণহীন অভ্যন্তরীণ এজেন্টিক সরঞ্জাম সনাক্ত করেছে যা বিশ্বাস করা হয় যে শুধুমাত্র পাঠযোগ্য অনুমতি রয়েছে, একটি সাধারণ শোষণের সাথে যা সেই সীমাগুলিকে নষ্ট করতে ব্যবহার করা যেতে পারে। METR অনুশীলনে সেই আচরণকে বৈধতা দেয়নি।

কি রাখা হয়েছে

অনুশীলনটি সিস্টেমের অংশগুলিকেও বৈধ করেছে। কিছু ছোটখাটো ব্যতিক্রমের সাথে, মনিটরটিকে এজেন্টরা যে সম্পূর্ণ ট্র্যাজেক্টোরি দেখতে পায় তা দেখানো হয়। পর্যবেক্ষণের প্রম্পটগুলি অন্যান্য ঝুঁকি বিভাগের মধ্যে ষড়যন্ত্র, সিস্টেম বিপর্যয়, নাশকতা, ডেটা অপসারণ, প্রতারণা, এবং অন্তর্মুখী এবং আউটবাউন্ড প্রম্পট ইনজেকশনের সন্ধানের জন্য নিশ্চিত করা হয়েছিল। নির্ভরযোগ্যতার উপর, এমইটিআর-এর দেওয়া তথ্যে বলা হয়েছিল যে 0.2 শতাংশেরও কম অনুরোধে মনিটরে ত্রুটি হয়েছে এবং অনুশীলনের সময় 24-ঘণ্টার সময় শূন্য লোডশেড ছিল।

OpenAI এর প্রতিক্রিয়া

METR-এর মতে, OpenAI বলেছে যে সমস্ত দুর্বলতা চিহ্নিত করা হয়েছে যা এর উৎপাদন সুরক্ষার স্ট্যাকের উপর প্রভাব ফেলে, প্যাচ করা হয়েছে, এবং তার পর্যবেক্ষণ সিস্টেমের উদ্দিষ্ট কভারেজের পরবর্তী উল্লেখযোগ্য পরিবর্তনগুলি বর্ণনা করেছে। METR সেই দাবিগুলিকে মূল্যায়ন করেনি, এবং এর ফলাফলগুলি 21 জুলাই বা তার আগে সিস্টেমটি যেভাবে বিদ্যমান ছিল তা বর্ণনা করে — অনুশীলনের সময় OpenAI ইতিমধ্যে তৈরি করা সম্প্রসারিত সংস্করণ নয়।

এজেন্ট তদারকির জন্য ডিজাইন পাঠ

METR ভবিষ্যত পর্যবেক্ষণের পরিকাঠামোর জন্য ডিজাইনের আদর্শের সাথে তার সারাংশ বন্ধ করে দিয়েছে, যা এটি যুক্তি দেয় যে স্কেলটিতে অত্যন্ত সক্ষম অভ্যন্তরীণ এজেন্টদের থেকে ইচ্ছাকৃত, কৌশলগত এবং টেকসই আক্রমণ প্রতিরোধ করা উচিত। দুজন দাঁড়িয়ে আছে। মনিটরিং এড়ানো কঠিন হওয়া উচিত: মনিটরিংহীন অনুরোধগুলি চালানোর জন্য নির্দিষ্ট সংস্থা বা API কীগুলির সাথে আবদ্ধ সুস্পষ্ট অনুমোদনের প্রয়োজন যা এজেন্টিক অনুমান থেকে বাধা রয়েছে, এবং এজেন্টদের প্রতিটি N বার্তা বা মিনিটের উপর নজর রাখা উচিত শুধুমাত্র যখন তারা তাদের পালা শেষ করে। এবং কভারেজ অডিটযোগ্য হওয়া উচিত: সমস্ত অনুমানের সতর্ক অ্যাকাউন্টিং, পর্যায়ক্রমে মনিটরিং সিস্টেমের নিজস্ব লগগুলির বিরুদ্ধে ক্রস-রেফারেন্স করা, যাতে সমস্ত কিছু প্রত্যক্ষভাবে পর্যবেক্ষণ করা যায়।

মহড়াটি বহিরাগত গবেষকদের একটি সীমান্ত ল্যাবের অভ্যন্তরীণ অবকাঠামোতে গভীর অ্যাক্সেস দেওয়ার জন্য একটি পাইলট হিসাবে ডিজাইন করা হয়েছিল, পাবলিক ট্রান্সপারেন্সি রিপোর্ট হিসাবে নয় - METR এবং OpenAI আগে থেকেই সম্মত হয়েছিল যে শুধুমাত্র একটি সংক্ষিপ্ত, উচ্চ-স্তরের পোস্ট প্রকাশিত হবে। অলাভজনক সংস্থাটি বলেছে যে ভবিষ্যতের সংস্করণগুলি এআই সংস্থাগুলির সাথে কাজ করার জন্য এর কাঠামোতে বর্ণিত স্বচ্ছতা এবং স্বাধীনতা অনুশীলনগুলি অনুসরণ করবে। যেহেতু এজেন্টরা তাদের তৈরি করা ল্যাবগুলির অভ্যন্তরে আরও ফলাফলমূলক কাজ করে, পাইলট একটি টেমপ্লেট অফার করে যে কীভাবে বহিরাগতরা নজর রাখতে পারে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →