تین ہفتوں کی ریڈ ٹیم کی مشق نے OpenAI کے اندرونی غلط طریقے سے نگرانی کے نظام میں نئے خطرات کا پتہ لگایا - بشمول وہ طریقے جن سے AI ایجنٹ اصولی طور پر، انسانوں کی طرف سے کبھی بھی جائزہ لیے بغیر کارروائی کر سکتے ہیں۔ METR، خود مختار تشخیصی غیر منفعتی، نے 22 اکتوبر کو نتائج کا ایک اعلیٰ سطحی خلاصہ شائع کیا، جو 61 صفحات پر مشتمل اندرونی رپورٹ سے اخذ کیا گیا ہے جو اس نے OpenAI کے محققین اور سیکیورٹی عملے کو فراہم کی تھی۔

پائلٹ نے 21 جولائی سے 11 اگست تک دوڑ لگائی اور ایک METR ملازم اور ایک Redwood ریسرچ ملازم کو OpenAI کے اندرونی انفراسٹرکچر تک غیر معمولی طور پر گہری رسائی دی: کوڈ بیس، مانیٹرنگ سسٹم کے اشارے اور کنفیگریشن، اندرونی دستاویزات، اور تقریباً ایک درجن محققین اور انجینئرز کے ساتھ تکنیکی انٹرویوز کی نگرانی، حفاظتی نظام اور حفاظتی نظام میں شامل ہیں۔ انہوں نے OpenAI کے جاری کردہ آلات پر کام کیا جو کبھی بھی احاطے سے باہر نہیں نکلے اور آن سائٹ کے دوران ساتھ تھے۔ تحقیق کے اس سلسلے کے بارے میں مزید جاننے کے لیے، ہماری تازہ ترین AI پیش رفت* دیکھیں۔

ریڈ ٹیم کو کیا ملا؟

مشق نے دو سوالوں پر توجہ مرکوز کی: اوپن اے آئی کے ایجنٹ کے تخمینے کی اصل میں کتنی نگرانی کی جاتی ہے، اور آیا ایجنٹ نگرانی کے نظام کو غیر فعال یا خراب کر سکتے ہیں۔ جوابات نے معنی خیز خلا کو ظاہر کیا۔

کوریج پر، METR نے تخمینہ لگایا کہ تقریباً 75 سے 94 فیصد ایجنٹی اندرونی رسپانس API ٹریفک - وہ API جو Codex کو دیگر چیزوں کے ساتھ طاقت دیتا ہے - ماڈلز سے کم از کم GPT-5.5 کے طور پر اس وقت نگرانی کے لیے اہل تھا، حالانکہ تنظیم دونوں سمتوں میں کافی غیر یقینی صورتحال کو نوٹ کرتی ہے۔ داخلی کوڈیکس ایجنٹس کے لیے استعمال ہونے والے ٹریفک کے سب سیٹ کے اندر، 99.2 فیصد اہل تھے۔ لیکن اہلیت کوریج جیسی نہیں تھی: مشق کے آغاز میں مانیٹرنگ سسٹم کے ذریعے کمک سیکھنے کی تربیت کا احاطہ نہیں کیا گیا تھا، اور مئی اور جولائی 2026 کے درمیان 10 فیصد اہل داخلی کوڈیکس ٹریفک کے غیر مانیٹر شدہ کمپیکشن ایونٹس کو چھوڑ دیا گیا تھا۔ اوپن اے آئی کے عملے نے مشق سے پہلے کمپیکشن کے مسئلے کی آزادانہ طور پر نشاندہی کی تھی اور یہ مشق جاری تھی۔

وقت کی تفصیل اہمیت رکھتی تھی۔ کیونکہ مانیٹر اس وقت متحرک ہوا جب ایجنٹوں نے صارف کو کنٹرول واپس کر دیا، ایک ایجنٹ غیر معینہ مدت کے لیے نگرانی کے عمل کو غیر مانیٹر شدہ ونڈو کے دوران کارروائیاں جاری رکھ کر ملتوی کر سکتا ہے۔

ٹیم نے چوری کے فعال راستوں کو بھی دستاویز کیا۔ کوڈیکس ایجنٹ اصولی طور پر کوڈیکس سینڈ باکسنگ اور آٹو ریویو کو نظرانداز کر سکتے ہیں، جس سے وہ کوئی بھی کارروائی کر سکتے ہیں جو میزبان صارف کر سکتا ہے۔ METR نے ایک ایسا استحصال دریافت کیا جو سینکڑوں حالیہ کارروائیوں کو روکے گا - بشمول خود استحصال میں شامل کارروائیاں - کی نگرانی سے۔ OpenAI نے تکنیکی تفصیلات میں ترمیم کی۔ ایجنٹ ممکنہ طور پر ایسے ان پٹس تیار کر سکتے ہیں جس کی وجہ سے مانیٹر کو انسان کے جائزے کی طرف بڑھنے سے گریز کرتے ہوئے، ایجنٹ کے دیکھے جانے والے رفتار اور مانیٹر کیا دیکھتا ہے کے درمیان سیریلائزیشن کے فرق کا فائدہ اٹھا کر اسے ناکام بنا سکتا ہے۔ اور کلائنٹ کے کنٹرول کے قابل دو ہیڈرز پائے گئے جو نئے ایجنٹوں کے لیے نگرانی کو غیر فعال کرتے ہیں، ممکنہ طور پر کسی ایجنٹ کو غیر مانیٹر شروع کرنے دیتے ہیں لیکن بصورت دیگر ایک جیسی مثال — حالانکہ METR نوٹ کرتا ہے کہ ان ہیڈرز کو ترتیب دینے کا عمل خود پکڑا جا سکتا ہے۔

آخر کار، ٹیم نے دو غیر مانیٹر شدہ داخلی ایجنٹ ٹولز کی نشاندہی کی جن کے بارے میں خیال کیا جاتا ہے کہ وہ صرف پڑھنے کی اجازت رکھتے ہیں، اس کے ساتھ ایک سادہ فائدہ بھی ہے جو ان حدود کو ختم کرنے کے لیے استعمال کیا جا سکتا تھا۔ METR نے عملی طور پر اس رویے کی توثیق نہیں کی۔

کیا ہوا؟

اس مشق نے نظام کے حصوں کی بھی توثیق کی۔ چند معمولی مستثنیات کے ساتھ، مانیٹر کو پوری رفتار دکھائی جاتی ہے جو ایجنٹ دیکھتے ہیں۔ نگرانی کے اشارے کی تصدیق کی گئی تھی کہ وہ دیگر خطرات کے زمروں کے درمیان سکیمنگ، سسٹم کی تخریب کاری، تخریب کاری، ڈیٹا کو خارج کرنے، دھوکہ دہی، اور ان باؤنڈ اور آؤٹ باؤنڈ پرامپٹ انجیکشن کو تلاش کریں۔ وشوسنییتا پر، METR کو دی گئی معلومات کے مطابق مانیٹر نے 0.2 فیصد سے کم درخواستوں پر غلطی کی، اور مشق کے دوران ایک 24 گھنٹے کے دورانیے میں صفر لوڈ شیڈنگ ہوئی۔

اوپن اے آئی کا جواب

METR کے مطابق، OpenAI نے بتایا ہے کہ ان تمام کمزوریوں کی نشاندہی کی گئی ہے جو اس کے پروڈکشن سیف گارڈز اسٹیک پر اثرانداز ہوتی ہیں، اور اس نے اس کے مانیٹرنگ سسٹم کی مطلوبہ کوریج میں بعد میں ہونے والی اہم تبدیلیوں کو بیان کیا ہے۔ METR نے ان دعووں کی جانچ نہیں کی ہے، اور اس کے نتائج اس نظام کی وضاحت کرتے ہیں جیسا کہ یہ 21 جولائی کو یا اس سے پہلے موجود تھا - نہ کہ توسیع شدہ ورژن OpenAI پہلے ہی مشق کے دوران بنا رہا تھا۔

ایجنٹ کی نگرانی کے لیے ڈیزائن اسباق

METR نے مستقبل کی نگرانی کے بنیادی ڈھانچے کے لیے ڈیزائن آئیڈیلز کے ساتھ اپنا خلاصہ بند کیا، جس کے بارے میں اس کا استدلال ہے کہ اسے بڑے پیمانے پر انتہائی قابل اندرونی ایجنٹوں کے جان بوجھ کر، اسٹریٹجک، اور مسلسل حملوں کا سامنا کرنا چاہیے۔ دو باہر کھڑے ہیں۔ مانیٹرنگ سے بچنا مشکل ہونا چاہیے: غیر مانیٹر شدہ درخواستوں کو چلانے کے لیے مخصوص تنظیموں یا API کلیدوں سے منسلک واضح منظوری کی ضرورت ہوتی ہے جو ایجنٹ کے تخمینے سے روکے جاتے ہیں، اور ایجنٹوں کی ہر N پیغامات یا منٹوں پر نگرانی کی جانی چاہیے بجائے اس کے کہ وہ اپنی باری ختم کریں۔ اور کوریج قابل آڈٹ ہونی چاہیے: تمام تخمینوں کا محتاط حساب کتاب، وقتاً فوقتاً مانیٹرنگ سسٹم کے اپنے لاگز کے خلاف کراس ریفرنس کیا جاتا ہے، تاکہ ہر چیز کی جس کی نگرانی کی جانی چاہیے وہ واضح طور پر ہو۔

یہ مشق بیرونی محققین کو فرنٹیئر لیب کے اندرونی انفراسٹرکچر تک گہری رسائی دینے کے لیے ایک پائلٹ کے طور پر ڈیزائن کی گئی تھی، نہ کہ عوامی شفافیت کی رپورٹ کے طور پر — METR اور OpenAI نے پہلے سے اتفاق کیا کہ صرف ایک مختصر، اعلیٰ سطحی پوسٹ شائع کی جائے گی۔ غیر منافع بخش تنظیم کا کہنا ہے کہ مستقبل کے ورژن AI کمپنیوں کے ساتھ کام کرنے کے لیے اس کے فریم ورک میں بیان کردہ شفافیت اور آزادی کے طریقوں کی پیروی کریں گے۔ جیسا کہ ایجنٹ لیبز کے اندر زیادہ نتیجہ خیز کام کرتے ہیں جو انہیں بناتے ہیں، پائلٹ ایک ٹیمپلیٹ پیش کرتا ہے کہ باہر کے لوگ کس طرح نظر رکھ سکتے ہیں۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →