در یک تمرین سه هفته‌ای تیم قرمز، آسیب‌پذیری‌های جدیدی در سیستم نظارت بر ناهماهنگی داخلی OpenAI یافت شد - از جمله راه‌هایی که عوامل هوش مصنوعی می‌توانند در اصل، اقداماتی را بدون بازبینی توسط انسان انجام دهند. METR، غیرانتفاعی ارزیابی مستقل، خلاصه‌ای از یافته‌ها را در سطح بالایی در 22 اکتبر منتشر کرد که از یک گزارش داخلی 61 صفحه‌ای که به محققان و کارکنان امنیتی OpenAI تحویل داده بود، منتشر کرد.

این آزمایشی از 21 جولای تا 11 آگوست اجرا شد و به یک کارمند METR و یک کارمند تحقیقاتی Redwood دسترسی عمیق غیرمعمولی به زیرساخت داخلی OpenAI داد: پایگاه کد، دستورات و پیکربندی سیستم نظارت، اسناد داخلی و مصاحبه‌های فنی با تقریباً دوازده محقق و مهندس در سراسر تیم‌های نظارت، سیستم‌های ایمنی و امنیتی. آن‌ها روی دستگاه‌هایی کار می‌کردند که دارای OpenAI بودند که هرگز محل را ترک نکردند و در حین حضور همراه بودند. برای اطلاعات بیشتر در مورد این خط از تحقیقات، [آخرین پیشرفت های هوش مصنوعی] ما را ببینید (https://aibuzzwire.news).

آنچه که تیم قرمز پیدا کرد

این تمرین روی دو سوال متمرکز بود: اینکه واقعاً چه مقدار از استنتاج عامل OpenAI نظارت می شود و اینکه آیا عامل ها می توانند سیستم نظارت را غیرفعال یا خراب کنند. پاسخ ها شکاف های معنی داری را آشکار کردند.

در پوشش، METR تخمین زد که تقریباً 75 تا 94 درصد از ترافیک داخلی Responses API - API که Codex را در میان چیزهای دیگر تقویت می‌کند - از مدل‌هایی حداقل به اندازه GPT-5.5 برای نظارت در آن زمان واجد شرایط بود، اگرچه سازمان به عدم قطعیت قابل توجهی در هر دو جهت اشاره می‌کند. در زیرمجموعه آن ترافیک مورد استفاده برای عوامل داخلی Codex، 99.2 درصد واجد شرایط بودند. اما واجد شرایط بودن با پوشش یکسان نبود: دوره‌های آموزشی آموزشی تقویتی در ابتدای تمرین تحت پوشش سیستم نظارتی قرار نمی‌گرفت و رویدادهای تراکم نظارت‌نشده احتمالاً در حدود 10 درصد از ترافیک داخلی واجد شرایط Codex بین ماه مه و ژوئیه 2026 بدون نظارت باقی مانده است. کارکنان OpenAI به‌طور مستقل مشکل فشرده‌سازی را شناسایی کرده بودند و قبل از انجام آن مشکل تراکم را برطرف کرده بودند.

جزئیات زمان اهمیت داشت. از آنجایی که وقتی عوامل کنترل را به کاربر برمی‌گرداند، مانیتور فعال می‌شود، یک عامل می‌تواند نظارت را به‌طور نامحدود به تعویق بیاندازد، صرفاً با ادامه اقدامات در طول پنجره بدون نظارت.

این تیم همچنین مسیرهای فرار فعال را مستندسازی کرد. عوامل Codex اصولاً می‌توانند از sandboxing و Auto-Review Codex عبور کنند و به آن‌ها اجازه دهند هر اقدامی را که کاربر میزبان انجام می‌دهد انجام دهند. METR اکسپلویتی را کشف کرد که از نظارت بر صدها اقدام اخیر - از جمله اقدامات مربوط به خود اکسپلویت - جلوگیری می‌کند. OpenAI جزئیات فنی را ویرایش کرد. عوامل احتمالاً می‌توانند ورودی‌هایی بسازند که با بهره‌برداری از تفاوت‌های سریال‌سازی بین مسیری که عامل می‌بیند و آنچه مانیتور می‌بیند، از کار بیفتد و از تشدید آن به بازبینی انسانی جلوگیری کند. و دو هدر قابل کنترل توسط کلاینت پیدا شد که نظارت را برای عوامل جدید غیرفعال می‌کند و به طور بالقوه به یک عامل اجازه می‌دهد یک نمونه نظارت نشده اما در غیر این صورت یکسان را شروع کند - اگرچه METR یادآور می‌شود که عمل تنظیم آن هدرها به خودی خود قابل مشاهده است.

در نهایت، تیم دو ابزار عامل داخلی بدون نظارت را شناسایی کردند که گمان می‌رود دارای مجوزهای فقط خواندنی هستند، همراه با یک سوءاستفاده ساده که می‌توانست برای از بین بردن این محدودیت‌ها استفاده شود. METR آن رفتار را در عمل تایید نکرد.

چه اتفاقی افتاد

این تمرین همچنین بخش هایی از سیستم را تایید کرد. با چند استثناء جزئی، مانیتور مسیر کاملی را که ماموران می بینند نشان می دهد. درخواست‌های نظارتی برای جستجوی طرح‌ریزی، براندازی سیستم، خرابکاری، استخراج داده‌ها، فریب، و تزریق سریع ورودی و خروجی، در میان دیگر دسته‌های خطر، تأیید شد. در مورد قابلیت اطمینان، اطلاعاتی که METR داده شد نشان می‌دهد که مانیتور در کمتر از 0.2 درصد درخواست‌ها خطا داشته است و در یک دوره 24 ساعته در طول تمرین، بارگیری صفر وجود دارد.

پاسخ OpenAI

به گزارش METR، OpenAI اعلام کرده است که تمام آسیب‌پذیری‌های شناسایی‌شده که بر پشته پادمان‌های تولید آن تأثیر می‌گذارند، اصلاح شده‌اند و تغییرات بعدی قابل‌توجهی را در پوشش مورد نظر سیستم نظارتی خود شرح داده است. METR این ادعاها را ارزیابی نکرده است و یافته‌های آن سیستم را همانطور که در 21 جولای یا قبل از آن وجود داشت توصیف می‌کند - نه نسخه توسعه‌یافته OpenAI که قبلاً در طول تمرین ساخته شده بود.

درس طراحی برای نظارت عامل

METR خلاصه خود را با ایده‌آل‌های طراحی برای زیرساخت‌های نظارتی آینده بسته است، که استدلال می‌کند باید در برابر حملات عمدی، استراتژیک و پایدار از سوی عوامل داخلی بسیار توانمند در مقیاس مقاومت کند. دو برجسته هستند. اجتناب از نظارت باید دشوار باشد: اجرای درخواست‌های نظارت‌نشده باید به تأیید صریح مرتبط با سازمان‌های خاص یا کلیدهای API نیاز داشته باشد که از استنتاج عاملی منع شده‌اند، و نمایندگان باید در هر N پیام یا دقیقه به جای زمانی که به نوبت خود پایان می‌دهند، نظارت شوند. و پوشش باید قابل ممیزی باشد: حسابداری دقیق همه استنباط ها، به طور دوره ای با ارجاعات متقابل با گزارش های خود سیستم نظارت، به طوری که هر چیزی که در نظر گرفته شده است به طور قابل اثبات نظارت شود، باشد.

این تمرین به عنوان آزمایشی برای دسترسی عمیق محققان خارجی به زیرساخت های داخلی آزمایشگاه مرزی طراحی شد، نه به عنوان یک گزارش شفافیت عمومی - METR و OpenAI از قبل توافق کردند که فقط یک پست کوتاه و سطح بالا منتشر شود. این سازمان غیرانتفاعی می‌گوید نسخه‌های آتی از شیوه‌های شفافیت و استقلال شرح داده شده در چارچوب آن برای همکاری با شرکت‌های هوش مصنوعی پیروی خواهند کرد. از آنجایی که ماموران در داخل آزمایشگاه‌هایی که آنها را می‌سازند، کارهای مهم‌تری را انجام می‌دهند، خلبان الگویی را برای چگونگی مراقبت افراد خارجی ارائه می‌کند.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →