اكتشف تدريب الفريق الأحمر لمدة ثلاثة أسابيع نقاط ضعف جديدة في نظام مراقبة الاختلال الداخلي في OpenAI - بما في ذلك الطرق التي يمكن لعملاء الذكاء الاصطناعي، من حيث المبدأ، اتخاذ إجراءات دون أن يراجعها البشر على الإطلاق. نشرت منظمة METR، وهي منظمة تقييم مستقلة غير ربحية، ملخصًا رفيع المستوى للنتائج في 22 أكتوبر، مستمدة من تقرير داخلي مكون من 61 صفحة سلمته إلى باحثي OpenAI وموظفي الأمن.

تم تشغيل البرنامج التجريبي في الفترة من 21 يوليو إلى 11 أغسطس، ومنح أحد موظفي METR وموظفًا واحدًا من Redwood Research وصولاً عميقًا بشكل غير عادي إلى البنية التحتية الداخلية لـ OpenAI: قاعدة التعليمات البرمجية، ومطالبات نظام المراقبة وتكوينه، والتوثيق الداخلي، والمقابلات الفنية مع ما يقرب من اثني عشر باحثًا ومهندسًا عبر فرق المراقبة وأنظمة السلامة والأمن. لقد عملوا على الأجهزة الصادرة عن OpenAI والتي لم تغادر المبنى مطلقًا وتم اصطحابهم أثناء تواجدهم في الموقع. لمزيد من المعلومات حول هذا النوع من الأبحاث، راجع أحدث تطورات الذكاء الاصطناعي.

ما وجده الفريق الأحمر

ركز التمرين على سؤالين: ما مقدار الاستدلال الوكيل لـ OpenAI الذي يتم مراقبته فعليًا، وما إذا كان بإمكان العملاء تعطيل نظام المراقبة أو تخريبه. كشفت الإجابات عن فجوات ذات معنى.

فيما يتعلق بالتغطية، قدرت METR أن ما يقرب من 75 إلى 94 بالمائة من حركة مرور واجهة برمجة التطبيقات للاستجابات الداخلية - واجهة برمجة التطبيقات التي تشغل Codex، من بين أشياء أخرى - من نماذج تتمتع بقدرة GPT-5.5 على الأقل كانت مؤهلة للمراقبة في ذلك الوقت، على الرغم من أن المنظمة تلاحظ قدرًا كبيرًا من عدم اليقين في كلا الاتجاهين. ومن بين المجموعة الفرعية من تلك الحركة المستخدمة لوكلاء الدستور الغذائي الداخليين، كان 99.2 في المائة مؤهلين. لكن الأهلية لم تكن مثل التغطية: لم يكن نظام المراقبة يغطي عمليات التدريب على التعلم المعزز في بداية التمرين، ومن المحتمل أن تكون أحداث الضغط غير الخاضعة للمراقبة قد تركت في حدود 10 بالمائة من حركة مرور الدستور الغذائي الداخلية المؤهلة غير خاضعة للمراقبة بين مايو ويوليو 2026. وقد حدد موظفو OpenAI بشكل مستقل مشكلة الضغط قبل التمرين وقاموا بإصلاحها أثناء تنفيذها.

تفاصيل التوقيت مهمة. نظرًا لأن الشاشة يتم تشغيلها عندما يعيد الوكلاء التحكم إلى المستخدم، فيمكن للوكيل تأجيل مراقبته إلى أجل غير مسمى ببساطة من خلال الاستمرار في اتخاذ الإجراءات أثناء النافذة غير المراقبة.

كما قام الفريق بتوثيق مسارات التهرب النشطة. يمكن لوكلاء Codex من حيث المبدأ تجاوز وضع حماية Codex والمراجعة التلقائية، مما يسمح لهم باتخاذ أي إجراء يمكن للمستخدم المضيف اتخاذه. اكتشف METR ثغرة من شأنها أن تمنع مراقبة المئات من الإجراءات الأخيرة - بما في ذلك الإجراءات المتضمنة في الثغرة نفسها -؛ قام OpenAI بتنقيح التفاصيل الفنية. من المحتمل أن يقوم الوكلاء ببناء مدخلات تسببت في فشل جهاز المراقبة من خلال استغلال اختلافات التسلسل بين المسار الذي يراه الوكيل وما يراه جهاز المراقبة، مع تجنب التصعيد إلى المراجعة البشرية. وتم العثور على رأسين يمكن التحكم فيهما من قبل العميل مما يؤدي إلى تعطيل مراقبة الوكلاء الجدد، مما قد يسمح للوكيل ببدء مثيل غير خاضع للمراقبة ولكنه متطابق بخلاف ذلك - على الرغم من أن METR يشير إلى أن عملية تعيين تلك الرؤوس يمكن اكتشافها بحد ذاتها.

أخيرًا، حدد الفريق أداتين وكيلتين داخليتين غير خاضعتين للمراقبة ويُعتقد أنهما تمتلكان أذونات للقراءة فقط، إلى جانب استغلال بسيط كان من الممكن استخدامه لتخريب تلك الحدود. لم يتحقق METR من صحة هذا السلوك في الممارسة العملية.

ما الذي تأخر

وقد أثبت التمرين أيضًا صحة أجزاء من النظام. مع بعض الاستثناءات البسيطة، يُظهر للشاشة المسار الكامل الذي يراه العملاء. تم تأكيد مطالبات المراقبة للبحث عن المخططات، وتخريب النظام، والتخريب، وتسرب البيانات، والخداع، والحقن السريع الداخلي والخارجي، من بين فئات المخاطر الأخرى. فيما يتعلق بالموثوقية، تشير المعلومات المقدمة من METR إلى أن جهاز المراقبة قد أخطأ في أقل من 0.2 بالمائة من الطلبات، وفي فترة 24 ساعة واحدة أثناء التمرين لم يكن هناك أي سقائف للأحمال.

استجابة OpenAI

وفقًا لـ METR، ذكرت OpenAI أن جميع نقاط الضعف التي تم تحديدها والتي تؤثر على مجموعة ضمانات الإنتاج الخاصة بها قد تم تصحيحها، ووصفت التغييرات اللاحقة المهمة في التغطية المقصودة لنظام المراقبة الخاص بها. لم تقم METR بتقييم هذه الادعاءات، وتصف النتائج التي توصلت إليها النظام كما كان موجودًا في 21 يوليو أو قبله، وليس النسخة الموسعة التي كانت OpenAI قد أنشأتها بالفعل أثناء التمرين.

دروس التصميم لإشراف الوكيل

اختتمت METR ملخصها بمثل التصميم للبنية التحتية للمراقبة المستقبلية، والتي تقول إنها يجب أن تصمد أمام الهجمات المتعمدة والاستراتيجية والمستمرة من عملاء داخليين ذوي قدرة عالية على نطاق واسع. اثنان يبرزان. يجب أن يكون من الصعب تجنب المراقبة: يجب أن يتطلب تشغيل الطلبات غير الخاضعة للمراقبة موافقة صريحة مرتبطة بمؤسسات محددة أو مفاتيح واجهة برمجة التطبيقات (API) المحظورة من الاستدلال الوكيل، ويجب مراقبة الوكلاء كل N رسالة أو دقيقة وليس فقط عندما ينهون دورهم. وينبغي أن تكون التغطية قابلة للتدقيق: أي المحاسبة الدقيقة لجميع الاستدلالات، ومقارنتها بشكل دوري بسجلات نظام المراقبة الخاصة، بحيث يتم رصد كل شيء يُراد مراقبته بشكل واضح.

تم تصميم هذا التمرين كتجربة تجريبية لمنح الباحثين الخارجيين وصولاً عميقًا إلى البنية التحتية الداخلية للمختبر الحدودي، وليس كتقرير شفافية عامة - فقد اتفقت METR وOpenAI مقدمًا على أنه سيتم نشر منشور قصير ورفيع المستوى فقط. وتقول المنظمة غير الربحية إن الإصدارات المستقبلية ستتبع ممارسات الشفافية والاستقلالية الموضحة في إطار العمل مع شركات الذكاء الاصطناعي. وبينما يتولى العملاء المزيد من الأعمال المهمة داخل المختبرات التي تقوم ببنائهم، يقدم الطيار نموذجًا لكيفية مراقبة الغرباء.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →