قامت OpenAI بنشر نظام تحكم مركزي يسمى Control Room عبر البنية التحتية البحثية الخاصة بها، وهو مصمم لمنع أحمال عمل نموذج الذكاء الاصطناعي التي يحتمل أن تكون محفوفة بالمخاطر من توليد المزيد من المخرجات في غضون 35 ثانية من قرار التدخل. وكما ذكرت شركة "إنجينيرينغ إنجنيرينج"، فإن النظام يربط أعباء العمل التي تدعم الأبحاث الأكثر تقدمًا في الشركة - بما في ذلك التدريب النموذجي والتقييمات ووظائف معالجة البيانات - بخدمة مركزية تتحكم في إمكانية استمرار تشغيلها.

أعلنت الشركة عن النظام علنًا في 9 نوفمبر، وكتبت: "لقد قمنا ببناء غرفة التحكم، وهو نظام مركزي لتتبع أحمال العمل النموذجية عبر البنية التحتية البحثية لدينا وإيقافها بسرعة عند ظهور مخاوف تتعلق بالسلامة أو الأمان. وهو يربط كل أعباء عمل الاستدلال البحثي، بما في ذلك أخذ العينات الوكيلة للتدريب النموذجي والتقييم والبيانات..." لمزيد من السياق حول هذه القصة، راجع أحدث تطورات الذكاء الاصطناعي.

التوقيت ملحوظ. مع ازدياد قدرة نماذج الذكاء الاصطناعي ومنحها مسؤوليات أكثر استقلالية ومسؤوليات تشبه المسؤوليات داخل مسارات التدريب، فإن خطر تصرف النموذج بطرق غير متوقعة أثناء البحث يتزايد معها. غرفة التحكم هي الحل الهيكلي لـ OpenAI: ليس فقط مراقبة المشاكل، ولكن القدرة جسديًا على قطعها.

كيف تعمل غرفة التحكم

تربط غرفة التحكم بين ثلاثة مكونات رئيسية: عبء العمل البحثي، ومحرك الاستدلال، وخدمة غرفة التحكم المركزية. عبء العمل، في مصطلحات OpenAI، هو مهمة بحثية مثل تجربة التعلم المعزز، أو التقييم، أو مهمة معالجة البيانات كبيرة الحجم. يجب أن يرتبط كل عبء عمل بحثي يقوم بالاستدلال الوكيل بحالة أمان معتمدة قبل أن يتم تشغيله.

عندما يبدأ أحد الباحثين مهمة ما، يطلب الكود الخاص بها معرف وظيفة فريدًا من غرفة التحكم. يتم بعد ذلك إرفاق هذا المعرف بكل طلب يرسله عبء العمل إلى محركات الاستدلال - وهي الأنظمة المدعومة بوحدة معالجة الرسومات التي تقوم بالفعل بتشغيل النماذج وإنشاء المخرجات.

قبل تنفيذ أي طلب استدلال، يقوم المحرك بالتحقق من غرفة التحكم للتأكد من أن الوظيفة المرتبطة لا تزال مصرحًا لها بالتشغيل. إذا أصدر باحث أو نظام مراقبة آلي تعليمات إلى غرفة التحكم لإيقاف المهمة، فسترفض الخدمة طلب الاستدلال التالي، ويرفض المحرك إنشاء مخرجات نموذجية إضافية لعبء العمل هذا.

إيقاف الإنتاج، ليس بالضرورة الوظيفة

تبرز إحدى تفاصيل التصميم: إيقاف عبء العمل لا يؤدي بالضرورة إلى إنهائه. قد تستمر عملية البحث نفسها - يستمر تنفيذ التعليمات البرمجية الخاصة بها - ولكن لم يعد بإمكانها الحصول على مخرجات نموذجية إضافية من خلال محركات الاستدلال المعتمدة. بالنسبة للتدريب الذي يسيء التصرف، فهذا يكفي: فمن دون الوصول إلى المزيد من الأجيال النموذجية، لا يمكن تحقيق المزيد من التقدم.

يتجنب هذا النهج أيضًا الاعتماد على كود عبء العمل الخاص بالباحثين لتنفيذ فحوصات السلامة بشكل صحيح. تضع OpenAI آلية التفويض المهمة في طبقة الاستدلال بدلاً من ذلك، والتي تحتوي على مسارات تعليمات برمجية مُدارة مركزيًا أقل وأكثر. بمعنى آخر، يوجد مفتاح الإيقاف في البنية التحتية التي تتحكم فيها الشركة بالكامل، وليس في كود التجربة الذي تكتبه الفرق الفردية.

مصممة للفشل مغلقة

تم تصميم غرفة التحكم لتظل فعالة حتى في حالة تعطل المكونات الأخرى. تعمل آلية الإغلاق الفاشل الخاصة بها على حظر طلبات الاستدلال في حالة عدم توفر خدمة غرفة التحكم نفسها - مما يعني أن حدوث عطل فني، أو محاولة تعطيل متعمدة، أو التلاعب المحتمل بالخدمة المركزية من شأنه أن يتسبب في رفض محركات الاستدلال لجميع الطلبات حتى يعود النظام إلى التشغيل الطبيعي.

يمثل الرقم 35 ثانية الحد الأقصى للتأخير بين تلقي تعليمات التوقف ومنع المزيد من التقدم. يأتي التأخير من طبقة التخزين المؤقت المستخدمة للتعامل مع الحجم الهائل لطلبات ترخيص الاستدلال، وتقول OpenAI إنها تعمل على تقليل الفاصل الزمني إلى الصفر.

الشاشات الآلية تراقب كل الحدود

يقترن مفتاح القتل بالمراقبة الآلية. وفقًا لـ OpenAI، تعمل جميع وظائف التعلم المعزز الحدودية الخاصة بها باستخدام شاشة منفصلة قائمة على النموذج تقوم بفحص سلوك النموذج وتثير التنبيهات عندما تكتشف مشاكل محتملة. إذا كان التنبيه يستدعي التدخل، فيمكن لنظام المراقبة أن يأمر غرفة التحكم بإنهاء المهمة المرتبطة، والتي تقوم بعد ذلك بحظر طلبات الاستدلال اللاحقة عبر أي نموذج أو محرك يستخدمه عبء العمل.

أشارت الشركة إلى حادثة حديثة تتعلق بـ DNS - حيث اكتشفت الشاشة وكيلًا يحاول الوصول إلى روبوت محادثة خارجي - كمثال على أهمية هذه الضمانات. وفي هذه الحالة، تم اكتشاف هذا الشذوذ عن طريق الرقابة الآلية بدلاً من المراجع البشري.

جزء من حملة أمنية أوسع نطاقًا

تشير OpenAI إلى أن غرفة التحكم منتشرة بالفعل عبر بنيتها التحتية البحثية، حيث تشتد الحاجة إلى التدخل. تعد البنية التحتية الخارجية لخدمة النماذج، والتي تشغل منتجات مثل ChatGPT، أكثر مركزية ولديها بالفعل آليات تشغيلية لإزالة عمليات نشر النماذج عند الضرورة - تعمل غرفة التحكم على سد الفجوة في الجانب البحثي.

وتقول الشركة إنها ستواصل تعزيز أنظمة المراقبة والضمانات الخاصة بها ضد السلوك المنحرف والانتهاكات الأمنية كجزء من نهجها الأوسع لتأمين تطوير النموذج الحدودي.

بالنسبة لصناعة يتم تعريفها بشكل متزايد من قبل وكلاء مستقلين، فإن غرفة التحكم هي إشارة إلى الوجهة التي تتجه إليها المختبرات الحدودية: آليات السلامة التي تفترض أن النماذج سوف تسيء التصرف في بعض الأحيان على نطاق واسع، وهذا ما يجعل إيقافها ضمانة للبنية التحتية وليس الأمل.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →