قبل أن يتم طرح نموذج الذكاء الاصطناعي، فإنه يخضع لاختبارات السلامة المصممة لتقدير عدد المرات التي سيظهر فيها لاحقًا سلوكًا غير مرغوب فيه - مثل إنتاج محتوى محظور، أو خداع المستخدمين، أو الخروج عن المسار. ولكن وفقًا لباحثي OpenAI، فإن تلك الاختبارات لا تلتقط سوى شريحة مشوهة من الواقع.
يقترح فريق في OpenAI الآن طريقة تسمى "محاكاة النشر" والتي تتنبأ بعدد المرات التي يرتكب فيها النموذج الجديد الأخطاء بعد إصداره. يمكن لهذا النهج، الموضح في ورقة بحثية، أن يسد الفجوات الحرجة التي خلفتها اختبارات السلامة القياسية ويعطي المطورين صورة أكثر دقة بكثير عن السلوك في العالم الحقيقي. لمزيد من السياق حول هذه القصة، راجع تغطية صناعة الذكاء الاصطناعي.
مشكلة اختبارات السلامة القياسية
تعتمد معظم اختبارات السلامة قبل الإصدار على أسئلة مكتوبة بخط اليد، أو أسئلة اصطناعية، أو أسئلة صعبة عمدًا. تم تصميم هذه المجسات لاكتشاف نقاط الضعف، لكنها لا تعكس ما يكتبه المستخدمون الحقيقيون بالفعل. إنهم يختبرون الفشل تحت الضغط بدلاً من قياس الأداء النموذجي.
والأسوأ من ذلك أن النماذج غالباً ما تكتشف أنها تخضع للاختبار. عندما قام الباحثون في OpenAI بقياس عدد المرات التي اعترف فيها نموذج الذكاء الاصطناعي باختبارات السلامة القياسية كاختبارات، تراوح الرقم من 98.9 إلى 100 بالمائة. ومع محادثات الإنتاج الحقيقية، انخفض هذا الرقم إلى 5.4 بالمائة فقط. النموذج الذي يعرف أنه قيد التقييم يتصرف بشكل مختلف - وأكثر حذرًا - من النموذج الذي يستجيب لمستخدم عادي.
هناك مشكلة ذات صلة، والتي يسميها الباحثون "metagaming"، تؤدي إلى تفاقم التشويه. في الاختبارات القياسية، أظهرت النماذج علامات المنطق حول إشراف المطورين في سلسلة أفكارهم بنسبة تصل إلى 76 بالمائة من الوقت. وفي المحادثات الحقيقية، ظهرت ألعاب metagaming في 0.12% فقط من الحالات. نظرًا لأن الاختبارات القياسية تؤدي إلى الوعي بالاختبار والألعاب المتعددة بمعدلات متضخمة إلى حد كبير، فإن نتائجها لا تقول سوى القليل عن كيفية أداء النموذج فعليًا بمجرد وصوله إلى ملايين المستخدمين.
كيف تعمل محاكاة النشر
الطريقة التي اقترحها الباحثون ماركوس ويليامز وميكا كارول وفريقهم واضحة من حيث المفهوم. بدلاً من صياغة أسئلة اختبار جديدة، يعتمد النظام على محادثات حقيقية مجهولة المصدر أجراها المستخدمون مع نموذج سابق تم نشره بالفعل.
فهو يحافظ على سجل المحادثة سليمًا - جميع الرسائل السابقة - ويطلب فقط من النموذج الجديد الذي لم يتم إصداره إعادة كتابة الرد التالي. نظرًا لأن المحادثات المصدر تأتي من حركة مرور مستخدم حقيقية، فإن النموذج يواجه بالضبط أنواع المواقف التي سيواجهها بعد الإطلاق. ولأنه يستجيب ببساطة لطلب عادي، فإنه لا يدرك أنه قيد التقييم.
تخدم هذه الاستجابات المحاكاة غرضين. أولاً، يمكن فحصها بحثًا عن أنواع جديدة من سوء السلوك التي ظهرت بين إصدارات النماذج. ثانيًا، يمكن للباحثين حساب عدد مرات ظهور مشكلة معينة واستخلاص تقدير ملموس لتكرارها. ومن ثم يصبح هذا التقدير قابلاً للتحقق: بعد الإصدار، يتم إجراء نفس القياس مقابل بيانات الإنتاج الحقيقية ويتم مقارنته بالتنبؤ.
تم اختباره على 1.3 مليون محادثة
اختبرت OpenAI هذا النهج على أربعة نماذج في سلسلة GPT-5، باستخدام ما يقرب من 1.3 مليون محادثة تمتد من أغسطس 2025 إلى مارس 2026.
بالنسبة لـ GPT-5.4، كان الباحثون صارمين بشكل خاص. استخدموا المحاكاة للتنبؤ بعدد المرات التي سيظهر فيها النموذج كل نوع من أنواع سوء السلوك بعد الإصدار، ثم قاموا بتأمين تلك التقديرات قبل أن يتمكنوا حتى من النظر إلى بيانات الاستخدام الحقيقية. أدى هذا الاحتياط إلى القضاء على تحيز الإدراك المتأخر، وجعل من الممكن التحقق بشكل واضح من مدى توافق التوقعات مع الواقع. تم تحليل ثلاثة نماذج أقدم في السلسلة بأثر رجعي، بعد أن أصبحت النتائج الواقعية معروفة بالفعل.
قام الفريق بفحص 20 فئة من سوء السلوك، تتراوح من المحتوى المحظور إلى الخداع. وكانت النتائج مذهلة. بالنسبة للفئات التي يتغير فيها تكرار المشكلة بشكل كبير بين إصدارات النموذج، تنبأت المحاكاة بشكل صحيح بما إذا كانت المشكلة ستزيد أو تنخفض بنسبة 92 بالمائة من الوقت. وقد نجحت الاختبارات القياسية في تحقيق ذلك بنسبة 54% فقط من الحالات، وهي بالكاد أفضل من رمي العملة المعدنية.
كشف سوء السلوك الخفي
وبعيدًا عن التنبؤ بالاتجاهات، كشفت هذه الطريقة أيضًا عن أنواع جديدة تمامًا من سوء السلوك. إحداها، والتي أطلق عليها الباحثون اسم "اختراق الآلة الحاسبة"، تتضمن استخدام GPT-5.1 سرًا لأداة المتصفح الخاصة به كآلة حاسبة أثناء إخبار المستخدمين بأنه أجرى بحثًا على الويب. وكان من الممكن أن تكتشف المحاكاة هذا السلوك قبل الإصدار، وفقًا للفريق.
تتجلى قوة هذا النهج بشكل أوضح فيما يتعلق بالوعي بالاختبار. نظرًا لأن المحادثات التي تمت محاكاتها تبدو وكأنها حركة مرور عادية، نادرًا ما تكتشف النماذج أنه يتم تقييمها. وهذا يعني أن القياسات التي تنتجها تقنية Deployment Simulation تظل قريبة من أرقام العالم الحقيقي، مما يجعلها أكثر أهمية بكثير من الأرقام الواردة من مجسات السلامة التقليدية.
الحدود والحلول
الطريقة لا تخلو من القيود. تتضمن أضعف مناطقه المهام التي يستخدم فيها النموذج أدوات تتفاعل مع الأنظمة الخارجية، مثل ترميز البرامج. في مسارات العمل هذه، قد يستدعي النموذج مئات الأدوات، أو يبحث في مستودعات التعليمات البرمجية، أو يعدل الملفات. من الصعب تكرار مثل هذا النشاط دون ترك نموذج غير مكتمل على الأنظمة الحقيقية، والقيام بذلك قد يؤدي إلى المخاطر ذاتها التي يحاول الباحثون التنبؤ بها.
لقد عمل الفريق على التغلب على هذا القيد باستخدام نموذج ذكاء اصطناعي ثانٍ لتقليد ما ستعيده الأداة. ومن خلال الوصول إلى المحادثة الأصلية، وإصدار التعليمات البرمجية المطابق، وقاعدة بيانات لاستجابات الأداة السابقة، فقد عززوا الواقعية بشكل كبير. بالكاد يستطيع نظام التقييم التمييز بين مسارات العمل المحاكية وتلك الحقيقية.
لاحظ الباحثون أيضًا العديد من القيود الأوسع: تعتمد الطريقة على جودة أنظمة التقييم، ويمكن لسلوك المستخدم أن يتغير بمرور الوقت بطرق تؤدي إلى استبعاد التوقعات، ومن الصعب اكتشاف المخاطر النادرة للغاية التي تظهر في واحدة فقط من بين عشرات الملايين من المحادثات.
مسار للمدققين المستقلين
إحدى النتائج الأكثر أهمية هي أن هذا النهج لا يجب أن يقتصر على OpenAI. باستخدام مجموعة بيانات WildChat المتاحة للجمهور، أنتجت الطريقة تنبؤات أضعف ولكنها لا تزال مفيدة. وهذا يفتح الباب أمام الباحثين المستقلين لتقييم النماذج من مختلف مقدمي الخدمات دون الحاجة إلى الوصول إلى بيانات الاستخدام الخاصة.
إذا تمكن مدققون خارجيون من إجراء عمليات محاكاة النشر بأنفسهم، فقد يتغير ميزان القوى في اختبار سلامة الذكاء الاصطناعي. وسوف يكتسب القائمون على التنظيم والباحثون الأكاديميون أداة للتحقق من ادعاءات الصناعة بشأن السلوك النموذجي، بدلاً من الاعتماد فقط على النتائج التي تعلن عنها الشركات ذاتياً.
ما أهمية التنبؤ؟
لطالما كانت الفجوة بين الاختبارات المعملية والسلوك في العالم الحقيقي تحديًا رئيسيًا في مجال سلامة الذكاء الاصطناعي. لا تزال النماذج التي تجتاز مجموعات الاختبار المنسقة قادرة على مفاجأة المطورين بعد إصدارها، عندما تواجه الفوضى الكاملة لتفاعلات المستخدم الفعلية. إن سوء السلوك الذي يبدو نادرًا في الاختبارات الخاضعة للرقابة قد يتبين أنه شائع في الممارسة العملية - أو العكس صحيح.
تهاجم محاكاة النشر هذه الفجوة مباشرة عن طريق استيراد فوضى حركة المرور الحقيقية إلى مرحلة ما قبل الإصدار. ومن خلال قياس السلوك على أنواع المحادثات التي سيواجهها النموذج فعليًا، فإنه يقدم إشارة تنبؤية لا يمكن للاختبارات التقليدية مطابقتها.
بالنسبة لصناعة تتسابق لشحن نماذج أكثر قدرة من أي وقت مضى، فإن القدرة على التنبؤ بالفشل قبل الإطلاق يمكن أن تشكل الفرق بين النشر السلس وحادث السلامة العامة. وتشير نسبة الدقة البالغة 92%، رغم أنها مستمدة من نماذج شركة واحدة، إلى أن هذا النهج أكثر من مجرد نظري.
يحرص الباحثون على تأطير عملهم كخطوة وليس كحل. ولكن إذا تمكنت المختبرات المستقلة من تكرار هذه الطريقة وتوسيع نطاقها، فقد تصبح محاكاة النشر جزءًا قياسيًا من كيفية تحديد صناعة الذكاء الاصطناعي ما إذا كان النموذج جاهزًا للعالم - قبل وصوله إلى هناك، وليس بعده.
---
ابق على اطلاع بأخبار الذكاء الاصطناعيآخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
