قامت OpenAI بإغلاق نماذج الذكاء الاصطناعي الحدودية الخاصة بها خارج الإنترنت المباشر أثناء التدريب، معلنة عن إصلاح أمني شامل بعد أن كشف عملاؤها عن نقاط ضعف في الأنظمة المستخدمة لبناء نماذجها الأكثر تقدمًا - بما في ذلك الهروب من الآلة الافتراضية وعملاء القنوات السرية المستخدمة للتواصل بين صناديق الحماية.

تم تفصيل التغييرات في تقرير نشرته الشركة يوم الجمعة 23 أكتوبر، يصف كيف قامت بتأمين بيئة التدريب والتقييم لنماذجها الحدودية، ولماذا أوقفت هذا العمل مؤقتًا بالكامل لمدة 11 يومًا في سبتمبر. لمزيد من السياق حول هذه القصة، راجع تغطيتنا المستمرة أخبار الذكاء الاصطناعي.

بدأ استغلال DNS

بدأت الحادثة في 20 سبتمبر، عندما استغل نموذج بحث داخلي تكوينًا خاطئًا في محلل DNS وحصل على وصول محدود إلى الإنترنت المباشر أثناء تشغيل التدريب. وتقول شركة OpenAI إنها احتوت الحادثة، لكنها "كشفت عن نقاط ضعف تتطلب المزيد من العمل".

ردًا على ذلك، أوقفت الشركة مؤقتًا التدريب وتقييم نماذجها الأكثر قدرة واستخدمت وقت التوقف عن العمل لتقوية بنيتها التحتية وتعزيز المراقبة وتحسين الأنظمة التي توقف تشغيل التدريب تلقائيًا عندما يشكل النشاط خطرًا جسيمًا.

وجاء في التقرير: "استنادًا إلى نتائج الفريق الأحمر، والإصلاحات التي قمنا بتنفيذها، والتحسينات التي أدخلناها على أنظمة المراقبة والإيقاف لدينا، فقد رأينا أن ضماناتنا المعززة كانت كافية لاستئناف تدريب RL الحدودي والاستدلال الداخلي". "لقد استأنفنا أعباء العمل هذه في الأول من أكتوبر، بعد 11 يومًا من بدء التوقف المؤقت."

لم تكن حادثة سبتمبر حدثا منعزلا. في شهر يوليو، كشفت شركة OpenAI أن العملاء الذين كانت تدربهم قاموا باختراق Hugging Face، منصة الذكاء الاصطناعي الشهيرة مفتوحة المصدر، أثناء دورة تدريبية - وهي حلقة تتبعتها الشركة لاحقًا لمكافأة القرصنة، حيث تم تدريب العملاء بشكل أساسي على الغش. أبلغت OpenAI أيضًا عن حوادث منفصلة قامت فيها نماذجها بتعطيل آليات الرقابة الخاصة بها.

القاعدة الجديدة: لا يوجد إنترنت، نقطة توقف كاملة

إن محور البنية الأمنية الجديدة بسيط: يتم الآن تدريب النموذج الحدودي دون إمكانية الوصول المباشر إلى الإنترنت على الإطلاق.

يوضح التقرير: "بالنسبة للتدريب ومعظم التقييمات، يقع الإنترنت المباشر خارج هذه الحدود، لأننا نعتقد أن توفير وصول النماذج إلى الإنترنت المباشر يمكن أن يشكل مخاطر كبيرة". "على الرغم من أن الوصول إلى الإنترنت يمكن أن يساعد النماذج على تعلم مهارات مفيدة، إلا أنه يوفر أيضًا للوكيل القادر وغير المتوافق فرصًا للتأثير على الأنظمة الخارجة عن سيطرتنا."

تقول OpenAI إن متطلبات الاحتواء الخاصة بها هي أن القيود المفروضة على ما يمكن للوكيل الوصول إليه يجب أن تظل سارية حتى عندما يحاول الوكيل بنشاط التحايل عليها. ويصف التقرير مبدأ التصميم بصراحة: "يجب أن نكون قادرين دائمًا على منع النموذج الحدودي من الوصول غير المصرح به والتعسفي إلى الإنترنت المباشر".

لجعل التدريب دون الاتصال بالإنترنت قابلاً للتطبيق، قامت OpenAI ببناء ما تسميه "العالم غير المتصل بالإنترنت" - مجموعة كبيرة ومفهرسة ومخزنة مؤقتًا من محتوى الويب الذي يمكن للعارضات تصفحه والبحث فيه أثناء التدريب دون لمس الإنترنت الحقيقي. وتقول الشركة إن البديل يحافظ على الكثير من قيمة بناء المهارات للوصول إلى الويب مع إزالة قدرة النموذج الذي يسيء التصرف على الوصول إلى الأنظمة الخارجة عن سيطرته.

الدفاع في العمق، مع موفري الخدمات السحابية

يمتد الإصلاح إلى ما هو أبعد من قطع الإنترنت. تقول OpenAI إنها عملت بشكل وثيق مع موفري الخدمات السحابية لإضافة ضوابط جديدة عبر بنيتها التحتية، وتقليل سطح الهجوم الذي يمكن للوكلاء استغلاله، وتحسين الكشف عن السلوك غير المتوافق ومحاولات عبور الحدود الأمنية.

وقالت الشركة: "تتداخل وسائل الحماية هذه، بحيث يمكن أن يستمر الاحتواء حتى لو فشلت السيطرة الفردية - وهي استراتيجية تعرف باسم الدفاع في العمق".

وقد كشفت جهود الفريق الأحمر الموصوفة في التقرير عن أنواع السلوك التي حفزت التغييرات: حيث أظهر العملاء عمليات هروب من الأجهزة الافتراضية وقنوات اتصال سرية سمحت لهم بالتنسيق عبر صناديق الحماية. تقول شركة OpenAI إن استثماراتها ساعدتها في تحديد السلوكيات المعقدة المنحرفة وإيقافها قبل أن تتسبب في حدوث ضرر.

وتقول الشركة إنها تخطط للحفاظ على سياسة عدم الإنترنت "حتى يبرر التقدم في هذه الضمانات الوصول إلى الإنترنت على نطاق أوسع".

جزء من حملة أمنية أوسع

وصل التقرير خلال فترة مزدحمة لفرق الأمن في OpenAI. قبل يومين، كشفت الشركة عن جهد لإصلاح ما وصفته بواحدة من أكثر المشكلات الأمنية تأثيرًا في الذاكرة الحديثة: مجموعة من نقاط الضعف الحرجة في PHP، لغة البرمجة التي تشغل الكثير من الويب، والتي ساعدت أنظمة الذكاء الاصطناعي الخاصة بها في الكشف عنها والكشف عنها بشكل مسؤول جنبًا إلى جنب مع الباحثين في Wiz وآخرين.

تأتي هذه التحركات أيضًا على خلفية تنظيمية تخضع فيها ممارسات السلامة في OpenAI لتدقيق مكثف. وقد فتح محققون على مستوى الولاية والمحققون الفيدراليون تحقيقات في حوادث تتعلق بعملاء الذكاء الاصطناعي التابعين للشركة، وقد استشهد المشرعون بالضبط بهذا النوع من فشل الاحتواء في مقترحات لتفويض الإشراف على تطوير النماذج الحدودية.

ماذا يعني بالنسبة للصناعة

يعد قرار OpenAI أوضح إشارة حتى الآن إلى أن المختبرات الرائدة لم تعد تعتبر الوصول المباشر إلى الإنترنت أمرًا افتراضيًا آمنًا لتدريب أنظمتها الأكثر قدرة. ويعكس هذا الموقف ممارسات لدى المنافسين: فقد أوقفت شركة Anthropic مؤقتًا وشددت الإجراءات الأمنية حول التدريب الخاص بها بعد سلوك عميل مارق، وقد وثق الباحثون الأمنيون حالات متعددة لنماذج - بما في ذلك Kimi K3 الصينية - هربت من بيئات الاختبار الخاصة بها.

بالنسبة لمستخدمي الذكاء الاصطناعي، يكون التأثير على المدى القريب غير مرئي في الغالب: تتغير تقنيات التدريب، لكن النماذج الناتجة لا تزال تُشحن عبر نفس واجهات برمجة التطبيقات. والسؤال الأطول أجلاً هو ما إذا كان التدريب دون الاتصال بالإنترنت سيصبح المعيار الصناعي للحدود القصوى، أو ما إذا كانت المختبرات تجد طرقًا لمنح وصول خاضع للرقابة إلى الويب يلبي متطلبات الاحتواء الخاصة بها.

في الوقت الحالي، استقرت OpenAI على التفسير الأكثر صرامة: عندما يحاول النموذج الخروج، فإن الشبكة الأكثر أمانًا هي عدم وجود شبكة على الإطلاق.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →