أعلنت Google DeepMind في 27 أغسطس عما تسميه أول تقييم مزدوج التعمية في العالم لنموذج ذكاء اصطناعي مملوك من الدرجة الأولى - وهو إعداد تشفير مصمم للسماح للخبراء الخارجيين باختبار نماذج Google دون أن يرى أي من الجانبين أسرار الطرف الآخر.

الطيار، الموصوف في منشور مدونة DeepMind بواسطة William Isaac وSol Messing وKristian Lum، يدير نموذج Gemini Flash Lite من خلال معايير سرية داخل بيئة آمنة للتشفير. تتعاون شركة Google DeepMind مع معهد سنغافورة لسلامة الذكاء الاصطناعي وOpenMined وAVERI وMLCommons في هذا الجهد، وقد نشرت تقريرًا فنيًا يصف المنهجية.

يعالج هذا الإعلان إحدى نقاط الضعف الأكثر استمرارًا في تقييم الذكاء الاصطناعي: التلوث المعياري. بالنسبة للقراء الذين يتابعون [أخبار أبحاث الذكاء الاصطناعي] (https://aibuzzwire.news)، فإنها تمثل واحدة من أكثر المحاولات الملموسة لجعل اختبار نماذج الجهات الخارجية نظيفًا بشكل يمكن التحقق منه.

شرح مشكلة التلوث

تفتتح شركة DeepMind إعلانها بتشبيه بالفصل الدراسي. إذا رأى الطالب عن طريق الخطأ أسئلة الاختبار مسبقًا، فإن النتيجة المثالية لا تعني شيئًا. وينطبق المنطق نفسه على النماذج الحدودية: إذا تعرض النموذج بالفعل للأسئلة الواردة في المعيار - من خلال بيانات التدريب، أو مجموعات التقييم المسربة، أو التحسين المسبق - فإن النتائج الناتجة يمكن أن تبالغ في تقدير القدرة الحقيقية بشكل كبير.

وهذا ليس مصدر قلق افتراضي. لقد طارد التلوث المعياري هذا المجال لسنوات، حيث أظهر الباحثون مرارًا وتكرارًا أن مجموعات الاختبار الشائعة تتسرب إلى مجموعات التدريب على نطاق الويب، وأن النماذج يمكن ضبطها بهدوء لتحقيق أداء جيد في التقييمات المعروفة. عندما تستخدم الحكومات والمؤسسات النتائج المعيارية لاتخاذ قرارات الشراء والسياسات، فإن الأرقام المتضخمة تحمل عواقب حقيقية.

مع زيادة قدرة النماذج، كما تقول ديب مايند، تكون المخاطر أعلى بالنسبة لفئات التقييم الحساسة - اختبار الأمن السيبراني والتقييمات الحكومية أهمها - حيث النتيجة الملوثة ليست مضللة فحسب، بل قد تكون خطيرة أيضًا.

المقايضة القديمة: مطالباتك أم أوزاننا

تاريخياً، فرضت التقييمات الخارجية عالية المخاطر خياراً غير مريح. إما أن يقوم المقيم بتسليم مطالبات الاختبار الخاصة به إلى موفر النموذج - مع المخاطرة بأن يرى الموفر أسئلة الاختبار مقدمًا - أو يقوم الموفر بتسليم أوزان النموذج إلى المقيم - مع المخاطرة بخسارة حقوق الملكية الفكرية الأكثر قيمة لديه.

كتبت ديب مايند أن بروتوكولات عدم التسجيل والضمانات التعاقدية الصارمة أبقت لفترة طويلة سرية طلبات الاختبار الخارجية، لكن هذه وعود يتم تنفيذها من خلال السياسة وليس من خلال الرياضيات. تستبدل التقييمات مزدوجة التعمية تلك الثقة بإثبات التشفير.

كيف يعمل صندوق التشفير

يستخدم البرنامج التجريبي Confidential Space، وهو جزء من محفظة الحوسبة السرية في Google Cloud، لإنشاء ما تصفه DeepMind بأنه "صندوق" تشفير. وفي داخله، يظل نصفا التقييم - المعيار السري ونموذج الملكية - خاصًا لأصحابهما، وتتحقق البيئة من هذه الحقيقة بطريقة مشفرة.

والنتيجة هي في الواقع مزدوجة التعمية: لا يمكن للمقيم الخارجي رؤية أوزان نموذج الجوزاء، ولا يستطيع Google رؤية مطالبات الاختبار الخاصة بالمقيم. ولا يتعين على أي من الطرفين أن يثق في وعود الطرف الآخر، لأن البنية في حد ذاتها تجعل التسرب مستحيلاً من حيث المبدأ. والأهم من ذلك، أن الإعداد يمنع أيضًا استخدام بيانات التقييم لاحقًا لتحسين أداء النموذج قبل الاختبار المستقبلي، مما يؤدي إلى إغلاق الحلقة التي يتسلل التلوث من خلالها عادةً مرة أخرى.

أهمية مراقبة الذكاء الاصطناعي

الأهمية الأوسع تتجاوز نموذج الجوزاء الواحد. لقد كافحت المنظمات المستقلة - معاهد سلامة الذكاء الاصطناعي، والمختبرات الأكاديمية، والجهات التنظيمية - لسنوات من أجل إجراء تقييم صارم لنماذج الحدود المغلقة، وذلك على وجه التحديد لأن مقدمي الخدمات لا يستطيعون تسليم الأوزان، ولن يقوم المقيِّمون بتسليم المعايير. لقد واجه كل معهد رئيسي لسلامة الذكاء الاصطناعي إصداراتًا من هذه المشكلة عند توقيع اتفاقيات التقييم مع المختبرات الحدودية.

إذا صمد البرنامج التجريبي، فإنه يقدم نموذجًا يمكن من خلاله البقاء على اتصال بسيادة البيانات والملكية الفكرية مع التدقيق المستقل. وتقول شركة DeepMind إنها تأمل أن ينشئ البرنامج التجريبي حدودًا جديدة للإشراف على النماذج، مما يساعد الصناعة الأوسع على بناء أنظمة ذكاء اصطناعي أكثر أمانًا وموثوقية وموثوقية على نطاق واسع.

قائمة الشركاء ملحوظة في حد ذاتها. يعد معهد سنغافورة لسلامة الذكاء الاصطناعي أحد أكثر هيئات التقييم الوطنية نشاطًا؛ يبني OpenMined أدوات حسابية تحافظ على الخصوصية؛ تقوم MLCommons بتوحيد معايير الصناعة. قامت VERI بتكوين اتحاد يضم الهيئات الحكومية والأوساط الأكاديمية وهيئات معايير الصناعة - وهي الدوائر الانتخابية التي ستحتاج إلى اعتماد تقييم مزدوج التعمية حتى تصبح معيارًا وليس دليلاً.

سباق التسلح حول نزاهة التقييم

يأتي هذا الإعلان وسط تدقيق متزايد حول كيفية تصنيف شركات الذكاء الاصطناعي لأنفسها. تواجه المختبرات اتهامات متزايدة بانتقاء معايير مواتية، وأصبحت لوحات المتصدرين المستقلة مؤثرة على وجه التحديد لأنها تقع خارج سيطرة البائعين. يعمل التقييم المزدوج التعمية على توسيع حركة الاستقلال داخل البنية التحتية الخاصة بالبائع - وهو تحول ملحوظ بالنسبة للشركات التي أصرت تاريخياً على التحكم في كل تفاصيل كيفية اختبار نماذجها.

وفي الوقت الحالي، يغطي البرنامج التجريبي نموذجًا واحدًا ومجموعة من المعايير السرية. ولكن إذا أصبح التقييم الخالي من التلوث، والذي تم التحقق منه تشفيرًا، أمرًا روتينيًا من الناحية الفنية، فقد يؤدي ذلك إلى تغيير ما تتوقعه الشركات والجهات التنظيمية من كل مختبر حدودي - ويجعل من "الوثوق بنتائجنا" أمرًا أكثر صعوبة في السوق المبني بشكل متزايد على ادعاءات يمكن التحقق منها.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →