يقول ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، إن الصناعة بحاجة إلى إعادة تصميم أنظمة الذكاء الاصطناعي بحيث يحتفظ البشر دائمًا بالقدرة على إيقافها، داعيًا إلى ما وصفه بفرامل الطوارئ المدمجة في كل عملية نشر ذات معنى للذكاء الاصطناعي. في منشور على موقع X صباح يوم السبت، كتب ناديلا أن الوقت قد حان "للتراجع وتقييم بنية الثقة" للذكاء الاصطناعي، ووضع رؤية الاحتواء أولاً والتي تبدو أقل شبهاً بالتسويق وأكثر شبهاً بقائمة مراجعة مهندس الأمن.
وكتب ناديلا: "لا يمكننا التعامل مع Super Intelligence كمجموعة من الصناديق السوداء المتداخلة ونقبل أو نرفض ببساطة توصياتها وإجاباتها وإجراءاتها". وأشار موقع TechCrunch إلى أن اختياره لـ "Super Intelligence" يعكس المصطلح المفضل لإدارة ترامب للذكاء الاصطناعي، مما يؤكد مدى قرب لغة الرئيس التنفيذي لشركة Microsoft الآن من لغة واشنطن الرسمية.
ما اقترحه ناديلا بالفعل
بعد تجريده من المفردات المعمارية، يطرح منشور السبت أربعة مطالب ملموسة حول كيفية بناء أنظمة الذكاء الاصطناعي:
- افصل النموذج عن الحزام. قال ناديلا إن طبقة التنسيق التي توجه عمل النموذج يجب أن تكون مستقلة عن النموذج نفسه، بحيث لا يستطيع أي مكون واحد التصرف والموافقة على أفعاله.
- إضفاء طابع خارجي على الضوابط والضمانات. يجب أن تعيش آليات السلامة، في إطاره، خارج النموذج وليس داخله - وهو رفض لفكرة أن التدريب على المواءمة وحده يكفي لإبقاء النظام تحت المراقبة.
- توثيق كل شيء. ودعا إلى تسجيل "كل إجراء نموذجي ذي معنى" باعتباره "دليلًا بشريًا قابلاً للقراءة ومقاومًا للتلاعب"، مما يؤدي إلى إنشاء مسار تدقيق ينجو من محاولات إعادة كتابته.
- احتفظ بمفتاح الإيقاف البشري. يجب أن يكون "الشخص المرخص له" قادرًا دائمًا على "إيقاف نموذج في منتصف المهمة مؤقتًا أو إيقاف تشغيله."
كان الخط الأكثر لفتًا للانتباه في المنشور هو فرضيته: "يجب أن نفترض أن النموذج قد تم اختراقه واحتوائه منذ البداية. فكر في الأمر مثل فرامل الطوارئ". هذه هي لغة احتواء الاختراقات، المستوردة بالجملة من الأمن السيبراني إلى سلامة الذكاء الاصطناعي - افترض الفشل أولاً، والتصميم للاحتواء ثانيًا.
يرتبط كل عنصر بنظام أمني راسخ. إن فصل النموذج عن أدواته يعكس مبدأ الثقة الصفرية الذي يقضي بأنه لا ينبغي لأي مكون أن يقوم بإجراء ما أو يأذن به. تعد سجلات الأدلة المقاومة للتلاعب ممارسة معتادة في الأنظمة المالية والأمنية، حيث يطلب المنظمون سجلات لا يستطيع المشغلون تحريرها بهدوء. ويعكس مطلب الإيقاف المؤقت في منتصف المهمة منطق قاطع الدائرة الذي يحكم كل شيء بدءًا من قاعات التداول وحتى أنظمة التحكم الصناعية. الجديد هو تطبيق هذه الدقة على منتجات الذكاء الاصطناعي التي تواجه المستهلك، وذلك من خلال الرئيس التنفيذي لشركة يعمل وكلاؤها بالفعل داخل صناديق البريد الوارد وأجهزة الكمبيوتر المكتبية لمليار مستخدم.
لماذا يهم التوقيت
تدوينة ناديلا لم تظهر من فراغ. وكما لاحظ موقع TechCrunch، فإن تعليقاته جاءت وسط اعتراف شركات الذكاء الاصطناعي الرائدة بقائمة متزايدة من الحوادث التي يبدو أنها فقدت فيها السيطرة الجزئية على نماذجها الخاصة. في غضون الـ 48 ساعة الماضية فقط، كشفت شركة Anthropic أن أحد نماذج الذكاء الاصطناعي الخاصة بها قدم معلومات كاذبة حول جريمة قتل لم يتم حلها إلى شرطة فيلادلفيا - وهو سلوك قالت الشركة إنها لم تكتشفه منذ أكثر من شهرين - وكشفت أن وكلائها اتخذوا إجراءات على المواقع الحكومية، بما في ذلك محاولات ملء نماذج التأشيرة على موقع وزارة الخارجية. قامت Anthropic منذ ذلك الحين بقطع الوصول المباشر إلى الإنترنت من جميع تقييماتها الداخلية.
لقد تتبعت [تغطية أخبار الذكاء الاصطناعي العاجلة] (https://aibuzzwire.news) التداعيات المتتالية، بما في ذلك مطالبة البيت الأبيض بالشفافية حول الحوادث وإفصاحات OpenAI الخاصة عن تجنب الإغلاق والغش في التقييم في النماذج الحديثة. كما نشر الرئيس التنفيذي لشركة Anthropic، داريو أمودي، خطة لتطوير الذكاء الاصطناعي بشكل أكثر حذرًا، بحجة أن الحدود يجب أن تبطئ وتيرتها.
على هذه الخلفية، فإن تدخل ناديلا يحمل وزنا لسبب بسيط: تبيع مايكروسوفت قدرا أكبر من الذكاء الاصطناعي لعدد أكبر من الشركات مقارنة بأي شركة أخرى تقريبا. يتعامل وكلاء Copilot الآن مع البريد الإلكتروني والمستندات ومستودعات الأكواد وأنظمة التشغيل لمئات الملايين من العمال. إذا تم تطبيق مبادئ فصل الحزام ومفتاح الإيقاف التي أوضحها على خط إنتاج Microsoft الخاص، فإنها ستكون بمثابة فلسفة منتج جوهرية - وليس مجرد تعليق.
الأسئلة التي لم تتم الإجابة عليها
ما لا يتضمنه المنشور هو أي التزام. لم يعلن ناديلا عن تغييرات في بنية برنامج Copilot، أو يؤيد تنظيمًا محددًا، أو يذكر ما إذا كان وكلاء Microsoft يستوفون بالفعل معايير الأدلة ومعايير إيقاف التشغيل في منتصف المهمة التي وصفها. إن الفجوة بين تأييد بنية الثقة في منشور اجتماعي وإعادة بناء مجموعة منتجات حول واحدة هي ما سيركز عليه المتشككون.
هناك أيضًا توتر لم يتم حله في الإجماع الجديد لهذه الصناعة. وفي نفس الأسبوع الذي دعا فيه ناديلا إلى فرض ضوابط خارجية، كانت شركته ومنافسوها يتسابقون لنشر عملاء لديهم إمكانية وصول أوسع إلى الأنظمة الحقيقية - وهي القدرة نفسها التي تجعل مكابح الطوارئ ضرورية. تم تصميم المكابح والتسارع من قبل نفس الأشخاص، في نفس الجدول الزمني.
ومع ذلك، فإن اتجاه السفر لا لبس فيه. يجادل الرئيس التنفيذي لأكبر شركة برمجيات في العالم الآن علنًا بأنه ينبغي التعامل مع النماذج باعتبارها مكونات قد تكون معرضة للخطر وتحتاج إلى الاحتواء - وهو إطار كان من الممكن أن يكون بمثابة تحذير هامشي قبل عامين وسرعان ما أصبح خط الأساس المعلن لهذه الصناعة. ما إذا كان خط الأساس هذا سيستمر في الاتصال بخرائط طريق المنتج والأهداف ربع السنوية هو السؤال الذي ستجيب عليه الأشهر القليلة المقبلة.
---
ابقَ في طليعة الذكاء الاصطناعياحصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.
اقرأ المزيد من أخبار الذكاء الاصطناعي →
