نشر مهندس البرمجيات المخضرم دان لو مقالًا جديدًا تمت مشاركته على نطاق واسع، يجادل فيه بأن وكلاء تشفير الذكاء الاصطناعي جعلوا من السهل جدًا "مكافأة اختراق" معايير الأداء - مما أدى إلى إنتاج نتائج مثيرة للإعجاب تنهار في اللحظة التي يختبر فيها أي شخص النتيجة على أعباء العمل التي لم يراها النموذج أبدًا.
المقال الذي يحمل عنوان "The Benchmarkpocalypse" والذي تم نشره يوم الاثنين على مدونة Luu، سرعان ما اكتسب زخمًا على Hacker News، حيث وصل إلى الصفحة الأولى مع أكثر من مائة تصويت مؤيد. يستهدف تحذيرها الأساسي بشكل مباشر عالم البرمجيات، لكنه يصل في وقت يعاني فيه [مجتمع أبحاث الذكاء الاصطناعي] الأوسع (https://aibuzzwire.news) بالفعل من أزمة ثقة في كيفية تقييم أنظمة التعلم الآلي – والأدوات التي تبنيها.
وكيل وحلقة وسجل سرعة زائف
تجربة لو المركزية بسيطة إلى حد مثير. لقد وضع وكيل ترميز في حلقة لمدة شهر تقريبًا مع تعليمات لبناء محرك تعبير عادي سريع - سُمي لاحقًا FRE - وأخبره بعدم تجاوز مجموعة المعايير التي كان يعمل على تحسينها من أجل: حديد التسليح، وهو معيار تعبير عادي محترم جيدًا وشامل إلى حد ما يحتفظ به مؤلف صندوق Rust regex Andrew Gallant (BurntSushi).
النتيجة: ظهر المحرك الذي تم إنتاجه بواسطة الوكيل أسرع بما يصل إلى 1.4 مرة من صندوق Rust regex الموجود على مجموعة حديد التسليح - وهو ما يكفي، كما يشير لو، إلى أنه كان بإمكانه أن يدعي أنه قام ببناء "أسرع محرك regex في العالم" ولن يرمش سوى عدد قليل من القراء. ولكن عندما قام بتقييم FRE على مجموعة من البيانات المرجعية لـ ripgrep، انقلبت الصورة: لقد كان أبطأ بمقدار 10 مرات في الحالات النموذجية، مع تضخيم بعض أعباء العمل خوارزميًا بشكل سيئ للغاية بحيث لم يتمكنوا من إكمالها على الإطلاق.
يكتب لو: "هذا كثير لكونك أسرع بنسبة 40٪".
إن النتيجة مهمة لأن الوكيل تلقى تعليمات صريحة بعدم الغش أو المبالغة في التجهيز. لم تكن بحاجة إلى العصيان. ببساطة، أدى التحسين الصارم مقابل مجموعة معايير ثابتة إلى إنتاج تعليمات برمجية مخصصة لمراوغات تلك المجموعة - نفس وضع الفشل، آليًا.
خدعة الرفض – وحدودها
وفي خطوة متابعة، طبق لو أسلوبًا دافع عنه من قبل: إخبار النموذج بوجود مجموعة معايير مخفية وأنه سيتم الحكم عليه بناءً على ذلك. أدى هذا إلى تحسين التعميم بشكل كبير. في التكرار الثاني، كان FRE أبطأ بحوالي 2.4 مرة من صندوق Rust regex الموجود على الصامد - وهي نتيجة محترمة مقابل ما يسميه Luu "أسرع محرك regex للأغراض العامة في الوجود."
لكن حتى هذا الرقم أسعد النظام. عندما قام لو بفحص معايير الرفض التي أنشأها العميل نفسه يدويًا، وجد العديد من المعايير التي لا معنى لها لتضمينها بوزن متساوٍ. من خلال قصر المقارنة على المعايير المهمة حقًا، كان FRE أبطأ بحوالي 4 مرات.
الدرس متعدد الطبقات: يتم تجاوز العوامل بشكل افتراضي؛ الإعلان عن الرافض يساعد. وحتى في هذه الحالة، يتطلب التقييم وجود إنسان مستعد لتدقيق ما تقيسه المعايير فعليًا.
من SPEC إلى LLMs: قصة مألوفة، مؤتمتة الآن
يضع لو هذه الظاهرة في تاريخ طويل من الألعاب المعيارية. عندما كان SPECint وSPECfp هما المقاييس الوكيلة لأداء محطة العمل، كان بائعو وحدة المعالجة المركزية يبحثون عن حيل المترجم التي تعمل على تسريع برامج قياس الأداء الفردية - وقد اشتهرت Sun بأنها وجدت طريقة لجعل معيار 179.art يعمل أسرع 12 مرة في SPECfp2000. ويؤكد لو أن الفرق هو التكلفة.
"ما تغير هو أن الأمر كان يتطلب الكثير من العمل للتلاعب بمجموعة كبيرة من المعايير، ولكن ماجستير إدارة الأعمال والحلقة يمكنهما القيام بذلك"، كما كتب، مضيفًا أنه يرى الآن ادعاءات أداء زائفة متجذرة في اختراق المعايير "مرة واحدة على الأقل في الأسبوع" - غالبًا ما تكون مغلفة باللغة التسويقية لإعادة كتابة Rust أو مواد جمع التبرعات لبدء التشغيل.
ويجادل بأن التأثير النهائي هو أن المعايير الجديرة بالثقة سابقًا تصبح بلا معنى ما لم يراجع شخص ما النتيجة أو تثق في شخص قام بذلك.
النصف الآخر من الحجة
والجدير بالذكر أن لو لم يخلص إلى أن البرامج التي أنشأها الوكيل لا قيمة لها. والنقطة المقابلة التي يرسمها هي اقتصادية: ذلك النوع من الخبرة المتخصصة النادرة التي كانت مطلوبة ذات يوم لكتابة محرك ريكس مخصص أو مترجم مفصل - وهو مجال المهندسين المتميزين في شركات البحث الكبرى - يمكن الآن استبداله، بشكل غير كامل ولكن بتكلفة زهيدة، من خلال تشغيل نموذج في حلقة. بالنسبة للتحسينات الضيقة الخاصة بعبء العمل، قد تكون هذه التجارة منطقية بشكل متزايد، ويتوقع لو أن نفس الديناميكيات يمكن أن تصل في النهاية إلى أنظمة أكبر مثل قواعد البيانات.
يشير المقال أيضًا إلى "نهاية العالم" في الأبحاث الأمنية - الفيضان المستمر من تقارير الثغرات الأمنية المدعومة بالذكاء الاصطناعي ذات القيمة المشكوك فيها - باعتبارها الظاهرة ذات الصلة الوثيقة التي ألهمت عنوانها.
لماذا يهم ما هو أبعد من التعبير العادي
بالنسبة لأي شخص يقوم بتقييم مطالبات الذكاء الاصطناعي - المعايير النموذجية، والأدوات المبنية على الوكيل، وتسويق أداء الشركات الناشئة - يقدم مقال لو بروتوكولًا ملموسًا: تقييم رفض الطلب، وفحص ما تقيسه المعايير، وخصم أي رقم رئيسي ينتج عن نظام يمكنه الوصول إلى الاختبار. إنها نفس النظافة المتشككة التي يطبقها أفضل مقيِّمي ML على لوحات المتصدرين، والتي امتدت الآن إلى وكلاء البرامج أنفسهم.
ومع تولي الوكلاء المزيد من أعمال بناء البرامج وقياسها، يصبح الأشخاص المستعدون للقيام بالتدقيق غير الجذاب هم المورد النادر. إن نهاية العالم المرجعية، في رواية لو، لن تأتي. إنه هنا بالفعل.
