تحكي لوحات المتصدرين التي تعمل بالذكاء الاصطناعي قصة مفصلة بشكل ملحوظ حول مدى نجاح النماذج في كتابة التعليمات البرمجية، وحل المسائل الرياضية، والإجابة على اختبارات مستوى الدراسات العليا. ما لا يخبرونك به أبدًا هو مدى جودة أداء العارضات للعمل الذي يتقاضاه معظم الأمريكيين مقابل القيام به.

يضع مشروع بحثي جديد من سوق مواهب الذكاء الاصطناعي Mercor رقمًا لهذه الفجوة. وفقًا للخريطة المعيارية للشركة، والتي نُشرت هذا الأسبوع، يتم إنفاق ما يقرب من 90٪ من ساعات العمل الأمريكية على مهام ذات تغطية قليلة أو معدومة من معايير الذكاء الاصطناعي الحالية. لمزيد من السياق حول هذه القصة، راجع أحدث تطورات الذكاء الاصطناعي.

وكتبت الشركة في النتائج التي توصلت إليها: "هذا يجعل من الصعب للغاية معرفة مدى جودة نماذج الذكاء الاصطناعي في العمل الذي يقوم به الأمريكيون بالفعل".

إحصاء ما تفتقده المعايير

ولبناء الخريطة، قامت شركة ميركور بتجميع مؤشر يضم 29 معيارًا تم اختيارها من حيث الجودة والأهمية الاقتصادية، ثم قامت بتخطيط مطالباتها مقابل قاعدة بيانات O*NET المهنية التابعة للحكومة الأمريكية - التصنيف القياسي لـ 923 مهنة و18797 مهمة متميزة تشكل القوى العاملة الأمريكية.

أرقام التغطية صارخة. فقط 208 من أصل 923 مهنة O*NET تتمتع بأي تغطية مرجعية على الإطلاق، ويتم تمثيل 924 فقط من أصل 18,797 مهمة مهنية عبر المؤشر بأكمله.

تعتمد المنهجية، الموثقة في موقع المشروع، على الذكاء الاصطناعي نفسه: بعد الأبحاث الحديثة، يقوم أحد محكمي LLM بوضع علامة على كل موجه معياري مع مهام ONET التي تتوافق معها، مع التحقق من صحة العلامات مقابل تسميات الخبراء البشريين في مجموعة معايير APEX الفرعية الخاصة بشركة Mercor. يتم احتساب المهمة على أنها مغطاة فقط إذا قام القاضي بتعيينها لخمس مطالبات على الأقل من فهرس المعيار المكون من 29. ولترجمة التغطية إلى مصطلحات اقتصادية، قامت شركة Mercor بدمج تقديراتها مع التقديرات المستمدة من LLM المنشورة مؤخرًا لحصة وقت العمل لكل مهمة ONET.

التغطية تتبع المال

لا يتم توزيع الفجوات بشكل عشوائي. يشير تحليل ميركور إلى أن مجتمع الذكاء الاصطناعي كان يقوم بقياس أكبر أسواق العمل أولاً - المهن التي لديها أكبر فواتير إجمالية للأجور، والتي يتم حسابها من خلال تقديرات الأجور والتوظيف لمكتب إحصاءات العمل.

يُظهر تقسيم الوظيفة والأسرة مدى التفاوت في الاهتمام. تعتبر مهن الكمبيوتر والرياضيات، وهي المجال الرئيسي لإنشاء المعايير، هي الأفضل في 29 مهنة من أصل 36. وتأتي العمليات التجارية والمالية في المرتبة 33 من أصل 48. لكن الدعم المكتبي والإداري - وهي عائلة توظف الملايين - لا يشمل سوى 21 مهنة من أصل 51، والأدوار الإدارية 21 من 56.

حتى في أفضل المهن المغطاة، فإن العمق ضعيف. عندما حاولت شركة Mercor تسجيل النقاط المرجحة لـ ONET لأربع مهن ذات معايير ثقيلة - الخدمات المصرفية الاستثمارية، والقانون، والمحاسبة، وهندسة البرمجيات - وجدت أن أقل من ثلث مهام ONET ذات الصلة بتلك الوظائف لديها تغطية معيارية كافية ليتم تضمينها في النتيجة المرجحة.

ما أهمية النقاط العمياء؟

تأتي هذه النتيجة في وقت تقود فيه النتائج المعيارية إلى اتخاذ قرارات حقيقية. تختار الشركات مستويات النموذج بناءً على التقييمات؛ تسمع مجالس الإدارة عن التقدم الذي أحرزه النموذج الحدودي من حيث القفزات المعيارية؛ ويستشهد صناع السياسات بمسارات القدرات عند تقييم التنظيم. إذا كانت 90% من ساعات العمل تقع خارج نطاق المعايير القياسية، فإن كل هذه القرارات تعتمد على عينة تميل نحو العمل المكتبي والفني والأكاديمي.

هناك أسباب هيكلية لمجموعة المعايير التي تفعل ذلك. تعتبر مهام هندسة البرمجيات رخيصة الثمن في التحديد، ورخيصة في التقييم تلقائيًا، ومن السهل على المؤلفين المعياريين - الذين يكتبون البرامج في الغالب - أن يصمموها. من الصعب توحيد معايير تقييم أسلوب المساعد الطبي، أو حكم منسق اللوجستيات في ظل قيود متغيرة، أو عملية تشخيص كهربائي، ويصعب التحقق منها عن بعد، وفي كثير من الحالات يكون من المستحيل اختبارها دون حضور جسدي.

شركة ميركور، التي تعمل في جوهر عملها على التوفيق بين خبراء المجال ومختبرات الذكاء الاصطناعي للتدريب وأعمال التقييم، لديها مصلحة تجارية واضحة في الإشارة إلى أن تغطية التقييم ضعيفة - حيث تبيع الشركة إمكانية الوصول إلى الخبراء الذين يمكنهم سد هذه الفجوة بالضبط. لكن مشكلة القياس الأساسية حقيقية ويتم الاعتراف بها بشكل متزايد في جميع أنحاء هذا المجال، وقد نشرت الشركة منهجيتها وقائمة المعايير الكاملة للتدقيق.

تقول الشركة إن خريطة المعيار الخاصة بها هي خطوة أولى نحو مورد يتم تحديثه باستمرار لفهم قدرات الذكاء الاصطناعي في جميع أنحاء الاقتصاد، وهي تعمل على تحقيق نتائج نموذجية مرجحة لـ O*NET والتي تزن كل مهمة مهنية بالتساوي بدلاً من السماح للمهام التي يتم قياسها بشكل متكرر بالسيطرة على المتوسط.

عقد القياس

ما سيحدث بعد ذلك يعتمد على ما إذا كان صانعو المعايير يتبعون الخريطة الاقتصادية. وتشير بيانات ميركور إلى الأماكن التي لا توجد فيها تغطية - وبشكل ضمني، إلى الأماكن التي قد تحمل فيها المعايير الجديدة أكبر قيمة من المعلومات. إن المهن ذات العمالة الكبيرة، وفواتير الأجور المرتفعة، والتغطية المرجعية الصفرية، هي في الواقع منطقة تقييم مفتوحة.

في الوقت الحالي، تعتبر الوجبات الجاهزة العملية لأي شخص يتابع أخبار المتصدرين الخاصة بالذكاء الاصطناعي بمثابة تحذير: يصف الملف المعياري للنموذج نقاط قوته في شريحة الاقتصاد التي تغطيها المعايير. أما الـ 90% الأخرى من ساعات العمل - العمل الإداري، وتقديم الرعاية، والخدمة الميدانية، وإدارة الطوابق - فلا تزال منطقة غير قابلة للقياس إلى حد كبير، وتعتمد المزاعم حول تحويل الذكاء الاصطناعي لها حاليًا على الحكايات أكثر من الأدلة.

وكما يقول إطار الشركة الخاص، فقد تضاعفت المعايير في السنوات الأخيرة، ولكن تغطية الأعمال ذات القيمة الاقتصادية تظل محدودة. وتجعل الخريطة هذا القيد مرئيًا، بلاطًا بعد بلاط، والاحتلال حسب الاحتلال.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →