تحدد معايير الذكاء الاصطناعي النماذج التي تتصدر عناوين الأخبار، وقد تعلمت الشركات التي تبني هذه النماذج كيفية التغلب عليها. تراهن شركة ناشئة تسمى Vals، والتي تم تأسيسها في عام 2024، على أن الصناعة تحتاج إلى حكم لا يمكن المراهنة على اختباراته، وقد دعم المستثمرون هذا الرهان بطريقة كبيرة: جمعت Vals سلسلة A بقيمة 40 مليون دولار بقيادة أندريسن هورويتز الشهر الماضي، بعد جولة تأسيسية بقيادة 8VC وBloomberg Beta.

ويأتي صعود الشركة وسط تزايد القلق بشأن كيفية قياس قدرات الذكاء الاصطناعي، وما يحدث عندما يصبح المقياس أداة تسويقية. لمعرفة المزيد عن أعمال الذكاء الاصطناعي، تابع تغطية صناعة الذكاء الاصطناعي.

عندما تصبح المعايير تسويقية

أصبحت المقارنة المعيارية هي المعيار الصناعي للتحقق من صحة قدرات نماذج الذكاء الاصطناعي، وعندما تتأرجح الأرقام في اتجاه الشركة، من أجل التفوق الإعلاني على المنافسين. المعايير الجيدة تعني علاقات عامة جيدة.

تكمن المشكلة، وفقًا للمؤسس المشارك والرئيس التنفيذي لشركة Vals رايان كريشنان، في أن العديد من المعايير القديمة تم تصميمها لجيل سابق من النماذج، وقد اكتشفت الشركات كيفية تحسينها وفقًا لها. عندما تكون مواد الاختبار علنية، يمكن تدريب النموذج بشكل فعال لاجتياز الاختبار - وهي ممارسة وصفتها الصناعة بشكل مختلف بأنها تلوث، أو فرط في التجهيز، أو غش صريح.

وقال كريشنان في مقابلة مع موقع TechCrunch: "لقد رأينا مجموعة من النماذج الجديدة ذات القدرة العالية تصل إلى السوق بسرعة، ولم تكن المعايير الأكاديمية تواكب هذا التقدم الحدودي".

اختبارات خاصة، مهام واقعية

يأخذ فالس نهجا مختلفا على جبهتين. أولاً، لا تكشف علنًا عن مواد الاختبار المحددة الخاصة بها، مما يجعل من الصعب جدًا على الشركة تدريب نماذجها على الاختبار. ثانيًا، بدلاً من قياس المعرفة المجردة - ما إذا كان النموذج قادرًا على الإجابة على أسئلة على غرار امتحان المحاماة - يقوم فالس بتقييم كيفية أداء النماذج لمهام معقدة في صناعات محددة مثل القانون والتمويل والبرمجة.

وقال كريشنان: "ما نقوم به هو في الواقع النظر في التأثيرات الحقيقية للنماذج". "هل يمكنهم القيام بعمل ينتج عنه منتج بنفس جودة الإنسان في كل مجال؟"

وتقوم الشركة أيضًا بقياس أوضاع الفشل، وليس النجاحات فقط. وقال كريشنان إن فالس يهدف إلى تحليل "إذا انتشرت هذه النماذج في العالم، فما هي الآثار السلبية التي ستكون عليها" - وهي فلسفة تقييم تتعامل مع مخاطر الجانب السلبي باعتبارها ناتجًا قابلاً للقياس وليس فكرة لاحقة.

من القانون والمالية إلى اتفاقيات جنيف والتحسين الذاتي التكراري

يستمر نطاق تقييمات Vals في التوسع إلى ما هو أبعد من جذور الخدمات المهنية. إلى جانب معايير القانون والتمويل والترميز، قال كريشنان إن الشركة تجري الآن اختبارات في الصحة العقلية والأمن السيبراني والأمن البيولوجي، وحتى معيارًا للتحسين الذاتي العودي - وهو موضوع تتم مناقشته بشكل أكثر شيوعًا في دوائر سلامة الذكاء الاصطناعي مقارنة بمجموعات التقييم التجارية.

ولعل الأمر الأكثر إثارة للدهشة هو عملها في مجال قانون النزاعات المسلحة، حيث يقوم فالس باختبار كيفية فهم النماذج لاتفاقية جنيف وتطبيقها. يشير اتساع الطلب إلى المصدر الذي يأتي منه: ليس فقط المختبرات التي تتسابق إلى أعلى المتصدرين، ولكن الشركات والمؤسسات التي تحتاج إلى أدلة حول كيفية تصرف النماذج في المجالات عالية المخاطر قبل نشرها.

نموذج العمل: ادفع مقابل إجراء الاختبار

تدفع الشركات لشركة Vals مقابل تقييم نماذجها، وهو ترتيب قد يبدو غير بديهي. لماذا تدفع الشركة مقابل النتائج التي قد تحرجها؟ يقارن كريشنان النموذج بطالب يدفع لمجلس الكلية مقابل أداء اختبار SAT: إن القياس المستقل، حتى لو كان غير محبب، يساعد الشركة على استكشاف الأخطاء وإصلاحها وتحسينها بمرور الوقت.

ويبدو أن السوق يستجيب. تقول فالس إن إيراداتها تبلغ حاليًا ثمانية أضعاف ما كانت عليه في العام الماضي، وقد تضاعف فريقها ثلاث مرات منذ بداية العام، حيث ارتفع من ثمانية أشخاص إلى 25 شخصًا. تعمل الشركة من مكتب مكون من طابقين في شارع فولسوم في سان فرانسيسكو - وهو مبنى مصنع جعة سابق يضم الآن العديد من الشركات الناشئة.

كما أصبحت التقييمات أيضًا عوامل صنع القرار بالنسبة للمؤسسات التي تتسوق لشراء نماذج الذكاء الاصطناعي، وفقًا للشركة، مما يمنح المعايير دورًا أقرب إلى العناية الواجبة من التسويق.

مؤسس يبلغ من العمر 25 عامًا ويجلس في الصف الأمامي

كريشنان، 25 عامًا، تدرب في شركة بلانتير، وكطالب جامعي في جامعة ستانفورد، عمل لدى مايكروسوفت ومختبر الذكاء الاصطناعي الشهير في الجامعة. يقول إن شركة فالس ولدت نتيجة مشاهدة التقييم يتخلف عن الصناعة التي كان من المفترض أن يقيسها - وهي فجوة اتسعت فقط مع وصول النماذج الجديدة بشكل أسرع مما يمكن تصميم المعايير الأكاديمية والتحقق من صحتها ونشرها.

تنضم الشركة الناشئة الآن إلى مجموعة صغيرة ولكن متنامية من الشركات التي تحاول إضفاء الطابع المؤسسي على تقييم الذكاء الاصطناعي، وهي مساحة تشمل الجهود الأكاديمية ومشاريع المتصدرين مفتوحة المصدر ومعاهد السلامة. ما يميز Vals هو نموذج الاختبار الخاص وتركيزه على التقييمات المدفوعة الخاصة بالصناعة بدلاً من التصنيفات العامة.

لماذا يهم

لقد تم توثيق مشكلة مصداقية صناعة الذكاء الاصطناعي فيما يتعلق بالمعايير بشكل جيد: مجموعات الاختبار المسربة، والقفزات المشبوهة في قائمة المتصدرين، والادعاءات التسويقية التي تتفوق على الأداء في العالم الحقيقي. إذا بدأ المشترون - وخاصة الشركات والحكومات - في الاعتماد على التقييمات الخاصة القائمة على المهام مثل تقييم فال، فإن الحوافز التي تدفع مطوري النماذج يمكن أن تتحول من التدريس إلى الاختبار نحو القدرات الحقيقية.

وهذا طريق طويل من الاستقرار. لا يزال المعيار الخاص يطلب من المشترين أن يثقوا بالحكم، وعملاء Vals هم نفس الشركات التي يتم تصنيفها. ولكن مع 40 مليون دولار من السلسلة أ، ونمو الإيرادات بمقدار ثمانية أضعاف والطلب الذي يمتد من التمويل إلى الأمن البيولوجي، فإن الرهان هو أن تقييم الشعور المستقل يتحول إلى بنية تحتية - وهي خدمة سيدفع اقتصاد الذكاء الاصطناعي مقابلها سواء كانت النتائج أفضل منه أم لا.

ابق في صدارة الذكاء الاصطناعي

من يقيس المقيسين؟ تابع أعمال تقييم الذكاء الاصطناعي والشركات الناشئة التي تعيد تشكيله على AI Buzz Wire، مصدرك لـ أخبار الذكاء الاصطناعي العاجلة.

اقرأ آخر أخبار الذكاء الاصطناعي →