एआय लीडरबोर्ड मॉडेल्स किती चांगले कोड लिहितात, गणिताच्या समस्या सोडवतात आणि पदवी-स्तरीय परीक्षांना उत्तर देतात याबद्दल एक उल्लेखनीय तपशीलवार कथा सांगतात. बहुतेक अमेरिकन लोकांना प्रत्यक्षात करण्यासाठी दिलेले काम मॉडेल किती चांगल्या प्रकारे करतात हे ते तुम्हाला कधीच सांगत नाहीत.

AI टॅलेंट मार्केटप्लेस Mercor मधील नवीन संशोधन प्रकल्प त्या अंतरावर एक नंबर ठेवतो. या आठवड्यात प्रकाशित झालेल्या कंपनीच्या बेंचमार्क नकाशानुसार, अंदाजे 90% अमेरिकन कामाचे तास विद्यमान AI बेंचमार्क्सच्या कमी किंवा कोणतेही कव्हरेज नसलेल्या कामांवर खर्च केले जातात. For more context on this story, see our ongoing AI trends.

"अमेरिकन लोक प्रत्यक्षात करत असलेल्या कामात एआय मॉडेल किती चांगले आहेत हे जाणून घेणे खूप कठीण आहे," कंपनीने आपल्या निष्कर्षांमध्ये लिहिले आहे.

काय बेंचमार्क चुकतात ते मोजत आहे

नकाशा तयार करण्यासाठी, Mercor ने गुणवत्ता आणि आर्थिक सुसंगततेसाठी निवडलेल्या 29 बेंचमार्कचा एक निर्देशांक संकलित केला, त्यानंतर यूएस सरकारच्या O*NET व्यावसायिक डेटाबेस - 923 व्यवसायांचे मानक वर्गीकरण आणि अमेरिकन कामगार शक्ती बनवणाऱ्या 18,797 भिन्न कार्यांविरुद्ध त्यांचे प्रॉम्प्ट मॅप केले.

कव्हरेज क्रमांक अगदी स्पष्ट आहेत. 923 पैकी केवळ 208 O*NET व्यवसायांमध्ये कोणतेही बेंचमार्क कव्हरेज आहे आणि 18,797 व्यावसायिक कार्यांपैकी फक्त 924 संपूर्ण निर्देशांकात प्रस्तुत केले जातात.

प्रकल्पाच्या साइटवर दस्तऐवजीकरण केलेली कार्यपद्धती, AI वरच झुकते: अलीकडील संशोधनानंतर, LLM न्यायाधीश प्रत्येक बेंचमार्क प्रॉम्प्टला त्याच्याशी संबंधित असलेल्या ONET टास्कसह टॅग करतात, ज्यात Mercor च्या स्वतःच्या APEX बेंचमार्क उपसंचावरील मानवी तज्ञ लेबल्सच्या विरुद्ध टॅगिंग प्रमाणित केले जाते. न्यायाधीशांनी 29-बेंचमार्क निर्देशांकातील किमान पाच प्रॉम्प्ट्सवर मॅप केल्यासच एखादे कार्य कव्हर केले जाते. आर्थिक अटींमध्ये कव्हरेजचे भाषांतर करण्यासाठी, Mercor ने प्रत्येक ONET टास्कच्या कामाच्या वेळेच्या शेअरच्या अलीकडे प्रकाशित केलेल्या LLM-व्युत्पन्न अंदाजांसह त्याचे अंदाज एकत्र केले.

कव्हरेज पैशाचे अनुसरण करते

अंतर यादृच्छिकपणे वितरीत केले जात नाही. Mercor चे विश्लेषण सूचित करते की AI समुदाय प्रथम सर्वात मोठ्या श्रमिक बाजारपेठांचे बेंचमार्किंग करत आहे - सर्वात मोठे एकूण वेतन बिल असलेले व्यवसाय, कामगार सांख्यिकी मजुरी आणि रोजगार अंदाज ब्यूरो मधून मोजले गेले.

नोकरी-कुटुंबातील बिघाड लक्ष किती असमान आहे हे दर्शविते. संगणक आणि गणिती व्यवसाय, बेंचमार्क निर्मितीचे होम टर्फ, 36 पैकी 29 व्यवसायांमध्ये सर्वोत्तम आहेत. व्यवसाय आणि आर्थिक ऑपरेशन्स 48 पैकी 33 वर अनुसरण करतात. परंतु कार्यालय आणि प्रशासकीय समर्थन - लाखो लोकांना रोजगार देणारे कुटुंब - 51 पैकी फक्त 21 व्यवसायांचा समावेश आहे आणि 56 पैकी 21 व्यवस्थापन भूमिका आहेत.

अगदी उत्तम-आच्छादित व्यवसायांमध्ये, खोली पातळ आहे. जेव्हा Mercor ने चार बेंचमार्क-भारी व्यवसायांसाठी ONET-वेटेड स्कोअरिंगचा प्रयत्न केला — गुंतवणूक बँकिंग, कायदा, लेखा आणि सॉफ्टवेअर अभियांत्रिकी — तेव्हा असे आढळले की त्या नोकऱ्यांशी संबंधित ONET कार्यांपैकी एक तृतीयांश पेक्षा कमी कामांना भारित स्कोअरमध्ये समाविष्ट करण्यासाठी पुरेसे बेंचमार्क कव्हरेज आहे.

ब्लाइंड स्पॉट्स महत्त्वाचे का आहेत

जेव्हा बेंचमार्क स्कोअर वास्तविक निर्णय घेतात तेव्हा शोध लावला जातो. एंटरप्रायझेस मूल्यांकनांवर आधारित मॉडेल टियर निवडतात; बोर्ड बेंचमार्क जंपच्या बाबतीत फ्रंटियर-मॉडेल प्रगतीबद्दल ऐकतात; नियमन वजन करताना धोरणकर्ते क्षमता प्रक्षेपण नमूद करतात. जर कामाचे 90% तास बेंचमार्कच्या मोजमापाच्या बाहेर बसले असतील, तर ते सर्व निर्णय ऑफिस-बाउंड, तांत्रिक आणि शैक्षणिक यांच्याकडे झुकलेल्या नमुन्यावर अवलंबून असतात.

स्ट्रक्चरल कारणे आहेत जेथे बेंचमार्क क्लस्टर करतात. सॉफ्टवेअर अभियांत्रिकी कार्ये निर्दिष्ट करण्यासाठी स्वस्त आहेत, स्वयंचलितपणे श्रेणीसाठी स्वस्त आहेत आणि बेंचमार्क लेखकांसाठी - जे बहुतेक सॉफ्टवेअर लिहितात - डिझाइन करणे सोपे आहे. वैद्यकीय सहाय्यकाच्या बेडसाइड पद्धतीचे मूल्यांकन करणे, लॉजिस्टिक कोऑर्डिनेटरचा निर्णय बदलण्याच्या मर्यादांनुसार किंवा इलेक्ट्रिशियनची निदान प्रक्रिया प्रमाणित करणे कठीण आहे, दूरस्थपणे सत्यापित करणे कठीण आहे आणि बर्याच बाबतीत शारीरिक उपस्थितीशिवाय चाचणी करणे अशक्य आहे.

Mercor, ज्याचा मुख्य व्यवसाय प्रशिक्षण आणि मूल्यमापन कार्यासाठी AI लॅबसह डोमेन तज्ञांशी जुळतो, मूल्यांकन कव्हरेज पातळ आहे हे दर्शवण्यात स्पष्ट व्यावसायिक स्वारस्य आहे — कंपनी नेमक्या तज्ञांना प्रवेश विकते जे ते अंतर पूर्ण करू शकतात. परंतु अंतर्निहित मापन समस्या वास्तविक आहे आणि संपूर्ण क्षेत्रामध्ये वाढत्या प्रमाणात मान्य केली गेली आहे आणि कंपनीने छाननीसाठी तिची कार्यपद्धती आणि संपूर्ण बेंचमार्क सूची प्रकाशित केली आहे.

कंपनी म्हणते की तिचा बेंचमार्क नकाशा संपूर्ण अर्थव्यवस्थेतील AI क्षमता समजून घेण्यासाठी सतत अद्ययावत संसाधनाच्या दिशेने पहिले पाऊल आहे आणि ते O*NET-वेटेड मॉडेल स्कोअरसाठी काम करत आहे जे वारंवार बेंचमार्क केलेल्या कार्यांना सरासरीवर वर्चस्व देण्याऐवजी प्रत्येक व्यावसायिक कार्याला समान भार देतात.

मापन दशक

बेंचमार्क बिल्डर्स आर्थिक नकाशाचे अनुसरण करतात की नाही यावर पुढे काय होते ते अवलंबून आहे. मर्कर डेटा कव्हरेज कुठे गहाळ आहे याकडे निर्देश करतो — आणि, स्पष्टपणे, जेथे नवीन बेंचमार्क सर्वात जास्त माहिती मूल्य धारण करतील. मोठ्या प्रमाणात रोजगार, उच्च वेतन बिले आणि शून्य बेंचमार्क कव्हरेज असलेले व्यवसाय, प्रत्यक्षात, खुले मूल्यांकन क्षेत्र आहेत.

आत्तासाठी, AI लीडरबोर्ड बातम्या वापरणाऱ्या प्रत्येकासाठी व्यावहारिक उपाय म्हणजे एक चेतावणी आहे: मॉडेलचे बेंचमार्क प्रोफाइल अर्थव्यवस्थेच्या तुकड्यात त्याच्या सामर्थ्याचे वर्णन करते जे बेंचमार्क कव्हर करतात. इतर 90% कामाचे तास — प्रशासकीय कार्य, काळजी घेणे, क्षेत्र सेवा, मजला व्यवस्थापन — हे मुख्यत्वे मोजलेले नसलेले क्षेत्र आहे आणि AI चे रूपांतर सध्या पुराव्यापेक्षा किस्सेवर जास्त अवलंबून आहे.

कंपनीच्या स्वतःच्या फ्रेमिंगनुसार, बेंचमार्क अलिकडच्या वर्षांत गुणाकार झाले आहेत, परंतु आर्थिकदृष्ट्या मौल्यवान कामाचे कव्हरेज मर्यादित राहिले आहे. नकाशा ती मर्यादा दृश्यमान करते, टाइलद्वारे टाइल, व्यवसायानुसार व्यवसाय.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →