एआई लीडरबोर्ड उल्लेखनीय रूप से विस्तृत कहानी बताते हैं कि मॉडल कितनी अच्छी तरह कोड लिखते हैं, गणित की समस्याओं को हल करते हैं और स्नातक स्तर की परीक्षाओं का उत्तर देते हैं। वे आपको लगभग कभी नहीं बताते कि मॉडल उस काम को कितनी अच्छी तरह से करते हैं जिसके लिए अधिकांश अमेरिकियों को वास्तव में भुगतान किया जाता है।

एआई टैलेंट मार्केटप्लेस मर्कोर का एक नया शोध प्रोजेक्ट उस अंतर पर एक नंबर डालता है। इस सप्ताह प्रकाशित कंपनी के बेंचमार्क मैप के अनुसार, लगभग 90% अमेरिकी कामकाजी घंटे मौजूदा एआई बेंचमार्क से बहुत कम या कोई कवरेज वाले कार्यों पर खर्च किए जाते हैं। For more context on this story, see our ongoing breaking AI news.

कंपनी अपने निष्कर्षों में लिखती है, "इससे यह जानना बहुत मुश्किल हो जाता है कि अमेरिकी वास्तव में कितने अच्छे एआई मॉडल काम करते हैं।"

गिनना कि कौन से बेंचमार्क छूट गए

मानचित्र बनाने के लिए, मर्कोर ने गुणवत्ता और आर्थिक प्रासंगिकता के लिए चुने गए 29 बेंचमार्क का एक सूचकांक संकलित किया, फिर अमेरिकी सरकार के O*NET व्यावसायिक डेटाबेस के खिलाफ उनके संकेतों को मैप किया - 923 व्यवसायों और 18,797 विशिष्ट कार्यों की मानक वर्गीकरण जो अमेरिकी श्रम शक्ति बनाते हैं।

कवरेज संख्याएँ स्पष्ट हैं। 923 O*NET व्यवसायों में से केवल 208 में कोई बेंचमार्क कवरेज है, और 18,797 व्यावसायिक कार्यों में से केवल 924 को पूरे सूचकांक में दर्शाया गया है।

परियोजना की साइट पर प्रलेखित कार्यप्रणाली, एआई पर ही निर्भर करती है: हालिया शोध के बाद, एक एलएलएम न्यायाधीश प्रत्येक बेंचमार्क प्रॉम्प्ट को ओ नेट कार्यों के साथ टैग करता है, जो कि मर्कोर के स्वयं के एपेक्स बेंचमार्क सबसेट पर मानव विशेषज्ञ लेबल के खिलाफ मान्य टैगिंग के साथ होता है। कोई कार्य केवल तभी पूरा माना जाता है जब न्यायाधीश उसे 29-बेंचमार्क सूचकांक से कम से कम पांच संकेतों पर मैप करता है। कवरेज को आर्थिक दृष्टि से अनुवादित करने के लिए, मर्कोर ने अपने अनुमानों को प्रत्येक ONET कार्य के कार्य-समय के हिस्से के हाल ही में प्रकाशित एलएलएम-व्युत्पन्न अनुमानों के साथ जोड़ा।

कवरेज पैसे का अनुसरण करता है

अंतराल को बेतरतीब ढंग से वितरित नहीं किया जाता है। मर्कोर के विश्लेषण से पता चलता है कि एआई समुदाय सबसे पहले सबसे बड़े श्रम बाजारों को बेंचमार्क कर रहा है - सबसे बड़े कुल वेतन बिल वाले व्यवसाय, जिनकी गणना श्रम सांख्यिकी ब्यूरो के वेतन और रोजगार अनुमानों से की जाती है।

नौकरी-परिवार का टूटना दिखाता है कि ध्यान कितना असमान है। कंप्यूटर और गणितीय व्यवसाय, बेंचमार्क निर्माण का घरेलू क्षेत्र, 36 व्यवसायों में से 29 में सर्वोत्तम रूप से कवर किए गए हैं। व्यवसाय और वित्तीय संचालन 48 में से 33 पर आते हैं। लेकिन कार्यालय और प्रशासनिक सहायता - एक परिवार जो लाखों लोगों को रोजगार देता है - में 51 व्यवसायों में से केवल 21 शामिल हैं, और प्रबंधन भूमिकाएँ 56 में से 21 हैं।

यहां तक कि सर्वोत्तम रूप से कवर किए गए व्यवसायों में भी गहराई कम है। जब मर्कोर ने चार बेंचमार्क-भारी व्यवसायों - निवेश बैंकिंग, कानून, लेखांकन और सॉफ्टवेयर इंजीनियरिंग के लिए ONET-भारित स्कोरिंग का प्रयास किया, तो उसने पाया कि उन नौकरियों से संबंधित ONET कार्यों में से एक तिहाई से भी कम के पास भारित स्कोर में शामिल करने के लिए पर्याप्त बेंचमार्क कवरेज था।

ब्लाइंड स्पॉट क्यों मायने रखते हैं

यह निष्कर्ष उस क्षण सामने आता है जब बेंचमार्क स्कोर वास्तविक निर्णय लेते हैं। उद्यम मूल्यांकन के आधार पर मॉडल स्तर चुनते हैं; बोर्ड बेंचमार्क जंप के संदर्भ में फ्रंटियर-मॉडल प्रगति के बारे में सुनते हैं; विनियमन का मूल्यांकन करते समय नीति निर्माता क्षमता प्रक्षेप पथ का हवाला देते हैं। यदि 90% कामकाजी घंटे बेंचमार्क माप के बाहर बैठते हैं, तो वे सभी निर्णय कार्यालय-बाउंड, तकनीकी और अकादमिक की ओर झुके हुए नमूने पर आधारित होते हैं।

जहां वे ऐसा करते हैं वहां संरचनात्मक कारण बेंचमार्क क्लस्टर होते हैं। सॉफ़्टवेयर इंजीनियरिंग कार्य निर्दिष्ट करना सस्ता है, स्वचालित रूप से ग्रेड करना सस्ता है, और बेंचमार्क लेखकों के लिए - जो अधिकतर सॉफ़्टवेयर लिखते हैं - डिज़ाइन करना आसान है। एक चिकित्सा सहायक के बिस्तर के पास रहने के तरीके का मूल्यांकन करना, शिफ्टिंग बाधाओं के तहत एक लॉजिस्टिक्स समन्वयक का निर्णय, या एक इलेक्ट्रीशियन की निदान प्रक्रिया को मानकीकृत करना कठिन है, दूर से सत्यापित करना कठिन है, और कई मामलों में भौतिक उपस्थिति के बिना परीक्षण करना असंभव है।

मर्कोर, जिसका मुख्य व्यवसाय प्रशिक्षण और मूल्यांकन कार्य के लिए एआई प्रयोगशालाओं के साथ डोमेन विशेषज्ञों से मेल खाता है, का यह इंगित करने में एक स्पष्ट व्यावसायिक रुचि है कि मूल्यांकन कवरेज कम है - कंपनी बिल्कुल उन विशेषज्ञों तक पहुंच बेचती है जो उस अंतर को बंद कर सकते हैं। लेकिन अंतर्निहित माप समस्या वास्तविक है और पूरे क्षेत्र में इसे तेजी से स्वीकार किया जा रहा है, और कंपनी ने जांच के लिए अपनी कार्यप्रणाली और पूर्ण बेंचमार्क सूची प्रकाशित की है।

कंपनी का कहना है कि उसका बेंचमार्क मैप पूरी अर्थव्यवस्था में एआई क्षमताओं को समझने के लिए निरंतर अद्यतन संसाधन की दिशा में पहला कदम है, और यह ओ*नेट-वेटेड मॉडल स्कोर की दिशा में काम कर रहा है जो बार-बार बेंचमार्क किए गए कार्यों को औसत पर हावी होने देने के बजाय प्रत्येक व्यावसायिक कार्य को समान रूप से महत्व देता है।

मापन दशक

आगे क्या होता है यह इस पर निर्भर करता है कि बेंचमार्क बिल्डर्स आर्थिक मानचित्र का पालन करते हैं या नहीं। मर्कोर डेटा इंगित करता है कि कहां कवरेज गायब है - और, परोक्ष रूप से, जहां नए बेंचमार्क सबसे अधिक सूचना मूल्य रखेंगे। बड़े रोजगार, उच्च वेतन बिल और शून्य बेंचमार्क कवरेज वाले व्यवसाय, वास्तव में, खुले मूल्यांकन क्षेत्र हैं।

अभी के लिए, एआई लीडरबोर्ड समाचार का उपभोग करने वाले किसी भी व्यक्ति के लिए व्यावहारिक उपाय एक चेतावनी है: एक मॉडल का बेंचमार्क प्रोफ़ाइल अर्थव्यवस्था के उस हिस्से में उसकी ताकत का वर्णन करता है जिसे बेंचमार्क कवर करते हैं। अन्य 90% कामकाजी घंटे - व्यवस्थापक कार्य, देखभाल, क्षेत्र सेवा, फर्श प्रबंधन - काफी हद तक बिना मापे गए क्षेत्र बने हुए हैं, और एआई द्वारा इसे बदलने के दावे वर्तमान में सबूतों की तुलना में उपाख्यानों पर अधिक निर्भर हैं।

जैसा कि कंपनी की अपनी रूपरेखा कहती है, हाल के वर्षों में बेंचमार्क कई गुना बढ़ गए हैं, लेकिन आर्थिक रूप से मूल्यवान कार्यों का कवरेज सीमित है। नक्शा उस सीमा को दृश्यमान बनाता है, टाइल दर टाइल, व्यवसाय दर व्यवसाय।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →