एआई बेंचमार्क तय करते हैं कि कौन से मॉडल सुर्खियाँ बटोरते हैं - और उन मॉडलों का निर्माण करने वाली कंपनियों ने सीख लिया है कि उन्हें कैसे हराया जाए। 2024 में गठित वाल्स नामक एक स्टार्टअप यह शर्त लगा रहा है कि उद्योग को एक ऐसे रेफरी की आवश्यकता है जिसके परीक्षणों को खेला नहीं जा सकता है, और निवेशकों ने बड़े पैमाने पर उस शर्त का समर्थन किया: वाल्स ने पिछले महीने 8VC और ब्लूमबर्ग बीटा के नेतृत्व में एक बीज दौर के बाद, आंद्रेसेन होरोविट्ज़ के नेतृत्व में $ 40 मिलियन सीरीज़ ए जुटाई।

कंपनी का उदय इस बात को लेकर बढ़ती बेचैनी के बीच हुआ है कि एआई क्षमताओं को कैसे मापा जाता है, और जब पैमाना एक विपणन उपकरण बन जाता है तो क्या होता है। एआई के व्यवसाय के बारे में अधिक जानकारी के लिए, [एआई उद्योग कवरेज] (https://aibuzzwire.news) को फॉलो करें।

जब बेंचमार्क मार्केटिंग बन जाते हैं

एआई मॉडल की क्षमताओं को मान्य करने के लिए बेंचमार्किंग उद्योग का आदर्श बन गया है - और, जब संख्याएं किसी कंपनी के रास्ते में आती हैं, तो प्रतिद्वंद्वियों पर श्रेष्ठता का विज्ञापन करने के लिए। अच्छे बेंचमार्क का मतलब है अच्छा जनसंपर्क।

वाल्स के सह-संस्थापक और सीईओ रेयान कृष्णन के अनुसार, समस्या यह है कि पिछली पीढ़ी के मॉडलों के लिए कई विरासत बेंचमार्क बनाए गए थे, और कंपनियों ने यह पता लगा लिया है कि उनके खिलाफ अनुकूलन कैसे किया जाए। जब परीक्षण सामग्री सार्वजनिक होती है, तो एक मॉडल को परीक्षा उत्तीर्ण करने के लिए प्रभावी ढंग से प्रशिक्षित किया जा सकता है - एक अभ्यास जिसे उद्योग ने विभिन्न प्रकार से संदूषण, ओवरफिटिंग या पूर्ण धोखाधड़ी के रूप में वर्णित किया है।

कृष्णन ने टेकक्रंच के साथ एक साक्षात्कार में कहा, "हम देख रहे थे कि कई नए, बहुत सक्षम मॉडल तेजी से बाजार में आ रहे हैं, और अकादमिक मानक उस अग्रिम प्रगति के अनुरूप नहीं हैं।"

निजी परीक्षण, वास्तविक दुनिया के कार्य

वाल्स दो मोर्चों पर एक अलग दृष्टिकोण अपनाता है। सबसे पहले, यह सार्वजनिक रूप से अपनी विशिष्ट परीक्षण सामग्री का खुलासा नहीं करता है, जिससे किसी कंपनी के लिए परीक्षा के लिए अपने मॉडलों को प्रशिक्षित करना बहुत कठिन हो जाता है। दूसरा, अमूर्त ज्ञान को मापने के बजाय - क्या कोई मॉडल बार-परीक्षा-शैली के सवालों का जवाब दे सकता है - वाल्स मूल्यांकन करता है कि मॉडल कानून, वित्त और कोडिंग जैसे विशिष्ट उद्योगों में जटिल कार्य कैसे करते हैं।

कृष्णन ने कहा, "हम वास्तव में यह देख रहे हैं कि मॉडलों का वास्तविक प्रभाव क्या है।" "क्या वे ऐसा काम कर सकते हैं जो हर क्षेत्र में एक इंसान के समान गुणवत्ता वाला उत्पाद तैयार करे?"

कंपनी केवल सफलताओं को ही नहीं बल्कि असफलता के तरीकों को भी मापती है। कृष्णन ने कहा कि वाल्स का लक्ष्य यह विश्लेषण करना है कि "यदि ये मॉडल दुनिया में अनियंत्रित रूप से चलते हैं, तो नकारात्मक प्रभाव क्या होंगे" - एक मूल्यांकन दर्शन जो नकारात्मक जोखिम को बाद के विचार के बजाय मापने योग्य आउटपुट के रूप में मानता है।

कानून और वित्त से लेकर जिनेवा कन्वेंशन और पुनरावर्ती आत्म-सुधार तक

वाल्स के मूल्यांकन का दायरा इसकी व्यावसायिक-सेवा जड़ों से परे विस्तारित होता जा रहा है। कृष्णन ने कहा कि कानून, वित्त और कोडिंग बेंचमार्क के साथ-साथ कंपनी अब मानसिक स्वास्थ्य, साइबर सुरक्षा और जैव सुरक्षा और यहां तक ​​कि पुनरावर्ती आत्म-सुधार पर एक बेंचमार्क भी चलाती है - एक विषय जो आमतौर पर वाणिज्यिक मूल्यांकन सुइट्स की तुलना में एआई-सुरक्षा हलकों में अधिक चर्चा में है।

शायद सबसे उल्लेखनीय सशस्त्र संघर्ष के कानून पर इसका काम है, जहां वाल्स परीक्षण कर रहे हैं कि मॉडल जिनेवा कन्वेंशन को कैसे समझते हैं और लागू करते हैं। व्यापकता संकेत देती है कि मांग कहां से आ रही है: न केवल शीर्ष लीडरबोर्ड की ओर दौड़ने वाली प्रयोगशालाएं, बल्कि उद्यमों और संस्थानों को इस बात के प्रमाण की आवश्यकता होती है कि मॉडल उन्हें तैनात करने से पहले उच्च जोखिम वाले डोमेन में कैसे व्यवहार करते हैं।

बिजनेस मॉडल: परीक्षा देने के लिए भुगतान करें

कंपनियां अपने मॉडलों का मूल्यांकन करने के लिए वैल्स को भुगतान करती हैं - एक ऐसी व्यवस्था जो प्रतिकूल लग सकती है। कोई कंपनी उन परिणामों के लिए भुगतान क्यों करेगी जो उसे शर्मिंदा कर सकते हैं? कृष्णन ने मॉडल की तुलना SAT लेने के लिए कॉलेज बोर्ड को भुगतान करने वाले एक छात्र से की: एक स्वतंत्र माप, यहां तक ​​​​कि एक अप्रिय भी, एक कंपनी को समस्या निवारण और समय के साथ सुधार करने में मदद करता है।

बाजार प्रतिक्रिया देता नजर आ रहा है. वाल्स का कहना है कि इसका राजस्व वर्तमान में पिछले साल की तुलना में आठ गुना है, और इसकी टीम साल की शुरुआत से तीन गुना हो गई है, जो आठ लोगों से बढ़कर 25 हो गई है। कंपनी सैन फ्रांसिस्को के फॉल्सम स्ट्रीट पर दो मंजिल के कार्यालय से संचालित होती है - एक पूर्व शराब बनाने वाली इमारत जिसमें अब कई स्टार्टअप हैं।

कंपनी के अनुसार, एआई मॉडल खरीदने वाले उद्यमों के लिए मूल्यांकन भी निर्णय लेने वाले कारक बन रहे हैं, जिससे बेंचमार्क को विपणन की तुलना में उचित परिश्रम के करीब भूमिका मिल रही है।

सामने की पंक्ति की सीट वाला 25 वर्षीय संस्थापक

25 वर्षीय कृष्णन ने पलान्टिर में इंटर्नशिप की और स्टैनफोर्ड में स्नातक के रूप में, माइक्रोसॉफ्ट और विश्वविद्यालय की प्रसिद्ध कृत्रिम बुद्धिमत्ता प्रयोगशाला के लिए काम किया। उनका कहना है कि वाल्स का जन्म उस उद्योग के पीछे मूल्यांकन गिरावट को देखने से हुआ था जिसे मापने की अपेक्षा की गई थी - एक अंतर जो केवल चौड़ा हो गया है क्योंकि नए मॉडल अकादमिक बेंचमार्क की तुलना में तेजी से आते हैं, जिन्हें डिजाइन, मान्य और प्रकाशित किया जा सकता है।

स्टार्टअप अब एआई मूल्यांकन को संस्थागत बनाने की कोशिश करने वाली कंपनियों के एक छोटे लेकिन बढ़ते समूह में शामिल हो गया है, एक ऐसा स्थान जिसमें शैक्षणिक प्रयास, ओपन-सोर्स लीडरबोर्ड प्रोजेक्ट और सुरक्षा संस्थान शामिल हैं। वाल्स को जो अलग करता है वह इसका निजी-परीक्षण मॉडल है और इसका सार्वजनिक रैंकिंग के बजाय भुगतान, उद्योग-विशिष्ट मूल्यांकन पर ध्यान केंद्रित है।

यह क्यों मायने रखता है

बेंचमार्क के साथ एआई उद्योग की विश्वसनीयता की समस्या अच्छी तरह से प्रलेखित है: लीक हुए परीक्षण सेट, संदिग्ध लीडरबोर्ड छलांग और विपणन दावे जो वास्तविक दुनिया के प्रदर्शन को मात देते हैं। यदि खरीदार - विशेष रूप से उद्यम और सरकारें - वैल्स जैसे निजी, कार्य-आधारित मूल्यांकन पर भरोसा करना शुरू कर देते हैं, तो मॉडल डेवलपर्स के लिए प्रोत्साहन शिक्षण से वास्तविक क्षमता की ओर परीक्षण में स्थानांतरित हो सकता है।

वह तय होने से बहुत दूर है। एक निजी बेंचमार्क अभी भी खरीदारों को रेफरी पर भरोसा करने के लिए कहता है, और वाल्स के ग्राहक वही कंपनियां हैं जिन्हें वर्गीकृत किया जा रहा है। लेकिन $40 मिलियन सीरीज़ ए, आठ गुना राजस्व वृद्धि और जैव सुरक्षा के लिए वित्त की मांग के साथ, शर्त यह है कि स्वतंत्र-भावना मूल्यांकन बुनियादी ढाँचा बन रहा है - एक ऐसी सेवा जिसके लिए एआई अर्थव्यवस्था भुगतान करेगी चाहे परिणाम उसके अनुकूल हों या नहीं।

एआई से आगे रहें

मापने वालों को कौन मापता है? [एआई बज़ वायर] (https://aibuzzwire.news), [ब्रेकिंग AI समाचार] (https://aibuzzwire.news/en) के लिए आपके स्रोत पर AI मूल्यांकन के व्यवसाय और इसे नया आकार देने वाले स्टार्टअप का अनुसरण करें।

नवीनतम एआई समाचार पढ़ें →