एआय बेंचमार्क कोणते मॉडेल हेडलाइन बनवतात हे ठरवतात — आणि ते मॉडेल बनवणाऱ्या कंपन्यांनी त्यांना कसे हरवायचे ते शिकले आहे. 2024 मध्ये स्थापन झालेल्या Vals नावाच्या स्टार्टअपने इंडस्ट्रीला रेफरीची गरज आहे ज्यांच्या चाचण्या खेळल्या जाऊ शकत नाहीत आणि गुंतवणूकदारांनी त्या पैजला मोठ्या प्रमाणात पाठिंबा दिला: Vals ने 8VC आणि ब्लूमबर्ग बीटा यांच्या नेतृत्वाखालील सीड फेरीनंतर गेल्या महिन्यात अँड्रीसेन होरोविट्झ यांच्या नेतृत्वाखालील $40 दशलक्ष मालिका उभारली.

एआय क्षमतांचे मोजमाप कसे केले जाते आणि जेव्हा मापदंड हे मार्केटिंग साधन बनते तेव्हा काय होते याबद्दल वाढत्या अस्वस्थतेच्या दरम्यान कंपनीचा उदय होतो. AI च्या व्यवसायाबद्दल अधिक माहितीसाठी, AI उद्योग कव्हरेज फॉलो करा.

जेव्हा बेंचमार्क मार्केटिंग बनतात

बेंचमार्किंग हे AI मॉडेल्सच्या क्षमतांचे प्रमाणीकरण करण्यासाठी उद्योगाचे प्रमाण बनले आहे — आणि जेव्हा संख्या कंपनीच्या मार्गावर बदलते तेव्हा प्रतिस्पर्ध्यांपेक्षा श्रेष्ठतेच्या जाहिरातीसाठी. चांगले बेंचमार्क म्हणजे चांगले जनसंपर्क.

वॅल्सचे सह-संस्थापक आणि सीईओ रायन कृष्णन यांच्या म्हणण्यानुसार, समस्या अशी आहे की अनेक लेगसी बेंचमार्क मॉडेलच्या आधीच्या पिढीसाठी तयार केले गेले होते आणि कंपन्यांनी त्यांच्या विरूद्ध कसे ऑप्टिमाइझ करायचे हे शोधून काढले आहे. जेव्हा चाचणी साहित्य सार्वजनिक असते, तेव्हा परीक्षा उत्तीर्ण होण्यासाठी मॉडेलला प्रभावीपणे प्रशिक्षित केले जाऊ शकते - एक सराव ज्याचे उद्योगाने दूषितपणा, ओव्हरफिटिंग किंवा पूर्णपणे फसवणूक असे वर्णन केले आहे.

"आम्ही नवीन, अतिशय सक्षम मॉडेल्सचा समूह त्वरीत बाजारात येताना पाहत होतो आणि शैक्षणिक बेंचमार्क त्या सीमावर्ती प्रगतीशी जुळत नव्हते," कृष्णन यांनी TechCrunch ला दिलेल्या मुलाखतीत सांगितले.

खाजगी चाचण्या, वास्तविक-जागतिक कार्ये

वॅल्स दोन आघाड्यांवर भिन्न दृष्टीकोन घेतात. प्रथम, ते त्याच्या विशिष्ट चाचणी साहित्याचा सार्वजनिकपणे खुलासा करत नाही, ज्यामुळे कंपनीला परीक्षेच्या विरूद्ध मॉडेल्सचे प्रशिक्षण देणे खूप कठीण होते. दुसरे, अमूर्त ज्ञान मोजण्याऐवजी — एखादे मॉडेल बार-परीक्षा-शैलीतील प्रश्नांची उत्तरे देऊ शकते का — वॅल्स कायदा, वित्त आणि कोडिंग सारख्या विशिष्ट उद्योगांमध्ये मॉडेल जटिल कार्ये कशी करतात याचे मूल्यमापन करते.

कृष्णन म्हणाले, "आम्ही जे करत आहोत ते प्रत्यक्षात मॉडेल्सचे वास्तविक परिणाम काय आहेत हे पाहत आहोत." "ते काम करू शकतात जे प्रत्येक डोमेनमध्ये मानवासारखे समान गुणवत्तेचे उत्पादन तयार करतात?"

कंपनी केवळ यशच नव्हे तर अपयश मोड देखील मोजते. कृष्णन म्हणाले की, वॅल्सचे उद्दिष्ट आहे की "जर हे मॉडेल जगामध्ये जंगलीपणे चालले तर त्याचे नकारात्मक परिणाम काय होतील" - एक मूल्यमापन तत्वज्ञान जे नकारात्मक जोखमीचा विचार न करता मोजता येणारा आउटपुट मानते.

कायदा आणि वित्त ते जिनिव्हास अधिवेशने आणि पुनरावृत्ती होणारी स्वयं-सुधारणा

Vals च्या मूल्यमापनाची व्याप्ती त्याच्या व्यावसायिक-सेवांच्या मुळांच्या पलीकडे विस्तारत राहते. कायदा, वित्त आणि कोडिंग बेंचमार्क सोबतच, कृष्णन म्हणाले की कंपनी आता मानसिक आरोग्य, सायबरसुरक्षा आणि जैवसुरक्षा, आणि रिकर्सिव्ह सेल्फ-इम्प्रूव्हमेंटवर एक बेंचमार्क देखील चालवते - हा विषय व्यावसायिक मूल्यमापन सूटपेक्षा AI-सुरक्षा मंडळांमध्ये अधिक चर्चिला जातो.

कदाचित सर्वात धक्कादायक म्हणजे सशस्त्र संघर्षाच्या कायद्यावरील त्याचे कार्य आहे, जेथे वॅल्स हे चाचणी करत आहेत की मॉडेल्स जिनिव्हा अधिवेशन कसे समजून घेतात आणि लागू करतात. मागणी जिथून येत आहे ते रुंदीचे संकेत: केवळ लॅबने शीर्ष लीडरबोर्डवर धावणे नव्हे, तर उपक्रम आणि संस्था ज्यांना उच्च-स्टेक डोमेनमध्ये मॉडेल तैनात करण्यापूर्वी कसे वागतात याचा पुरावा हवा आहे.

व्यवसाय मॉडेल: परीक्षेसाठी पैसे द्या

कंपन्या त्यांच्या मॉडेल्सचे मूल्यमापन करण्यासाठी Vals ला पैसे देतात - अशी व्यवस्था जी परस्परविरोधी वाटू शकते. कंपनीला लाज वाटेल अशा परिणामांसाठी कंपनी का पैसे देईल? कृष्णन मॉडेलची तुलना कॉलेज बोर्डाला पैसे देणाऱ्या विद्यार्थ्याशी SAT घेण्यासाठी करतात: एक स्वतंत्र मोजमाप, अगदी बिनधास्त, कंपनीला समस्यानिवारण करण्यात आणि कालांतराने सुधारण्यास मदत करते.

बाजाराला प्रतिसाद मिळत असल्याचे दिसते. Vals म्हणते की त्याची कमाई गेल्या वर्षीच्या तुलनेत सध्या आठ पट आहे, आणि वर्षाच्या सुरुवातीपासून तिप्पट झाली आहे, आठ लोकांवरून 25 पर्यंत वाढली आहे. कंपनी सॅन फ्रान्सिस्कोच्या फॉलसम स्ट्रीटवरील दोन मजल्यांच्या कार्यालयातून काम करते — पूर्वीची ब्रुअरी इमारत ज्यामध्ये आता अनेक स्टार्टअप्स आहेत.

एआय मॉडेल्ससाठी खरेदी करणाऱ्या उपक्रमांसाठी मूल्यांकन देखील निर्णय घेणारे घटक बनत आहेत, कंपनीच्या म्हणण्यानुसार, बेंचमार्कला मार्केटिंगपेक्षा योग्य परिश्रमाच्या जवळची भूमिका देते.

एक 25-वर्षीय संस्थापक समोरच्या-रो सीटसह

कृष्णन, 25, पलांटीर येथे इंटर्न केलेले आणि, स्टॅनफोर्ड येथे पदवीधर म्हणून, मायक्रोसॉफ्ट आणि विद्यापीठाच्या सुप्रसिद्ध कृत्रिम बुद्धिमत्ता प्रयोगशाळेसाठी काम केले. तो म्हणतो की वॅल्सचा जन्म इंडस्ट्रीच्या इंडस्ट्रीच्या मागे पडल्याचे मूल्यांकन पाहण्यापासून झाला आहे - ही दरी वाढली आहे कारण नवीन मॉडेल्स शैक्षणिक बेंचमार्क डिझाईन, प्रमाणित आणि प्रकाशित करता येण्यापेक्षा वेगाने येतात.

स्टार्टअप आता एआय मूल्यांकन संस्थात्मक करण्याचा प्रयत्न करणाऱ्या कंपन्यांच्या छोट्या पण वाढत्या गटात सामील झाले आहे, एक जागा ज्यामध्ये शैक्षणिक प्रयत्न, मुक्त-स्रोत लीडरबोर्ड प्रकल्प आणि सुरक्षा संस्थांचा समावेश आहे. Vals वेगळे करते ते त्याचे खाजगी-चाचणी मॉडेल आणि सार्वजनिक रँकिंगऐवजी सशुल्क, उद्योग-विशिष्ट मूल्यमापनांवर लक्ष केंद्रित करते.

हे महत्त्वाचे का आहे

बेंचमार्कसह AI उद्योगाच्या विश्वासार्हतेची समस्या चांगल्या प्रकारे दस्तऐवजीकरण केलेली आहे: लीक झालेले चाचणी संच, संशयास्पद लीडरबोर्ड उडी आणि विपणन दावा करतात की वास्तविक-जगातील कामगिरीला मागे टाकते. जर खरेदीदार - विशेषत: उद्योग आणि सरकारे - Vals' सारख्या खाजगी, कार्य-आधारित मूल्यमापनांवर अवलंबून राहू लागले, तर मॉडेल डेव्हलपर्ससाठी प्रोत्साहने शिकवण्यापासून खऱ्या क्षमतेच्या चाचणीकडे वळू शकतात.

ते सेटल होण्यापासून खूप लांब आहे. खाजगी बेंचमार्क अजूनही खरेदीदारांना रेफरीवर विश्वास ठेवण्यास सांगतो आणि वॅल्सचे क्लायंट त्याच कंपन्यांचे श्रेणीबद्ध आहेत. परंतु $40 दशलक्ष मालिका A, आठपट महसूल वाढ आणि बायोसेक्युरिटीला वित्त पुरवणारी मागणी, पैज अशी आहे की स्वतंत्र-भावना मूल्यमापन ही पायाभूत सुविधा बनत आहे - ही सेवा AI अर्थव्यवस्था परिणामांची चापलूसी करते की नाही यासाठी पैसे देईल.

AI च्या पुढे रहा

मोजमाप करणाऱ्यांना कोण मोजतो? AI Buzz Wire, तुमचा स्रोत एआय न्यूज.

ताज्या एआय बातम्या वाचा →