एक नया बेंचमार्क चुनौतीपूर्ण है कि एआई उद्योग वैज्ञानिक क्षमता को कैसे मापता है, और इसके पहले परिणाम अग्रणी प्रयोगशालाओं के लिए निराशाजनक हैं। स्टैनफोर्ड यूनिवर्सिटी के शोधकर्ताओं और लोकप्रिय टर्मिनल-बेंच कोडिंग बेंचमार्क के पीछे की टीम द्वारा इस सप्ताह लॉन्च किया गया टर्मिनल-बेंच-साइंस 0.1, कार्यरत वैज्ञानिकों द्वारा योगदान किए गए वास्तविक वैज्ञानिक अनुसंधान वर्कफ़्लो पर एआई एजेंटों का मूल्यांकन करता है - और परीक्षण किया गया सबसे मजबूत मॉडल, क्लाउड कोड के माध्यम से चलने वाला क्लाउड ओपस 5, केवल 30% कार्य पूरा करता है।

बेंचमार्क का घोषणा पृष्ठ इसके मार्गदर्शक सिद्धांत का स्पष्ट रूप से वर्णन करता है: वैज्ञानिकों को, मॉडल डेवलपर्स या डेटा विक्रेताओं को नहीं, एआई में वैज्ञानिक क्षमता के लिए मानक निर्धारित करना चाहिए। यह परियोजना दुनिया भर के अनुसंधान संस्थानों के डोमेन विशेषज्ञों के सहयोग से बनाई गई थी, और इसकी पहली रिलीज में जीवन विज्ञान, भौतिकी, पृथ्वी विज्ञान, गणित और इंजीनियरिंग से जुड़े 70 कार्य शामिल हैं।

यह पाठ्यपुस्तक बेंचमार्क से कैसे भिन्न है

अधिकांश वैज्ञानिक एआई मूल्यांकन ज्ञान का परीक्षण करते हैं: बहुविकल्पीय प्रश्न, पाठ्यपुस्तक की समस्याएं, मानकीकृत अभ्यास। इसके बजाय टर्मिनल-बेंच-साइंस यह मापता है कि क्या एजेंट तकनीकी रूप से मांग करने वाले, समय लेने वाले वर्कफ़्लो को निष्पादित कर सकते हैं जो वास्तविक शोधकर्ताओं के दिन भरते हैं - उस तरह का काम जो किसी परीक्षा में दिखाई नहीं देता है। कार्य यथार्थवादी वातावरण में चलते हैं, और ग्रेडिंग ठोस कलाकृतियों पर आधारित होती है: विश्लेषण, सिमुलेशन, प्रमाण, कोड और डेटा उत्पाद, जज मॉडल या बहु-विकल्प स्कोरिंग के बजाय प्रतिलिपि प्रस्तुत करने योग्य कार्य-विशिष्ट परीक्षणों के साथ जांचे जाते हैं।

यह डिज़ाइन इस सिद्धांत को दर्शाता है कि एआई सहायकों को अंततः विज्ञान के लिए क्या करना चाहिए। वैज्ञानिक निर्णय को बदलने के बजाय, बेंचमार्क के लेखकों का तर्क है, एजेंटों को निष्पादन परत को अपने हाथ में लेना चाहिए - सिलिको में प्रयोग चलाना, डेटा को संसाधित करना, सबूतों की जांच करना - अनुसंधान के उन हिस्सों के लिए वैज्ञानिकों को मुक्त करना जहां मानव निर्णय सबसे अधिक मायने रखता है: प्रश्नों को परिभाषित करना, परिकल्पना बनाना, परिणामों की व्याख्या करना और निष्कर्षों को संप्रेषित करना।

परियोजना को स्पष्ट रूप से एक गतिशील लक्ष्य के रूप में भी बनाया गया है। जहां कई बेंचमार्क एक बार जारी किए जाते हैं और छोड़ दिए जाते हैं - घोषणा में इसे "प्रकाशित करने के लिए कागजात" समस्या कहा जाता है - टर्मिनल-बेंच-साइंस को एक सतत बेंचमार्क के रूप में डिज़ाइन किया गया है जो सीमा के साथ-साथ विकसित होता है, नियमित रिलीज के साथ मूल्यांकन को मॉडल प्रगति से आगे रखने और संदूषण-संचालित स्कोर मुद्रास्फीति को रोकने के लिए डिज़ाइन किया गया है।

पहला लीडरबोर्ड: विश्वसनीय से बहुत दूर

V0.1 लीडरबोर्ड, जिसने इस सप्ताह हैकर न्यूज़ तक पहुँचकर महत्वपूर्ण ध्यान आकर्षित किया, शीर्ष से भारी गिरावट दर्शाता है:

  • क्लाउड ओपस 5 (क्लाउड कोड): 30.0%
  • जीपीटी-5.6 सोल (कोडेक्स): 22.4%
  • क्लाउड कल्पित 5 (क्लाउड कोड): 21.4%
  • क्लाउड ओपस 4.8 (क्लाउड कोड): 10.5%
  • जीपीटी-5.6 टेरा (कोडेक्स): 8.6%
  • जीएलएम 5.3 (क्लाउड कोड): 8.1%
  • किमी K3 (क्लाउड कोड): 7.1%
  • ग्रोक 4.6 (ग्रोक बिल्ड): 7.1%
  • जीपीटी-5.6 लूना (कोडेक्स): 3.3%

नतीजे बताते हैं कि सॉफ्टवेयर इंजीनियरिंग की तुलना में एजेंटों के लिए वैज्ञानिक वर्कफ़्लो काफी कठिन रहता है, जहां मूल टर्मिनल-बेंच और प्रतिद्वंद्वी कोडिंग बेंचमार्क ने स्कोर तेजी से बढ़ते देखा है। सर्वोत्तम उपलब्ध प्रणाली के लिए 30% रिज़ॉल्यूशन दर का मतलब है कि दस में से सात वास्तविक अनुसंधान कार्यों पर, यहां तक ​​कि एक मजबूत हार्नेस के साथ जोड़ा गया एक शीर्ष स्तरीय एजेंट भी सत्यापन योग्य रूप से सही काम करने में विफल रहता है।

मॉडल परिवारों के भीतर प्रसार भी शिक्षाप्रद है। क्लाउड ओपस 5 और क्लाउड ओपस 4.8 के बीच का अंतर - लगभग बीस अंक - और जीपीटी-5.6 वेरिएंट सोल, टेरा और लूना के बीच यह दर्शाता है कि परिणाम की गुणवत्ता मॉडल और एजेंट हार्नेस के परस्पर क्रिया पर निर्भर करती है, न कि केवल कच्चे मॉडल इंटेलिजेंस पर। प्रत्येक उच्च-स्कोरिंग प्रविष्टि एक एजेंटिक कोडिंग हार्नेस (क्लाउड कोड, कोडेक्स, ग्रोक बिल्ड) का उपयोग करती है, जो उभरती हुई आम सहमति को मजबूत करती है कि मचान अंतर्निहित वजन के समान ही निर्णायक है।

वैज्ञानिकों ने अपना खुद का बेंचमार्क क्यों बनाया

बेंचमार्क का निर्धारण एक सूक्ष्म संस्थागत तर्क रखता है। घोषणा में कहा गया है, "विज्ञान में दांव बहुत ऊंचे हैं," और इसके मानकों को बाहरी हितों के बजाय वैज्ञानिक समुदाय की प्राथमिकताओं को प्रतिबिंबित करना चाहिए। यह परियोजना काम करने वाले शोधकर्ताओं को उन कार्यों को एन्कोड करने के लिए एक सीधा तंत्र देती है जिनकी उन्हें वास्तव में स्वचालित आवश्यकता होती है - और विक्रेताओं के "वैज्ञानिक खोज में तेजी लाने" के दावों को एक सत्यापन योग्य मानक के विरुद्ध रखने के लिए।

यह मायने रखता है क्योंकि विपणन और वास्तविकता के बीच के अंतर के वास्तविक परिणाम होते हैं। यदि फ्रंटियर लैब दावा करते हैं कि उनके एजेंट अनुसंधान में तेजी ला सकते हैं, जबकि स्वतंत्र, विशेषज्ञ-डिज़ाइन किए गए मूल्यांकन एकल-अंक-से-30% रिज़ॉल्यूशन दरें, फंडिंग निर्णय, भर्ती योजनाएं और उन दावों पर बनी लैब नीतियां दिखाते हैं, जो त्रुटि का कारण बनती हैं। निरंतर, समुदाय-स्वामित्व वाले बेंचमार्क एक सुधारात्मक हैं: वे अस्पष्ट दावों को प्रतिलिपि प्रस्तुत करने योग्य संख्याओं में परिवर्तित करते हैं।

अनुसंधान संस्थानों के लिए एक संकेत

विश्वविद्यालयों, राष्ट्रीय प्रयोगशालाओं और अनुसंधान एवं विकास टीमों के लिए जो यह तय कर रहे हैं कि एजेंटों को कब तैनात किया जाए, बेंचमार्क कुछ ऐसा प्रदान करता है जो विक्रेता डेमो नहीं कर सकता: एक समुदाय-रखरखाव माप जहां विश्वसनीयता रेखा वास्तव में बैठती है। किशोरावस्था या बीस के दशक में रिज़ॉल्यूशन दर का मतलब है कि इन प्रणालियों को आज सहायक के रूप में सबसे अच्छा माना जाता है, जिनकी समीक्षा की आवश्यकता होती है, न कि प्रायोगिक पाइपलाइनों के स्वायत्त निष्पादकों के रूप में। कार्य श्रेणियाँ - जीवन, भौतिक, पृथ्वी, गणितीय और इंजीनियरिंग विज्ञान तक फैली हुई हैं - डोमेन विशेषज्ञों को उन क्षेत्रों से वर्कफ़्लो में योगदान करने के लिए एक टेम्पलेट भी देती हैं जिन्हें सामान्य बेंचमार्क नियमित रूप से अनदेखा करते हैं।

व्यापक उद्योग संदर्भ इस बात को पुष्ट करता है कि समय क्यों मायने रखता है। विज्ञान फ्रंटियर एआई के लिए सबसे अधिक प्रचारित उपयोग के मामलों में से एक बन गया है, जिसमें प्रयोगशालाएं सामग्री खोज, प्रोटीन विज्ञान और गणित में योगदान दे रही हैं। उन दावों का ऑडिट करना कठिन है: वैज्ञानिक आउटपुट को मान्य करना धीमा है, और उत्साह प्रतिकृति की तुलना में तेजी से आगे बढ़ता है। एक बेंचमार्क जो वास्तविक वर्कफ़्लो पर सत्यापन योग्य कलाकृतियों को ग्रेड करता है, अनुसंधान संस्थानों को प्रदर्शन थिएटर से प्रदर्शित क्षमता को अलग करने का एक तरीका देता है - और ट्रैक करने के लिए, रिलीज़ द्वारा रिलीज़ करता है, कि क्या विज्ञान में एजेंटिक प्रगति उतनी ही तेज़ी से बढ़ रही है जितनी सॉफ्टवेयर इंजीनियरिंग में, जहां टर्मिनल-बेंच ने पहली बार अपना नाम बनाया था।

एआई उद्योग के लिए, v0.1 का संदेश दोधारी है। सीमा स्पष्ट रूप से आगे बढ़ रही है - ओपस 5 के 30% टावर पुराने ओपस 4.8 के 10.5% से अधिक हैं - लेकिन छत उस विश्वसनीयता से बहुत दूर है जिसकी वास्तविक प्रयोगशालाओं को आवश्यकता होती है। बेंचमार्क के डिज़ाइनरों का कहना है कि नियमित रिलीज़ यह ट्रैक करेगी कि वह अंतर कितनी तेजी से ख़त्म होता है। एजेंटिक अनुसंधान उपकरणों में उभरते एआई रुझान पर नजर रखने वाले वैज्ञानिकों के पास अब एक मानदंड है जो उन्होंने खुद बनाया है।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →