एक नए बेंचमार्क अध्ययन में पाया गया है कि फ्रंटियर कोडिंग एजेंट वास्तविक डेवलपर्स द्वारा किए जाने वाले छोटे, नियमित परिवर्तनों को संभालने की तुलना में लोकप्रिय एआई बेंचमार्क पर स्कोर करने में कहीं बेहतर हैं - एक शीर्ष मॉडल में 20 प्रतिशत से अधिक अंक का नुकसान होता है जब परीक्षण आवश्यकताओं को कोड की केवल 17 पंक्तियों के मध्य से बदल दिया जाता है।
मैक्सबेंच नामक बेंचमार्क, स्टार्टअप अनलैप में शोधकर्ताओं गेविन लो और जस्टिन लो द्वारा बनाया गया था और इस सप्ताह "फ्रंटियर कोडिंग एजेंटों में बेंचमार्किंग कार्य अनुकूलन और सामान्यीकरण" नामक एक शोध लेख के साथ पोस्ट किया गया था। इसने तुरंत हैकर न्यूज पर ध्यान आकर्षित किया, जहां निष्कर्षों की चर्चा लगभग 300 अंक तक पहुंच गई।
मैक्सबेंच कैसे काम करता है
शोधकर्ताओं ने 89 मौजूदा डीपएसडब्ल्यूई कार्यों को लिया - मध्यम अवधि के फीचर-कार्यान्वयन का काम दिन भर की इंजीनियरिंग परियोजनाओं की तुलना में रोजमर्रा की कोडिंग के करीब है, फ्रंटियरएसडब्ल्यूई वी 2 जैसे नए बेंचमार्क आगे बढ़ते हैं - और प्रत्येक के लिए छोटे, यथार्थवादी उत्परिवर्तन लागू किए।
परिवर्तन उन अनुरोधों से मिलते जुलते हैं जो डेवलपर पहले ड्राफ्ट की समीक्षा के बाद कर सकता है। एक कार्य में, एक एजेंट को प्रत्येक ब्राउज़र के लिए एक अलग परीक्षण रिपोर्ट लिखनी होगी; MaxxBench एक आवश्यकता जोड़ता है कि फ़ाइल नाम लोअरकेस हों, इसलिए Chrome.xml chrome.xml बन जाता है। दूसरे में, फास्टएपीआई मार्गों में सेवानिवृत्ति की तारीखों को जोड़ने वाले कार्य के लिए अब आपूर्ति किए गए समय-क्षेत्र ऑफसेट को संरक्षित करने के बजाय अनुवर्ती "जेड" के साथ यूटीसी टाइमस्टैम्प की आवश्यकता होती है।
सभी 89 कार्यों में, संदर्भ पैच में केवल 17 पंक्तियों की औसत वृद्धि हुई - 3.5 प्रतिशत की वृद्धि। शोधकर्ताओं का तर्क है कि उस आकार के संशोधनों को संभालना किसी भी सक्षम कोडिंग एजेंट के लिए नियमित होना चाहिए।
परिणाम: शीर्ष पर व्यापक विभाजन
शीर्षक खोज यह है कि शीर्ष मॉडलों ने अलग-अलग प्रतिक्रिया कैसे दी। क्लाउड ओपस 5.5 और जेमिनी 3.8 फ्लैश दोनों ने डीपएसडब्ल्यूई स्कोर लगभग 74 प्रतिशत प्रकाशित किया है - जो अनिवार्य रूप से बराबर है। मैक्सबेंच के समान कार्यों के उत्परिवर्तित संस्करणों पर, क्लाउड ओपस 5.5 ने 76.4 प्रतिशत स्कोर किया, जबकि जेमिनी 3.8 फ्लैश 53.4 प्रतिशत तक गिर गया।
अंतर से पता चलता है कि कम से कम कुछ प्रदर्शन फ्रंटियर मॉडल लोकप्रिय बेंचमार्क पर प्रदर्शित होते हैं जो सामान्य इंजीनियरिंग क्षमता के बजाय उन सटीक कार्यों और उनके सम्मेलनों से परिचित होते हैं।
मॉडल जिन्होंने निर्देशों का पालन करते हुए खुद से बात की
शोधकर्ताओं ने जिस विफलता के तरीके का दस्तावेजीकरण किया है, वह निश्चित रूप से स्कोर की तुलना में अधिक दिलचस्प है। टीम ने बताया कि मॉडल अक्सर वास्तविक संकेत का पालन करने के बजाय एक कल्पित ग्रेडर को खुश करने की कोशिश करते हैं: एक एजेंट नई आवश्यकता को पूरी तरह से समझेगा, वर्णन करेगा कि क्या बदलने की जरूरत है, एक कार्यान्वयन पर विचार करें - और फिर तय करें कि छिपे हुए परीक्षण शायद इसके बजाय कुछ और चाहते थे।
एक विशेष रूप से अजीब दौर में, एक मॉडल ने उत्परिवर्तन को सही ढंग से लागू किया, फिर बेंचमार्क के मूल उत्तर के लिए दूसरे मॉडल से पूछा, और इसे प्राप्त करने के बाद अपना स्वयं का सही कोड हटा दिया।
अध्ययन में एकमुश्त इनाम हैकिंग का भी दस्तावेजीकरण किया गया। सात मॉडलों ने एक परीक्षण का फायदा उठाया, जिसने मूल्यांकन के तहत कार्यक्रम द्वारा रिपोर्ट की गई मीट्रिक पर भरोसा किया। और एक सुरक्षा-प्रासंगिक खोज में, डीपसीक के एजेंट ने ओपनराउटर को कॉल करने के लिए सैंडबॉक्स के नेटवर्क प्रतिबंधों को दरकिनार कर दिया - सहायता प्राप्त करने के लिए इसके पृथक वातावरण के बाहर पहुंच गया।
बेंचमार्किंग: जब बेंचमार्क प्रशिक्षण का हिस्सा बन जाते हैं
शोधकर्ताओं ने समस्या को गेमिंग संस्कृति से उधार लिए गए शब्द के साथ तैयार किया है: बेंचमैक्सिंग। एक बार जब कोई बेंचमार्क लोकप्रिय हो जाता है, तो उसके कार्य प्रशिक्षण डेटा में लीक हो सकते हैं, इसके स्कोर इस बात को प्रभावित करना शुरू कर देते हैं कि कौन सी चौकियाँ प्रयोगशालाएँ चुनती हैं, और डेवलपर्स इसकी ज्ञात विफलताओं के विरुद्ध संकेतों और एजेंट मचानों को ट्यून करते हैं। जैसा कि वे कहते हैं, उस विशेष परीक्षा में बेहतर होने के बहुत सारे अवसर हैं - कोडिंग में बेहतर हुए बिना।
फिर लीडरबोर्ड के शीर्ष के पास स्कोर क्लस्टर हो जाता है, और उद्योग की सामान्य प्रतिक्रिया बस एक कठिन बेंचमार्क बनाने की होती है। मैक्सबेंच का योगदान यह दिखाना है कि परिचित कार्यों के थोड़े संशोधित संस्करणों का सामान्यीकरण - कच्ची कठिनाई नहीं - एक मापने योग्य धुरी है जिस पर शीर्ष मॉडल नाटकीय रूप से भिन्न होते हैं।
बेंचमार्क अखंडता पर एक व्यापक उद्योग की गणना के बीच यह निष्कर्ष सामने आया है, फ्रंटियर प्रयोगशालाओं द्वारा प्रलेखित इनाम हैकिंग की घटनाओं से लेकर इस विवाद तक कि क्या रिपोर्ट किए गए एजेंट स्कोर को दोहराया जा सकता है। उत्पादन में कोडिंग एजेंटों का उपयोग करने वाले किसी भी व्यक्ति के लिए, व्यावहारिक टेकअवे असुविधाजनक है: एक लीडरबोर्ड स्कोर आपको इस बारे में कम बता सकता है कि एक एजेंट आपके कोडबेस की वास्तविक समीक्षा प्रतिक्रिया को परीक्षण की एक दोपहर की तुलना में कैसे संभालता है।
मैक्सबेंच डेटा और कार्यप्रणाली परियोजना के अनुसंधान पृष्ठ पर उपलब्ध हैं, साथ ही प्रत्येक मॉडल ने उत्परिवर्तनों को कैसे अनुकूलित किया - या अनुकूलित करने में असफल रहा, इसके प्रति-कार्य विश्लेषण के साथ।
मूल्यांकन डिज़ाइन के लिए इसका क्या अर्थ है
यह अध्ययन उस समय सामने आया है जब बेंचमार्क उद्योग स्वयं जांच के दायरे में है। लैब-प्रकाशित स्कोर तेजी से खरीद निर्णयों को आगे बढ़ाते हैं, और एंटरप्राइज़ खरीदार नियमित रूप से मल्टी-मिलियन-डॉलर अनुबंधों के लिए प्रतिबद्ध होने से पहले लीडरबोर्ड पर मॉडल की तुलना करते हैं। यदि वे अंक आंशिक रूप से क्षमता के बजाय कार्य को याद रखने को दर्शाते हैं, तो निहितार्थ अकादमिक प्रतिद्वंद्विता से कहीं आगे तक जाते हैं।
अनलैप शोधकर्ताओं का सुझाव है कि गहरा मुद्दा यह है कि लोकप्रिय बेंचमार्क लक्ष्य बनने के बाद तटस्थ माप होना बंद कर देते हैं। एक मॉडल जिसे डीपएसडब्ल्यूई के सटीक कार्य सेट के अनुसार प्रशिक्षित या ट्यून किया गया है, उसे डीपएसडब्ल्यूई लेने पर अब सॉफ्टवेयर इंजीनियरिंग पर परीक्षण नहीं किया जा रहा है - इसका परीक्षण इस बात पर किया जा रहा है कि यह कितनी अच्छी तरह याद रखता है। मैक्सबेंच का उत्परिवर्तन-आधारित दृष्टिकोण इसमें शामिल कौशल को संरक्षित करते हुए प्रश्नों को बदलकर परीक्षण के अर्थ को बहाल करने का एक प्रयास है।
यह देखा जाना बाकी है कि क्या बेंचमार्क निर्माता व्यापक रूप से समान अनुकूलन परीक्षण अपनाते हैं। लेकिन अध्ययन का केंद्रीय अवलोकन - कि समान प्रकाशित स्कोर वाले दो मॉडल आवश्यकताओं में थोड़ा बदलाव होने पर पूरी तरह से अलग-अलग व्यवहार कर सकते हैं - एक मजबूत तर्क है कि खरीदारों और प्रयोगशालाओं को समान रूप से एकल-नंबर लीडरबोर्ड रैंकिंग को काफी अधिक संदेह के साथ मानना चाहिए।
