Google DeepMind ने 27 ऑगस्ट रोजी घोषित केले ज्याला ते मालकीचे, फ्रंटियर-क्लास AI मॉडेलचे जगातील पहिले दुहेरी-आंधळे मूल्यांकन म्हणतात — एक क्रिप्टोग्राफिक सेटअप जे बाहेरील तज्ञांना दुसऱ्याची गुपिते कधीही न पाहता Google च्या मॉडेल्सची तणाव-चाचणी करू देण्यासाठी डिझाइन केलेले आहे.

विल्यम आयझॅक, सोल मेसिंग आणि क्रिस्टियन लुम यांनी डीपमाइंड ब्लॉग पोस्टमध्ये वर्णन केलेले पायलट, क्रिप्टोग्राफिकदृष्ट्या सुरक्षित वातावरणात गोपनीय बेंचमार्कद्वारे जेमिनी फ्लॅश लाइट मॉडेल चालवते. Google DeepMind ने सिंगापूर AI सेफ्टी इन्स्टिट्यूट, OpenMined, AVERI आणि MLCcommons सोबत या प्रयत्नात भागीदारी केली आहे आणि या पद्धतीचे वर्णन करणारा एक तांत्रिक अहवाल प्रकाशित केला आहे.

घोषणा एआय मूल्यांकनातील सर्वात सततच्या कमकुवततेकडे लक्ष देते: बेंचमार्क दूषित होणे. AI संशोधन बातम्या चा मागोवा घेणाऱ्या वाचकांसाठी, हे तृतीय-पक्ष मॉडेल चाचणी तपासण्यायोग्यपणे स्वच्छ करण्याच्या अधिक ठोस प्रयत्नांपैकी एक आहे.

प्रदूषण समस्या, स्पष्ट केले

डीपमाइंडने त्याची घोषणा वर्गातील समानतेने उघडली. जर एखाद्या विद्यार्थ्याने चुकून परीक्षेचे प्रश्न अगोदर पाहिले तर परिपूर्ण स्कोअर म्हणजे काहीच नाही. हेच लॉजिक फ्रंटियर मॉडेल्सना लागू होते: जर एखादे मॉडेल आधीच बेंचमार्कमधील प्रश्नांसमोर आले असेल — प्रशिक्षण डेटा, लीक केलेले इव्हल सेट किंवा पूर्वीचे ऑप्टिमायझेशन — परिणामी स्कोअर वास्तविक क्षमतेला मोठ्या प्रमाणात ओव्हरस्टेट करू शकतात.

ही काल्पनिक चिंता नाही. बेंचमार्क दूषिततेने अनेक वर्षांपासून या क्षेत्राला वेठीस धरले आहे, संशोधकांनी वारंवार हे दाखवून दिले आहे की लोकप्रिय चाचणी सेट वेब-स्केल ट्रेनिंग कॉर्पोरामध्ये लीक होतात आणि ज्ञात मूल्यमापनांवर चांगले प्रदर्शन करण्यासाठी मॉडेल शांतपणे ट्यून केले जाऊ शकतात. जेव्हा सरकार आणि उद्योग खरेदी आणि धोरणात्मक निर्णय घेण्यासाठी बेंचमार्क स्कोअर वापरतात, तेव्हा वाढलेल्या संख्येचे वास्तविक परिणाम होतात.

मॉडेल्स अधिक सक्षम होत असताना, डीपमाइंडचे म्हणणे आहे की, संवेदनशील मूल्यमापन श्रेण्यांसाठी - सायबरसुरक्षा चाचणी आणि सरकारी मूल्यमापन प्रमुख - जेथे दूषित स्कोअर केवळ दिशाभूल करणारा नाही तर संभाव्य धोकादायक आहे.

जुना ट्रेडऑफ: तुमचे प्रॉम्प्ट किंवा आमचे वजन

ऐतिहासिकदृष्ट्या, उच्च-स्टेक बाह्य मूल्यमापनांनी एक अस्वस्थ निवड करण्यास भाग पाडले. एकतर मूल्यांकनकर्त्याने त्याचे चाचणी प्रॉम्प्ट मॉडेल प्रदात्याकडे सुपूर्द केले — प्रदात्याने चाचणी प्रश्न अगोदरच पाहतील असा धोका पत्करून — किंवा प्रदात्याने मूल्यमापनकर्त्याला मॉडेलचे वजन सुपूर्द केले — त्याच्या सर्वात मौल्यवान बौद्धिक संपत्तीचे नुकसान होण्याचा धोका आहे.

डीपमाइंड लिहितात, शून्य-लॉगिंग प्रोटोकॉल आणि कठोर कराराच्या संरक्षणामुळे बाह्य चाचणी प्रॉम्प्ट गोपनीय ठेवण्यात आले आहेत, परंतु ते गणिताऐवजी धोरणाद्वारे लागू केलेली आश्वासने आहेत. दुहेरी-आंधळे मूल्यमापन त्या विश्वासाची जागा क्रिप्टोग्राफिक पुराव्याने घेतात.

क्रिप्टोग्राफिक बॉक्स कसे कार्य करते

पायलट गोपनीय जागा वापरतो, जो Google क्लाउडच्या गोपनीय संगणन पोर्टफोलिओचा भाग आहे, डीपमाइंड क्रिप्टोग्राफिक "बॉक्स" म्हणून वर्णन करते ते तयार करण्यासाठी. त्याच्या आत, मूल्यमापनाचे दोन्ही भाग — गोपनीय बेंचमार्क आणि मालकीचे मॉडेल — त्यांच्या संबंधित मालकांसाठी खाजगी राहतात आणि पर्यावरण क्रिप्टोग्राफिकली त्या वस्तुस्थितीची पडताळणी करते.

परिणाम खरोखर दुहेरी अंध आहे: बाह्य मूल्यांकनकर्ता जेमिनी मॉडेलचे वजन पाहू शकत नाही आणि Google मूल्यांकनकर्त्याच्या चाचणी सूचना पाहू शकत नाही. कोणत्याही बाजूने दुसऱ्याच्या वचनांवर विश्वास ठेवू नये, कारण वास्तूच तत्त्वतः गळती अशक्य करते. गंभीरपणे, सेटअप भविष्यातील चाचणीपूर्वी मॉडेल कार्यप्रदर्शन ऑप्टिमाइझ करण्यासाठी मूल्यमापन डेटाचा नंतर वापर करण्यापासून प्रतिबंधित करते - लूप बंद करणे ज्याद्वारे दूषितता सामान्यत: परत येते.

AI निरीक्षणासाठी हे महत्त्वाचे का आहे

व्यापक महत्त्व एका मिथुन मॉडेलच्या पलीकडे जाते. स्वतंत्र संस्था — AI सुरक्षा संस्था, शैक्षणिक प्रयोगशाळा, नियामक — बंद फ्रंटियर मॉडेल्सचे कठोरपणे मूल्यांकन करण्यासाठी वर्षानुवर्षे संघर्ष करत आहेत, तंतोतंत कारण प्रदाता वजन देऊ शकत नाहीत आणि मूल्यांकनकर्ते बेंचमार्क सोपवणार नाहीत. फ्रंटियर लॅबसोबत मूल्यमापन करारांवर स्वाक्षरी करताना प्रत्येक प्रमुख AI सुरक्षा संस्था या समस्येच्या आवृत्त्यांशी सामना करत आहे.

जर पायलट थांबला तर ते एक टेम्पलेट ऑफर करते ज्या अंतर्गत डेटा सार्वभौमत्व आणि बौद्धिक संपदा स्वतंत्र छाननीसह संपर्कात टिकून राहते. डीपमाइंड म्हणते की त्याला आशा आहे की पायलट "मॉडेल निरीक्षणासाठी एक नवीन सीमा प्रस्थापित करेल, व्यापक उद्योगाला सुरक्षित, अधिक विश्वासार्ह आणि व्यापकपणे विश्वासार्ह AI प्रणाली तयार करण्यात मदत करेल."

भागीदार यादी स्वतःच लक्षणीय आहे. सिंगापूर एआय सेफ्टी इन्स्टिट्यूट ही सर्वात सक्रिय राष्ट्रीय मूल्यमापन संस्थांपैकी एक आहे; OpenMined गोपनीयतेचे संरक्षण करणारे संगणकीय टूलिंग तयार करते; एमएलकॉमन्स उद्योग बेंचमार्किंगचे मानकीकरण करते. AVERI सरकार, शैक्षणिक आणि उद्योग मानक संस्थांचा विस्तार करणारे एक संघ बनवते — ज्या मतदारसंघांना ते प्रात्यक्षिक बनण्याऐवजी सामान्य बनण्यासाठी दुहेरी-आंधळे मूल्यमापन स्वीकारण्याची आवश्यकता असेल.

मूल्यमापन अखंडतेवर शस्त्रांची शर्यत

AI कंपन्या स्वतःला कसे ग्रेड देतात याच्या वाढत्या छाननीमध्ये ही घोषणा उतरली आहे. लॅब्सना चेरी पिकिंग अनुकूल बेंचमार्कच्या वाढत्या आरोपांचा सामना करावा लागतो आणि स्वतंत्र लीडरबोर्ड तंतोतंत प्रभावशाली बनले आहेत कारण ते विक्रेत्यांच्या नियंत्रणाबाहेर बसतात. दुहेरी-आंधळे मूल्यमापन त्या विक्रेत्याच्या स्वतःच्या पायाभूत सुविधांमध्ये स्वातंत्र्य चळवळ वाढवते — ज्या कंपन्यांनी त्यांच्या मॉडेल्सची चाचणी कशी केली जाते याच्या प्रत्येक तपशीलावर ऐतिहासिकदृष्ट्या नियंत्रण ठेवण्याचा आग्रह धरला आहे त्यांच्यासाठी एक उल्लेखनीय बदल.

आत्तासाठी, पायलटमध्ये एक मॉडेल आणि गोपनीय बेंचमार्कचा संच समाविष्ट आहे. परंतु क्रिप्टोग्राफिकली सत्यापित केल्यास, प्रदूषण-मुक्त मूल्यमापन तांत्रिकदृष्ट्या नित्याचे बनले, तर ते प्रत्येक सीमावर्ती प्रयोगशाळेकडून एंटरप्राइझ आणि नियामकांना काय अपेक्षित आहे ते बदलू शकते — आणि "आमच्या स्कोअरवर विश्वास ठेवा" हे सत्यापित करण्यायोग्य दाव्यांवर वाढत्या बाजारपेठेत विक्री करणे अधिक कठीण बनवू शकते.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →