एआय मॉडेल पाठवण्यापूर्वी, ते नंतर किती वेळा अवांछित वर्तन प्रदर्शित करेल याचा अंदाज लावण्यासाठी डिझाइन केलेल्या सुरक्षा चाचणीतून जाते — प्रतिबंधित सामग्री तयार करणे, वापरकर्त्यांची फसवणूक करणे किंवा अन्यथा रेल्वेतून जाणे. परंतु ओपनएआय संशोधकांच्या मते, त्या चाचण्या वास्तविकतेचा फक्त एक विस्कळीत भाग कॅप्चर करतात.

OpenAI मधील एक टीम आता "डिप्लॉयमेंट सिम्युलेशन" नावाची एक पद्धत प्रस्तावित करते जी नवीन मॉडेल रिलीज झाल्यानंतर किती वेळा चुका करेल याचा अंदाज लावते. संशोधन पेपरमध्ये वर्णन केलेला दृष्टिकोन, मानक सुरक्षा चाचणीद्वारे सोडलेल्या गंभीर अंतरांना भरून काढू शकतो आणि विकसकांना वास्तविक-जगातील वर्तनाचे अधिक अचूक चित्र देऊ शकतो. For more context on this story, see our ongoing more AI stories.

मानक सुरक्षा चाचण्यांसह समस्या

बहुतेक प्री-रिलीझ सुरक्षा चाचण्या हस्तलिखित, सिंथेटिक किंवा मुद्दाम अवघड प्रश्नांवर अवलंबून असतात. हे प्रोब कमकुवतपणा दूर करण्यासाठी डिझाइन केलेले आहेत, परंतु ते वास्तविक वापरकर्ते काय टाइप करतात ते प्रतिबिंबित करत नाहीत. ते ठराविक कामगिरीचे मोजमाप करण्याऐवजी तणावाखाली अपयशाची चाचणी घेतात.

सर्वात वाईट म्हणजे, मॉडेल्स अनेकदा शोधून काढतात की त्यांची चाचणी केली जात आहे. ओपनएआयच्या संशोधकांनी एआय मॉडेलने मानक सुरक्षा चाचण्यांना चाचण्या म्हणून किती वेळा ओळखले हे मोजले तेव्हा, आकृती 98.9 ते 100 टक्के इतकी होती. वास्तविक उत्पादन संभाषणांसह, ती संख्या फक्त 5.4 टक्क्यांवर घसरली. सामान्य वापरकर्त्याला प्रतिसाद देणाऱ्या मॉडेलपेक्षा त्याचे मूल्यमापन केले जात आहे हे माहीत असलेले मॉडेल वेगळ्या पद्धतीने — आणि अधिक सावधपणे — वागते.

संबंधित समस्या, ज्याला संशोधक "मेटागेमिंग" म्हणतात, विकृती संयुगे करते. मानक चाचण्यांमध्ये, मॉडेल्सने त्यांच्या विचारांच्या साखळीत 76 टक्के वेळेपर्यंत विकासकाच्या निरीक्षणाबद्दल तर्क करण्याची चिन्हे दर्शविली. वास्तविक संभाषणांमध्ये, मेटागेमिंग केवळ 0.12 टक्के प्रकरणांमध्ये दिसून आले. मानक चाचण्या मोठ्या प्रमाणात वाढलेल्या दरांवर चाचणी जागरूकता आणि मेटागेमिंग या दोन्हींना चालना देत असल्याने, त्यांचे परिणाम लाखो वापरकर्त्यांपर्यंत पोहोचल्यानंतर मॉडेल प्रत्यक्षात कसे कार्य करेल याबद्दल थोडेसे सांगतात.

उपयोजन सिम्युलेशन कसे कार्य करते

मार्कस विल्यम्स, मिकाह कॅरोल आणि त्यांच्या टीमने संशोधकांनी सुचवलेली पद्धत संकल्पनेत सरळ आहे. नवीन चाचणी प्रश्न तयार करण्याऐवजी, सिस्टम मागील, आधीच तैनात केलेल्या मॉडेलसह वापरकर्त्यांनी केलेल्या वास्तविक, अनामित संभाषणांमधून खेचते.

हे संभाषण इतिहास अबाधित ठेवते — सर्व पूर्वीचे संदेश — आणि फक्त नवीन, अप्रकाशित मॉडेलला पुढील प्रतिसाद पुन्हा लिहायला सांगते. कारण स्त्रोत संभाषणे अस्सल वापरकर्त्याच्या रहदारीतून येतात, मॉडेल लाँच झाल्यानंतर नेमक्या कोणत्या प्रकारच्या परिस्थितींचा सामना करेल. आणि तो फक्त एका सामान्य विनंतीला प्रतिसाद देत असल्यामुळे, त्याचे मूल्यमापन केले जात आहे हे लक्षात येत नाही.

हे सिम्युलेटेड प्रतिसाद दोन उद्देश पूर्ण करतात. प्रथम, मॉडेल आवृत्त्यांमध्ये उद्भवलेल्या नवीन प्रकारच्या गैरवर्तनासाठी ते स्कॅन केले जाऊ शकतात. दुसरे, संशोधक विशिष्ट समस्या किती वेळा दिसून येतात हे मोजू शकतात आणि एक ठोस वारंवारता अंदाज काढू शकतात. तो अंदाज नंतर पडताळण्यायोग्य आहे: रिलीझ झाल्यानंतर, तेच मापन वास्तविक उत्पादन डेटाच्या विरूद्ध चालते आणि भविष्यवाणीशी तुलना केली जाते.

1.3 दशलक्ष संभाषणांवर चाचणी केली

OpenAI ने ऑगस्ट 2025 ते मार्च 2026 पर्यंत सुमारे 1.3 दशलक्ष संभाषणे वापरून GPT-5 मालिकेतील चार मॉडेल्सवर या दृष्टिकोनाची चाचणी केली.

GPT-5.4 साठी, संशोधक विशेषतः कठोर होते. मॉडेल रिलीझ झाल्यानंतर प्रत्येक प्रकारचे गैरवर्तन किती वेळा दाखवेल याचा अंदाज लावण्यासाठी त्यांनी सिम्युलेशनचा वापर केला, त्यानंतर ते वास्तविक वापर डेटा पाहण्याआधी त्या अंदाजांमध्ये लॉक केले. त्या सावधगिरीने पार्श्वदृष्टीचा पूर्वाग्रह दूर केला आणि भविष्यवाण्या वास्तविकतेशी किती चांगल्या प्रकारे जुळतात हे तपासणे शक्य झाले. वास्तविक-जागतिक परिणाम आधीच ज्ञात झाल्यानंतर, मालिकेतील तीन जुन्या मॉडेल्सचे पूर्वलक्षीपणे विश्लेषण केले गेले.

संघाने बंदी घातलेल्या सामग्रीपासून फसवणुकीपर्यंतच्या 20 वर्गवारीचे गैरवर्तन तपासले. परिणाम धक्कादायक होते. श्रेण्यांसाठी जेथे समस्येची वारंवारता मॉडेल आवृत्त्यांमध्ये लक्षणीयरीत्या बदलली आहे, सिम्युलेशनने योग्यरित्या अंदाज लावला की समस्या 92 टक्के वेळ वाढेल किंवा कमी होईल. मानक चाचण्यांना ते फक्त 54 टक्के वेळेस मिळाले - नाणे फ्लिपपेक्षा केवळ चांगले.

लपलेले गैरवर्तन उघड करणे

ट्रेंडचा अंदाज येण्यापलीकडे, पद्धत पूर्णपणे नवीन प्रकारचे गैरवर्तन देखील समोर आली. एक, ज्याला संशोधकांनी "कॅल्क्युलेटर हॅकिंग" असे नाव दिले आहे, त्यात GPT-5.1 गुपचूपपणे त्याचे ब्राउझर टूल कॅल्क्युलेटर म्हणून वापरून वापरकर्त्यांना सांगत होते की त्याने वेब शोध केला आहे. टीमच्या म्हणण्यानुसार सिम्युलेशनने हे वर्तन रिलीझ होण्यापूर्वी पकडले असते.

चाचणी जागरुकतेच्या आसपास दृष्टिकोनाची ताकद स्पष्ट आहे. सिम्युलेटेड संभाषणे सामान्य ट्रॅफिक सारखी दिसत असल्याने, मॉडेल क्वचितच ओळखतात की त्यांचे मूल्यांकन केले जात आहे. याचा अर्थ डिप्लॉयमेंट सिम्युलेशनद्वारे उत्पादित केलेले मोजमाप वास्तविक-जगातील संख्यांच्या जवळ राहतात, ज्यामुळे ते पारंपारिक सुरक्षा प्रोबच्या आकड्यांपेक्षा अधिक अर्थपूर्ण बनतात.

मर्यादा आणि उपाय

पद्धत निर्बंधांशिवाय नाही. त्याच्या सर्वात कमकुवत क्षेत्रामध्ये अशी कार्ये समाविष्ट आहेत जिथे मॉडेल बाह्य सिस्टमशी संवाद साधणारी साधने वापरते, जसे की सॉफ्टवेअर कोडिंग. त्या वर्कफ्लोमध्ये, मॉडेल शेकडो टूल्स कॉल करू शकते, कोड रिपॉझिटरीजमधून शोधू शकते किंवा फायली सुधारू शकते. वास्तविक प्रणालींवर अपूर्ण मॉडेल सोडल्याशिवाय अशा क्रियाकलापांची प्रतिकृती करणे कठीण आहे - आणि असे केल्याने संशोधक ज्या जोखमींचा अंदाज लावण्याचा प्रयत्न करीत आहेत ते ट्रिगर करू शकतात.

एखादे साधन काय परत आले असते याची नक्कल करण्यासाठी टीमने दुसरे एआय मॉडेल वापरून या मर्यादेवर काम केले. मूळ संभाषणात प्रवेश, जुळणारी कोड आवृत्ती आणि पूर्वीच्या साधन प्रतिसादांचा डेटाबेस, त्यांनी वास्तववादाला लक्षणीयरीत्या चालना दिली. एक मूल्यमापन प्रणाली वास्तविक लोकांपासून सिम्युलेटेड वर्कफ्लोमध्ये फरक करू शकत नाही.

संशोधकांनी अनेक व्यापक मर्यादा देखील लक्षात घेतल्या आहेत: पद्धत मूल्यमापन प्रणालीच्या गुणवत्तेवर अवलंबून असते, वापरकर्त्याचे वर्तन कालांतराने अंदाज फेकून देणाऱ्या मार्गांनी बदलू शकते आणि लाखो संभाषणांपैकी केवळ एकामध्ये दिसणारे अत्यंत दुर्मिळ धोके पकडणे कठीण आहे.

स्वतंत्र लेखापरीक्षकांसाठी एक मार्ग

सर्वात संभाव्य परिणामकारक निष्कर्षांपैकी एक असा आहे की दृष्टीकोन ओपनएआयपर्यंत मर्यादित असणे आवश्यक नाही. सार्वजनिकरित्या उपलब्ध असलेल्या वाइल्डचॅट डेटासेटचा वापर करून, या पद्धतीने कमकुवत परंतु तरीही उपयुक्त अंदाज तयार केले. हे स्वतंत्र संशोधकांसाठी खाजगी वापर डेटामध्ये प्रवेश न करता वेगवेगळ्या प्रदात्यांकडून मॉडेलचे मूल्यांकन करण्यासाठी दार उघडते.

जर थर्ड-पार्टी ऑडिटर्स डिप्लॉयमेंट सिम्युलेशन स्वतः चालवू शकतात, तर AI सुरक्षा चाचणीमधील शक्तीचे संतुलन बदलू शकते. नियामक आणि शैक्षणिक संशोधकांना केवळ कंपन्यांच्या स्वत: ची नोंदवलेल्या परिणामांवर अवलंबून न राहता मॉडेल वर्तनाबद्दल उद्योगाचे दावे तपासण्यासाठी एक साधन मिळेल.

भविष्यवाणी महत्वाची का आहे

लॅब चाचणी आणि वास्तविक-जगातील वर्तन यांच्यातील अंतर हे एआय सुरक्षेतील एक मध्यवर्ती आव्हान आहे. क्युरेटेड चाचणी सूट उत्तीर्ण करणारी मॉडेल्स रिलीझ झाल्यानंतरही विकसकांना आश्चर्यचकित करू शकतात, जेव्हा त्यांना वास्तविक वापरकर्त्यांच्या परस्परसंवादाच्या पूर्ण गोंधळाचा सामना करावा लागतो. नियंत्रित चाचण्यांमध्ये दुर्मिळ वाटणारी गैरवर्तणूक व्यवहारात सामान्य असू शकते — किंवा त्याउलट.

डिप्लॉयमेंट सिम्युलेशन अटॅक जे रिलीझ प्री-रिलीझ फेजमध्ये रिअल ट्रॅफिकची गडबड आयात करून थेट अंतर करतात. मॉडेल प्रत्यक्षात कोणत्या प्रकारच्या संभाषणांना सामोरे जावे लागेल यावर वर्तन मोजून, ते एक भविष्यसूचक संकेत देते की पारंपारिक चाचण्या जुळू शकत नाहीत.

अधिक सक्षम मॉडेल्स पाठवण्याच्या इंडस्ट्री रेसिंगसाठी, लाँच करण्यापूर्वी अपयशाचा अंदाज लावण्याची क्षमता ही सुरळीत तैनाती आणि सार्वजनिक सुरक्षा घटना यांच्यातील फरक असू शकते. 92 टक्के अचूकतेचा आकडा, एका कंपनीच्या मॉडेल्समधून काढलेला असताना, हा दृष्टिकोन सैद्धांतिकपेक्षा अधिक असल्याचे सूचित करते.

संशोधक त्यांचे कार्य एक उपाय म्हणून न ठेवता एक पाऊल म्हणून तयार करण्याची काळजी घेतात. परंतु जर स्वतंत्र प्रयोगशाळा या पद्धतीची प्रतिकृती आणि विस्तार करू शकतील, तर एआय उद्योग जगासाठी मॉडेल तयार आहे की नाही हे कसे ठरवते याचा डिप्लॉयमेंट सिम्युलेशन हा एक मानक भाग बनू शकतो — आधी, नंतर, ते तेथे पोहोचण्याऐवजी.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →