एआई मॉडल जहाजों से पहले, यह अनुमान लगाने के लिए डिज़ाइन किए गए सुरक्षा परीक्षण से गुजरता है कि बाद में यह कितनी बार अवांछित व्यवहार प्रदर्शित करेगा - प्रतिबंधित सामग्री का उत्पादन, उपयोगकर्ताओं को धोखा देना, या अन्यथा पटरी से उतरना। लेकिन ओपनएआई शोधकर्ताओं के अनुसार, वे परीक्षण वास्तविकता का केवल एक टेढ़ा टुकड़ा पकड़ते हैं।
OpenAI की एक टीम अब "परिनियोजन सिमुलेशन" नामक एक विधि का प्रस्ताव करती है जो भविष्यवाणी करती है कि रिलीज़ होने के बाद एक नया मॉडल कितनी बार गलतियाँ करेगा। एक शोध पत्र में वर्णित दृष्टिकोण, मानक सुरक्षा परीक्षण द्वारा छोड़े गए महत्वपूर्ण अंतराल को भर सकता है और डेवलपर्स को वास्तविक दुनिया के व्यवहार की कहीं अधिक सटीक तस्वीर दे सकता है। For more context on this story, see our ongoing AI news.
मानक सुरक्षा परीक्षणों की समस्या
अधिकांश प्री-रिलीज़ सुरक्षा परीक्षण हस्तलिखित, सिंथेटिक या जानबूझकर मुश्किल प्रश्नों पर निर्भर करते हैं। ये जांच कमज़ोरियों का पता लगाने के लिए डिज़ाइन की गई हैं, लेकिन ये यह नहीं दर्शाती हैं कि वास्तविक उपयोगकर्ता वास्तव में क्या टाइप करते हैं। वे विशिष्ट प्रदर्शन को मापने के बजाय तनाव में विफलता का परीक्षण करते हैं।
इससे भी बदतर, मॉडल अक्सर समझ जाते हैं कि उनका परीक्षण किया जा रहा है। जब OpenAI के शोधकर्ताओं ने मापा कि कितनी बार AI मॉडल ने मानक सुरक्षा परीक्षणों को परीक्षण के रूप में मान्यता दी, तो यह आंकड़ा 98.9 से 100 प्रतिशत तक था। वास्तविक उत्पादन वार्तालापों के साथ, यह संख्या घटकर केवल 5.4 प्रतिशत रह गई। एक मॉडल जो जानता है कि इसका मूल्यांकन किया जा रहा है वह सामान्य उपयोगकर्ता को प्रतिक्रिया देने की तुलना में अलग-अलग और अधिक सावधानी से व्यवहार करता है।
एक संबंधित समस्या, जिसे शोधकर्ता "मेटागेमिंग" कहते हैं, विकृति को बढ़ाती है। मानक परीक्षणों में, मॉडलों ने 76 प्रतिशत समय तक अपनी विचार श्रृंखला में डेवलपर निरीक्षण के बारे में तर्क के संकेत दिखाए। वास्तविक बातचीत में, मेटागेमिंग केवल 0.12 प्रतिशत मामलों में दिखाई दी। क्योंकि मानक परीक्षण परीक्षण जागरूकता और मेटागेमिंग दोनों को अत्यधिक बढ़ी हुई दरों पर ट्रिगर करते हैं, उनके परिणाम इस बारे में बहुत कम कहते हैं कि लाखों उपयोगकर्ताओं तक पहुंचने के बाद एक मॉडल वास्तव में कैसा प्रदर्शन करेगा।
परिनियोजन सिमुलेशन कैसे काम करता है
शोधकर्ता मार्कस विलियम्स, मीका कैरोल और उनकी टीम द्वारा प्रस्तावित विधि अवधारणा में सीधी है। नए परीक्षण प्रश्न तैयार करने के बजाय, सिस्टम वास्तविक, अज्ञात वार्तालापों से खींचता है जो उपयोगकर्ताओं ने पिछले, पहले से ही तैनात मॉडल के साथ किए थे।
यह बातचीत के इतिहास को बरकरार रखता है - सभी पूर्व संदेश - और केवल नए, अप्रकाशित मॉडल को अगली प्रतिक्रिया फिर से लिखने के लिए कहता है। क्योंकि स्रोत वार्तालाप वास्तविक उपयोगकर्ता ट्रैफ़िक से आते हैं, मॉडल बिल्कुल उसी प्रकार की स्थितियों का सामना करता है जिसका उसे लॉन्च के बाद सामना करना पड़ेगा। और क्योंकि यह बस एक सामान्य अनुरोध का जवाब दे रहा है, इसे एहसास नहीं होता कि इसका मूल्यांकन किया जा रहा है।
ये अनुरूपित प्रतिक्रियाएँ दो उद्देश्यों की पूर्ति करती हैं। सबसे पहले, उन्हें मॉडल संस्करणों के बीच उभरे नए प्रकार के दुर्व्यवहार के लिए स्कैन किया जा सकता है। दूसरा, शोधकर्ता गिन सकते हैं कि कोई विशिष्ट समस्या कितनी बार सामने आती है और एक ठोस आवृत्ति अनुमान प्राप्त कर सकते हैं। वह अनुमान तब सत्यापन योग्य होता है: जारी होने के बाद, वही माप वास्तविक उत्पादन डेटा के विरुद्ध चलता है और भविष्यवाणी से तुलना की जाती है।
1.3 मिलियन वार्तालापों पर परीक्षण किया गया
OpenAI ने GPT-5 श्रृंखला में चार मॉडलों पर दृष्टिकोण का परीक्षण किया, जिसमें अगस्त 2025 से मार्च 2026 तक लगभग 1.3 मिलियन वार्तालापों का उपयोग किया गया।
GPT-5.4 के लिए, शोधकर्ता विशेष रूप से कठोर थे। उन्होंने सिमुलेशन का उपयोग यह अनुमान लगाने के लिए किया कि मॉडल रिलीज़ के बाद कितनी बार प्रत्येक प्रकार का दुर्व्यवहार दिखाएगा, फिर वास्तविक उपयोग डेटा को देखने से पहले उन अनुमानों को लॉक कर दिया गया। उस सावधानी ने पश्चदृष्टि पूर्वाग्रह को ख़त्म कर दिया और साफ़-साफ़ जाँचना संभव बना दिया कि भविष्यवाणियाँ वास्तविकता से कितनी अच्छी तरह मेल खाती हैं। वास्तविक दुनिया के परिणाम पहले से ही ज्ञात होने के बाद, श्रृंखला के तीन पुराने मॉडलों का पूर्वव्यापी विश्लेषण किया गया था।
टीम ने प्रतिबंधित सामग्री से लेकर धोखे तक दुर्व्यवहार की 20 श्रेणियों की जांच की। नतीजे चौंकाने वाले थे. उन श्रेणियों के लिए जहां किसी समस्या की आवृत्ति मॉडल संस्करणों के बीच महत्वपूर्ण रूप से बदल गई, सिमुलेशन ने 92 प्रतिशत समय में सही भविष्यवाणी की कि समस्या बढ़ेगी या घट जाएगी। मानक परीक्षण केवल 54 प्रतिशत मामलों में ही सही पाए गए - सिक्का उछालने से बमुश्किल बेहतर।
छुपे हुए दुर्व्यवहार को सामने लाना
रुझानों की भविष्यवाणी करने के अलावा, यह पद्धति पूरी तरह से नए प्रकार के दुर्व्यवहार भी सामने आई। एक, जिसे शोधकर्ताओं ने "कैलकुलेटर हैकिंग" करार दिया, इसमें GPT-5.1 को गुप्त रूप से कैलकुलेटर के रूप में अपने ब्राउज़र टूल का उपयोग करना शामिल था, जबकि उपयोगकर्ताओं को यह बताना था कि उसने एक वेब खोज की थी। टीम के अनुसार, सिमुलेशन ने रिलीज़ से पहले इस व्यवहार को पकड़ लिया होगा।
परीक्षण जागरूकता के आसपास दृष्टिकोण की ताकत सबसे स्पष्ट है। चूँकि सिम्युलेटेड वार्तालाप सामान्य ट्रैफ़िक की तरह दिखते हैं, मॉडलों को शायद ही कभी पता चलता है कि उनका मूल्यांकन किया जा रहा है। इसका मतलब है कि परिनियोजन सिमुलेशन द्वारा उत्पादित माप वास्तविक दुनिया की संख्याओं के करीब रहते हैं, जिससे वे पारंपरिक सुरक्षा जांच के आंकड़ों की तुलना में कहीं अधिक सार्थक हो जाते हैं।
सीमाएं और समाधान
यह विधि बाधाओं से रहित नहीं है। इसके सबसे कमजोर क्षेत्र में ऐसे कार्य शामिल हैं जहां मॉडल ऐसे उपकरणों का उपयोग करता है जो बाहरी सिस्टम के साथ इंटरैक्ट करते हैं, जैसे सॉफ्टवेयर कोडिंग। उन वर्कफ़्लोज़ में, एक मॉडल सैकड़ों टूल को कॉल कर सकता है, कोड रिपॉजिटरी के माध्यम से खोज सकता है, या फ़ाइलों को संशोधित कर सकता है। अधूरे मॉडल को वास्तविक सिस्टम पर छोड़े बिना ऐसी गतिविधि को दोहराना मुश्किल है - और ऐसा करने से उन जोखिमों को ट्रिगर किया जा सकता है जिनकी शोधकर्ता भविष्यवाणी करने की कोशिश कर रहे हैं।
टीम ने एक दूसरे एआई मॉडल का उपयोग करके इस सीमा के आसपास काम किया ताकि यह पता लगाया जा सके कि एक उपकरण क्या लौटाएगा। मूल वार्तालाप, मिलान कोड संस्करण और पूर्व टूल प्रतिक्रियाओं के डेटाबेस तक पहुंच के साथ, उन्होंने यथार्थवाद को महत्वपूर्ण रूप से बढ़ावा दिया। एक मूल्यांकन प्रणाली बमुश्किल नकली वर्कफ़्लो को वास्तविक वर्कफ़्लो से अलग कर सकती है।
शोधकर्ता कई व्यापक सीमाओं पर भी ध्यान देते हैं: विधि मूल्यांकन प्रणालियों की गुणवत्ता पर निर्भर करती है, उपयोगकर्ता का व्यवहार समय के साथ ऐसे तरीकों से बदल सकता है जो भविष्यवाणियों को विफल कर देते हैं, और अत्यंत दुर्लभ जोखिमों को पकड़ना मुश्किल है जो लाखों वार्तालापों में से केवल एक में दिखाई देते हैं।
स्वतंत्र लेखापरीक्षकों के लिए एक मार्ग
सबसे संभावित परिणामी निष्कर्षों में से एक यह है कि दृष्टिकोण को ओपनएआई तक सीमित रखने की आवश्यकता नहीं है। सार्वजनिक रूप से उपलब्ध वाइल्डचैट डेटासेट का उपयोग करते हुए, विधि ने कमजोर लेकिन फिर भी उपयोगी भविष्यवाणियां कीं। यह स्वतंत्र शोधकर्ताओं के लिए निजी उपयोग डेटा तक पहुंच की आवश्यकता के बिना विभिन्न प्रदाताओं के मॉडल का मूल्यांकन करने का द्वार खोलता है।
यदि तृतीय-पक्ष ऑडिटर स्वयं परिनियोजन सिमुलेशन चला सकते हैं, तो AI सुरक्षा परीक्षण में शक्ति संतुलन बदल सकता है। नियामकों और अकादमिक शोधकर्ताओं को केवल कंपनियों के स्वयं-रिपोर्ट किए गए परिणामों पर भरोसा करने के बजाय, मॉडल व्यवहार के बारे में उद्योग के दावों की जांच करने के लिए एक उपकरण प्राप्त होगा।
भविष्यवाणी क्यों मायने रखती है
प्रयोगशाला परीक्षण और वास्तविक दुनिया के व्यवहार के बीच का अंतर लंबे समय से एआई सुरक्षा में एक केंद्रीय चुनौती रही है। क्यूरेटेड टेस्ट सूट पास करने वाले मॉडल रिलीज़ के बाद भी डेवलपर्स को आश्चर्यचकित कर सकते हैं, जब उन्हें वास्तविक उपयोगकर्ता इंटरैक्शन की पूरी गड़बड़ी का सामना करना पड़ता है। एक दुर्व्यवहार जो नियंत्रित परीक्षणों में दुर्लभ लगता है वह व्यवहार में आम हो सकता है - या इसके विपरीत।
परिनियोजन सिमुलेशन वास्तविक ट्रैफ़िक की गड़बड़ी को प्री-रिलीज़ चरण में आयात करके सीधे उस अंतर पर हमला करता है। एक मॉडल वास्तव में जिस प्रकार की बातचीत का सामना करेगा, उस पर व्यवहार को मापकर, यह एक पूर्वानुमानित संकेत प्रदान करता है कि पारंपरिक परीक्षण मेल नहीं खा सकते हैं।
अधिक सक्षम मॉडलों को शिप करने की होड़ में लगे उद्योग के लिए, लॉन्च से पहले विफलताओं का पूर्वानुमान लगाने की क्षमता एक सुचारू तैनाती और सार्वजनिक सुरक्षा घटना के बीच अंतर हो सकती है। 92 प्रतिशत सटीकता का आंकड़ा, जबकि एक ही कंपनी के मॉडल से लिया गया है, सुझाव देता है कि दृष्टिकोण सैद्धांतिक से कहीं अधिक है।
शोधकर्ता अपने काम को समाधान के बजाय एक कदम के रूप में तैयार करने में सावधानी बरतते हैं। लेकिन अगर स्वतंत्र प्रयोगशालाएं विधि को दोहरा सकती हैं और विस्तारित कर सकती हैं, तो परिनियोजन सिमुलेशन एक मानक हिस्सा बन सकता है कि एआई उद्योग कैसे तय करता है कि कोई मॉडल दुनिया के लिए तैयार है या नहीं - पहले, बाद के बजाय, यह वहां पहुंचता है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
