तीन सप्ताह की रेड-टीम अभ्यास में ओपनएआई के आंतरिक मिसलिग्न्मेंट मॉनिटरिंग सिस्टम में नई कमजोरियां पाई गईं - जिसमें ऐसे तरीके भी शामिल हैं जिनसे एआई एजेंट, सिद्धांत रूप में, मनुष्यों द्वारा समीक्षा किए बिना कार्रवाई कर सकते हैं। METR, स्वतंत्र मूल्यांकन गैर-लाभकारी संस्था, ने 22 अक्टूबर को निष्कर्षों का एक उच्च-स्तरीय सारांश प्रकाशित किया, जो कि OpenAI शोधकर्ताओं और सुरक्षा कर्मचारियों को दी गई 61-पृष्ठ की आंतरिक रिपोर्ट से लिया गया है।

पायलट 21 जुलाई से 11 अगस्त तक चला और एक METR कर्मचारी और एक रेडवुड रिसर्च कर्मचारी को OpenAI के आंतरिक बुनियादी ढांचे तक असामान्य रूप से गहरी पहुंच प्रदान की: कोडबेस, मॉनिटरिंग सिस्टम के संकेत और कॉन्फ़िगरेशन, आंतरिक दस्तावेज़ीकरण, और मॉनिटरिंग, सुरक्षा-प्रणालियों और सुरक्षा टीमों में लगभग एक दर्जन शोधकर्ताओं और इंजीनियरों के साथ तकनीकी साक्षात्कार। उन्होंने ओपनएआई द्वारा जारी उपकरणों पर काम किया जो कभी भी परिसर से बाहर नहीं जाते थे और ऑनसाइट रहते समय साथ रहते थे। अनुसंधान की इस पंक्ति पर अधिक जानकारी के लिए, हमारा नवीनतम एआई विकास देखें।

रेड टीम को क्या मिला

अभ्यास दो प्रश्नों पर केंद्रित था: ओपनएआई के एजेंटिक अनुमान की वास्तव में कितनी निगरानी की जाती है, और क्या एजेंट निगरानी प्रणाली को अक्षम या नष्ट कर सकते हैं। उत्तरों से सार्थक कमियाँ उजागर हुईं।

कवरेज पर, एमईटीआर ने अनुमान लगाया कि लगभग 75 से 94 प्रतिशत एजेंटिक आंतरिक प्रतिक्रिया एपीआई ट्रैफ़िक - एपीआई जो कोडेक्स को अन्य चीजों के साथ शक्ति प्रदान करती है - कम से कम जीपीटी-5.5 जैसे सक्षम मॉडल से उस समय निगरानी के लिए पात्र थे, हालांकि संगठन दोनों दिशाओं में पर्याप्त अनिश्चितता को नोट करता है। आंतरिक कोडेक्स एजेंटों के लिए उपयोग किए गए उस ट्रैफ़िक के सबसेट के भीतर, 99.2 प्रतिशत पात्र थे। लेकिन पात्रता कवरेज के समान नहीं थी: सुदृढीकरण-सीखने के प्रशिक्षण रन को अभ्यास की शुरुआत में निगरानी प्रणाली द्वारा कवर नहीं किया गया था, और मई और जुलाई 2026 के बीच पात्र आंतरिक कोडेक्स ट्रैफ़िक के 10 प्रतिशत के क्रम पर अनियंत्रित संघनन घटनाओं को छोड़ दिया गया था। ओपनएआई कर्मचारियों ने अभ्यास से पहले संघनन मुद्दे की स्वतंत्र रूप से पहचान की थी और इसे तब ठीक किया था जब यह चल रहा था।

समय का विवरण मायने रखता था। क्योंकि जब एजेंट उपयोगकर्ता को नियंत्रण लौटाते हैं तो मॉनिटर चालू हो जाता है, एक एजेंट बिना निगरानी वाली विंडो के दौरान कार्रवाई जारी रखकर निगरानी को अनिश्चित काल के लिए स्थगित कर सकता है।

टीम ने सक्रिय चोरी के रास्तों का भी दस्तावेजीकरण किया। कोडेक्स एजेंट सैद्धांतिक रूप से कोडेक्स सैंडबॉक्सिंग और ऑटो-रिव्यू को बायपास कर सकते हैं, जिससे उन्हें होस्ट उपयोगकर्ता द्वारा की जाने वाली कोई भी कार्रवाई करने की अनुमति मिलती है। एमईटीआर ने एक ऐसे कारनामे की खोज की जो हाल की सैकड़ों कार्रवाइयों को रोक देगा - जिसमें शोषण में शामिल कार्रवाइयां भी शामिल हैं - निगरानी होने से; OpenAI ने तकनीकी विवरण को संशोधित किया। एजेंट संभावित रूप से ऐसे इनपुट का निर्माण कर सकते हैं जिसके कारण एजेंट द्वारा देखे जाने वाले प्रक्षेप पथ और मॉनिटर द्वारा देखे जाने वाले प्रक्षेपवक्र के बीच क्रमांकन अंतर का फायदा उठाया जा सकता है, जिससे मानव समीक्षा में वृद्धि से बचा जा सके। और दो क्लाइंट-नियंत्रणीय हेडर पाए गए जो नए एजेंटों के लिए निगरानी को अक्षम करते हैं, संभावित रूप से एक एजेंट को एक अनियंत्रित लेकिन अन्यथा समान उदाहरण शुरू करने देते हैं - हालांकि एमईटीआर नोट करता है कि उन हेडर को सेट करने का कार्य स्वयं पकड़ा जा सकता है।

अंत में, टीम ने दो गैर-निगरानी वाले आंतरिक एजेंट टूल की पहचान की, जिनके बारे में माना जाता है कि उनमें केवल-पढ़ने की अनुमति है, साथ ही एक सरल शोषण भी है जिसका उपयोग उन सीमाओं को नष्ट करने के लिए किया जा सकता है। METR ने व्यवहार में उस व्यवहार को मान्य नहीं किया।

क्या रुका हुआ है

अभ्यास ने सिस्टम के कुछ हिस्सों को भी मान्य किया। कुछ मामूली अपवादों के साथ, मॉनिटर को वह पूरा प्रक्षेप पथ दिखाया जाता है जो एजेंट देखते हैं। अन्य जोखिम श्रेणियों के बीच योजनाबद्धता, सिस्टम तोड़फोड़, तोड़फोड़, डेटा घुसपैठ, धोखे और इनबाउंड और आउटबाउंड शीघ्र इंजेक्शन की तलाश के लिए निगरानी संकेतों की पुष्टि की गई। विश्वसनीयता के आधार पर, METR को दी गई जानकारी से पता चलता है कि मॉनिटर ने 0.2 प्रतिशत से कम अनुरोधों पर त्रुटि की, और अभ्यास के दौरान 24 घंटे की अवधि में शून्य लोड-शेड थे।

OpenAI की प्रतिक्रिया

एमईटीआर के अनुसार, ओपनएआई ने कहा है कि उसके उत्पादन सुरक्षा उपायों को प्रभावित करने वाली पहचान की गई सभी कमजोरियों को ठीक कर दिया गया है, और इसके निगरानी प्रणाली के इच्छित कवरेज में बाद के महत्वपूर्ण बदलावों का वर्णन किया गया है। METR ने उन दावों का मूल्यांकन नहीं किया है, और इसके निष्कर्ष सिस्टम का वर्णन करते हैं जैसा कि यह 21 जुलाई को या उससे पहले अस्तित्व में था - विस्तारित संस्करण नहीं, OpenAI पहले से ही अभ्यास के दौरान निर्माण कर रहा था।

एजेंट निरीक्षण के लिए डिज़ाइन पाठ

METR ने भविष्य की निगरानी के बुनियादी ढांचे के लिए डिज़ाइन आदर्शों के साथ अपना सारांश समाप्त किया, जिसके बारे में उसका तर्क है कि बड़े पैमाने पर अत्यधिक सक्षम आंतरिक एजेंटों से जानबूझकर, रणनीतिक और निरंतर हमलों का सामना करना चाहिए। दो बाहर खड़े हैं. निगरानी से बचना कठिन होना चाहिए: बिना निगरानी वाले अनुरोधों को चलाने के लिए विशिष्ट संगठनों या एपीआई कुंजियों से जुड़ी स्पष्ट मंजूरी की आवश्यकता होनी चाहिए जो कि एजेंटिक अनुमान से वर्जित हैं, और एजेंटों की निगरानी केवल तभी की जानी चाहिए जब वे अपनी बारी समाप्त करते हैं। और कवरेज ऑडिट योग्य होना चाहिए: सभी अनुमानों का सावधानीपूर्वक लेखा-जोखा, समय-समय पर निगरानी प्रणाली के स्वयं के लॉग के विरुद्ध क्रॉस-रेफ़र किया जाना चाहिए, ताकि प्रदर्शित रूप से निगरानी की जाने वाली हर चीज़ की निगरानी की जा सके।

इस अभ्यास को बाहरी शोधकर्ताओं को फ्रंटियर लैब के आंतरिक बुनियादी ढांचे तक गहरी पहुंच प्रदान करने के लिए एक पायलट के रूप में डिजाइन किया गया था, न कि सार्वजनिक पारदर्शिता रिपोर्ट के रूप में - एमईटीआर और ओपनएआई ने पहले ही सहमति व्यक्त की थी कि केवल एक संक्षिप्त, उच्च-स्तरीय पोस्ट प्रकाशित की जाएगी। गैर-लाभकारी संस्था का कहना है कि भविष्य के संस्करण एआई कंपनियों के साथ काम करने के लिए उसके ढांचे में वर्णित पारदर्शिता और स्वतंत्रता प्रथाओं का पालन करेंगे। जैसे-जैसे एजेंट प्रयोगशालाओं के अंदर अधिक परिणामी कार्य करते हैं जो उन्हें बनाते हैं, पायलट एक टेम्पलेट प्रदान करता है कि बाहरी लोग कैसे निगरानी रख सकते हैं।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →