तीन आठवड्यांच्या रेड-टीम व्यायामामध्ये ओपनएआयच्या अंतर्गत चुकीचे संरेखन निरीक्षण प्रणालीमध्ये नवीन असुरक्षा आढळल्या - ज्यात एआय एजंट तत्त्वतः, मानवाकडून कधीही पुनरावलोकन केल्याशिवाय कृती करू शकतात. METR, स्वतंत्र मूल्यमापन नानफा, ने 22 ऑक्टोबर रोजी निष्कर्षांचा एक उच्च-स्तरीय सारांश प्रकाशित केला, जो OpenAI संशोधक आणि सुरक्षा कर्मचाऱ्यांना वितरित केलेल्या 61 पृष्ठांच्या अंतर्गत अहवालातून काढला आहे.

पायलटने 21 जुलै ते 11 ऑगस्ट या कालावधीत धाव घेतली आणि एक METR कर्मचारी आणि एक Redwood संशोधन कर्मचाऱ्याला OpenAI च्या अंतर्गत पायाभूत सुविधांमध्ये असामान्यपणे खोल प्रवेश दिला: कोडबेस, मॉनिटरिंग सिस्टमचे प्रॉम्प्ट आणि कॉन्फिगरेशन, अंतर्गत दस्तऐवजीकरण आणि सुमारे डझनभर संशोधक आणि अभियंते यांच्या तांत्रिक मुलाखती, मॉनिटरिंग आणि सुरक्षा टीम्समध्ये. त्यांनी OpenAI-जारी केलेल्या उपकरणांवर काम केले जे कधीही परिसर सोडत नाहीत आणि ऑनसाइट असताना सोबत होते. संशोधनाच्या या ओळीबद्दल अधिक माहितीसाठी, आमचे नवीनतम AI घडामोडी पहा.

रेड टीमला काय सापडले

या अभ्यासात दोन प्रश्नांवर लक्ष केंद्रित केले गेले: ओपनएआयच्या एजंटिक अनुमानाचे किती निरीक्षण केले जाते आणि एजंट मॉनिटरिंग सिस्टम अक्षम किंवा खराब करू शकतात का. उत्तरांनी अर्थपूर्ण अंतर दिसून आले.

कव्हरेजवर, METR ने अंदाज लावला की एजंटिक अंतर्गत प्रतिसाद API ट्रॅफिकपैकी अंदाजे 75 ते 94 टक्के - कोडेक्सला इतर गोष्टींबरोबरच पॉवर देणारे API - GPT-5.5 सारख्या सक्षम मॉडेल्समधून त्या वेळी देखरेखीसाठी पात्र होते, तरीही संस्थेने दोन्ही दिशांमध्ये लक्षणीय अनिश्चितता लक्षात घेतली. अंतर्गत कोडेक्स एजंटसाठी वापरल्या जाणाऱ्या ट्रॅफिकच्या उपसमूहात, 99.2 टक्के पात्र होते. परंतु पात्रता कव्हरेजसारखी नव्हती: मजबुतीकरण-शिक्षण प्रशिक्षण रन व्यायामाच्या सुरूवातीस मॉनिटरिंग सिस्टमद्वारे कव्हर केले गेले नाहीत, आणि मे आणि जुलै 2026 दरम्यान देखरेख न केलेल्या अंतर्गत कोडेक्स ट्रॅफिकच्या 10 टक्के ऑर्डरवर देखरेख न केलेले कॉम्पॅक्शन इव्हेंट सोडले जाण्याची शक्यता आहे. ओपनएआय कर्मचाऱ्यांनी व्यायामापूर्वी कॉम्पॅक्शन समस्या स्वतंत्रपणे ओळखली होती आणि ती सुरू होती.

वेळेचा तपशील महत्त्वाचा होता. एजंट्सने वापरकर्त्याला नियंत्रण परत केल्यावर मॉनिटर ट्रिगर झाल्यामुळे, एजंट अननियंत्रित विंडो दरम्यान क्रिया करणे सुरू ठेवून निरीक्षण करणे अनिश्चित काळासाठी पुढे ढकलू शकतो.

कार्यसंघाने सक्रिय चोरी मार्गांचे दस्तऐवजीकरण देखील केले. कोडेक्स एजंट तत्त्वतः कोडेक्स सँडबॉक्सिंग आणि स्वयं-पुनरावलोकन बायपास करू शकतात, त्यांना होस्ट वापरकर्त्याने करू शकणारी कोणतीही कारवाई करण्याची परवानगी दिली. METR ने एक शोषण शोधून काढले जे शेकडो अलीकडील कृतींना प्रतिबंधित करेल - ज्यात शोषणात समाविष्ट असलेल्या क्रियांचा समावेश आहे - निरीक्षण केले जाण्यापासून; OpenAI ने तांत्रिक तपशील सुधारित केले. एजंट कदाचित असे इनपुट तयार करू शकतील ज्यामुळे मॉनिटर अयशस्वी झाला आणि एजंट पाहत असलेल्या मार्गक्रमणातील फरक आणि मॉनिटर काय पाहतो यामधील फरक वापरून, मानवी पुनरावलोकनात वाढ टाळून. आणि दोन क्लायंट-नियंत्रित शीर्षलेख आढळले जे नवीन एजंटसाठी मॉनिटरिंग अक्षम करतात, संभाव्यत: एजंटला देखरेख न करता सुरू करू देतात परंतु अन्यथा एकसारखे उदाहरण - जरी METR ने नोंदवले की ते शीर्षलेख सेट करण्याची कृती स्वतःच पकडली जाऊ शकते.

अखेरीस, टीमने दोन अननियंत्रित अंतर्गत एजंटिक साधने ओळखली ज्यांना केवळ वाचनीय परवानग्या आहेत असे मानले जाते, आणि त्या मर्यादा कमी करण्यासाठी वापरल्या जाणाऱ्या साध्या शोषणासह. METR ने व्यवहारात ते वर्तन प्रमाणित केले नाही.

काय थांबले

व्यायामाने सिस्टमचे भाग देखील प्रमाणित केले. काही किरकोळ अपवादांसह, मॉनिटरला एजंट जे पाहतात ते संपूर्ण मार्ग दाखवले जाते. इतर जोखीम श्रेणींमध्ये स्कीमिंग, सिस्टम सबव्हर्जन, तोडफोड, डेटा एक्सफिल्टेशन, फसवणूक आणि इनबाउंड आणि आउटबाउंड प्रॉम्प्ट इंजेक्शन शोधण्यासाठी मॉनिटरिंग प्रॉम्प्टची पुष्टी केली गेली. विश्वासार्हतेवर, एमईटीआरने दिलेली माहिती 0.2 टक्क्यांपेक्षा कमी विनंत्यांवर मॉनिटरमध्ये त्रुटी असल्याचे सुचवले होते आणि व्यायामादरम्यान एका 24-तासांच्या कालावधीत शून्य लोड-शेड होते.

OpenAI चा प्रतिसाद

METR नुसार, OpenAI ने असे म्हटले आहे की त्याच्या उत्पादन सुरक्षिततेच्या स्टॅकवर परिणाम करणाऱ्या सर्व असुरक्षा ओळखल्या गेल्या आहेत, आणि त्याच्या मॉनिटरिंग सिस्टमच्या इच्छित कव्हरेजमध्ये नंतरच्या महत्त्वपूर्ण बदलांचे वर्णन केले आहे. METR ने त्या दाव्यांचे मूल्यमापन केले नाही, आणि त्याचे निष्कर्ष 21 जुलै रोजी किंवा त्यापूर्वी अस्तित्वात असलेल्या प्रणालीचे वर्णन करतात - विस्तारित आवृत्ती OpenAI आधीच व्यायामादरम्यान तयार करत नव्हती.

एजंट निरीक्षणासाठी डिझाइन धडे

METR ने भविष्यातील देखरेख पायाभूत सुविधांसाठी डिझाइन आदर्शांसह त्याचा सारांश बंद केला आहे, ज्याचा तर्क आहे की ते अत्यंत सक्षम अंतर्गत एजंट्सकडून जाणूनबुजून, धोरणात्मक आणि सतत हल्ले सहन केले पाहिजेत. दोन बाहेर उभे. देखरेख करणे टाळणे कठिण असले पाहिजे: देखरेख न केलेल्या विनंत्या चालवण्यासाठी विशिष्ट संस्था किंवा एपीआय कीशी जोडलेली स्पष्ट मंजूरी आवश्यक आहे ज्यांना एजंटिक अनुमानांपासून प्रतिबंधित केले आहे आणि एजंट्सचे वळण संपल्यावर प्रत्येक N संदेश किंवा मिनिटांचे निरीक्षण केले पाहिजे. आणि कव्हरेज ऑडिट करण्यायोग्य असले पाहिजे: सर्व अनुमानांचे काळजीपूर्वक लेखांकन, वेळोवेळी मॉनिटरिंग सिस्टमच्या स्वतःच्या नोंदींच्या विरूद्ध क्रॉस-रेफरन्सिंग, जेणेकरून प्रत्येक गोष्टीचे प्रात्यक्षिकपणे परीक्षण केले जावे.

हा व्यायाम बाह्य संशोधकांना फ्रंटियर लॅबच्या अंतर्गत पायाभूत सुविधांमध्ये खोलवर प्रवेश देण्यासाठी एक पायलट म्हणून डिझाइन करण्यात आला होता, सार्वजनिक पारदर्शकता अहवाल म्हणून नव्हे - METR आणि OpenAI ने सहमती दर्शवली की फक्त एक संक्षिप्त, उच्च-स्तरीय पोस्ट प्रकाशित केली जाईल. नानफा संस्था म्हणते की भविष्यातील आवृत्त्या AI कंपन्यांसोबत काम करण्यासाठी त्याच्या फ्रेमवर्कमध्ये वर्णन केलेल्या पारदर्शकता आणि स्वातंत्र्य पद्धतींचे पालन करतील. एजंट प्रयोगशाळेत अधिक परिणामकारक काम करतात जे त्यांना तयार करतात, पायलट बाहेरील लोक कसे पाळत ठेवू शकतात याचे टेम्पलेट ऑफर करतात.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →