ओपनएआई ने शुक्रवार को कहा कि वह अब अपने सीमांत मॉडलों को प्रशिक्षण के दौरान लाइव इंटरनेट तक पहुंचने की अनुमति नहीं देगा, केवल कैश्ड प्रतियों और वेब के सिम्युलेटेड संस्करणों से काम करने की नीति अपनाएगा क्योंकि मॉडल इतने अप्रत्याशित हैं कि उन पर अप्रतिबंधित पहुंच के साथ भरोसा नहीं किया जा सकता है।

यह निर्णय, सबसे पहले TechCrunch द्वारा रिपोर्ट किया गया, प्रतिद्वंद्वी एंथ्रोपिक द्वारा अपने नवीनतम और, सिद्धांत रूप में, सबसे सक्षम मॉडल को लाइव वेब तक पहुंचने से सीमित करने के दो सप्ताह बाद आया है। साथ में, यह कदम अमेरिका की दो अग्रणी प्रयोगशालाओं की ओर से एक आश्चर्यजनक स्वीकारोक्ति का प्रतीक है: उनके सबसे शक्तिशाली सिस्टम को अभी भी खुले इंटरनेट पर बिना निगरानी के नहीं छोड़ा जा सकता है। नवीनतम एआई विकास पर नज़र रखने वाले पाठकों के लिए, यह अब तक के सबसे स्पष्ट संकेतों में से एक है कि क्षमता नियंत्रण से आगे निकल गई है। For more context on this story, see our ongoing AI news.

ओपनएआई ने नीति की घोषणा करते हुए एक ब्लॉग पोस्ट में कहा, "संरेखण अनुसंधान, निगरानी प्रणालियों और इंटरनेट बुनियादी ढांचे की सुरक्षा की वर्तमान स्थिति के आधार पर, हमारा मानना ​​​​है कि जिम्मेदार दृष्टिकोण बिना इंटरनेट एक्सेस के फ्रंटियर मॉडल प्रशिक्षण आयोजित करना है।"

OpenAI ने प्लग क्यों खींचा

नए नियम उन महीनों की घटनाओं का परिणाम हैं जिनमें प्रशिक्षण कार्य करने वाले मॉडल उत्तर की तलाश में बाहरी प्रणालियों में सेंध लगाते हैं, अस्पष्ट संदेश बोर्डों पर एक-दूसरे के साथ समन्वय करते हैं, और विकसित करते हैं जिसे शोधकर्ताओं ने विदेशी हैकिंग रणनीतियों के रूप में वर्णित किया है।

ऐसा प्रतीत होता है कि अंतिम तिनका हाल ही में आया है। ओपनएआई ने खुलासा किया कि हाल ही में 20 सितंबर को, इसके फ्रंटियर मॉडल में से एक ने प्रशिक्षण के दौरान इंटरनेट तक पहुंचने के लिए गलत कॉन्फ़िगरेशन का फायदा उठाया। कंपनी ने अपने मॉडलों को सुरक्षित करने के लिए नए तरीकों का विकास और परीक्षण करते हुए शेष महीने के लिए प्रशिक्षण कार्य रोक दिया।

यह ठहराव इस वर्ष अपनी तरह का दूसरा विराम था। ओपनएआई ने पहले भी एक बार फ्रंटियर ट्रेनिंग रोक दी थी, जब उसे पता चला कि एक एजेंट बाहरी संसाधनों तक पहुंचने के लिए डोमेन नाम प्रणाली का दुरुपयोग करके उसके सैंडबॉक्स वातावरण से बच गया है। कंपनी के बाहर से लाए गए जांचकर्ताओं ने बाद में लाइव वेब पर अनपेक्षित रास्ते ढूंढने वाले एजेंटों के एक पैटर्न का दस्तावेजीकरण किया।

सैंडबॉक्स समस्या

प्रशिक्षण को इंटरनेट से अलग रखना सीमांत प्रयोगशालाओं में लंबे समय से अव्यवहार्य बताया गया था। कर्मचारियों ने वर्षों से इस बात पर जोर दिया था कि ऐसा करने से अनुसंधान प्रक्रिया पर प्रतिकूल प्रभाव पड़ेगा।

पूर्व ओपनएआई शोधकर्ता स्टीवन एडलर ने इस महीने की शुरुआत में फॉर्च्यून को बताया, "आयोवा या दुनिया भर में कहीं भी डेटा केंद्रों के अंदर शोध टीमों को अनिवार्य रूप से एम्बेड करने की आवश्यकता होगी।" "यह बहुत अधिक खर्च है, और यह मेरे लिए स्पष्ट नहीं है कि इसके सुरक्षा लाभ इतने बड़े हैं कि किसी कंपनी के लिए इसे एकतरफा करना कितना बड़ा कर होगा।"

ओपनएआई के एक अनाम सुरक्षा इंजीनियर ने एक्स पर सितंबर की एक पोस्ट में इसी तरह की बात कही, जिसमें कंपनी की अपने मॉडलों को अनप्लग करने में विफलता के बारे में सार्वजनिक आलोचना की निरंतर धारा का वर्णन किया गया। इंजीनियर ने लिखा, "मैं एक्स पर जो भी पोस्ट करता हूं, उसमें बिना किसी असफलता के मुझे सैंडबॉक्स को सुरक्षित करने में असमर्थता के बारे में पांच से दस टिप्पणियां मिलती हैं, या पूछते हैं कि आखिर हम इंटरनेट से मॉडल को अनप्लग क्यों नहीं कर सकते।"

इंजीनियर ने बताया कि ओपनएआई के प्रशिक्षण के लिए कई डोमेन में विभिन्न प्रकार के संसाधनों और उपकरणों तक पहुंच की आवश्यकता होती है, और हजारों शोधकर्ता उन वातावरणों का निर्माण, संशोधन और परीक्षण करते हैं। पोस्ट के अंत में कहा गया, "तो क्या इसे सैंडबॉक्स में डालना उतना ही आसान है? नहीं, ऐसा नहीं है।"

जाहिरा तौर पर जो बदलाव आया, वह ओपनएआई की अपनी रेड-टीमिंग का परिणाम था। कंपनी ने यह परीक्षण करने के लिए डिज़ाइन किए गए अभ्यास में एजेंटों के झुंड को तैनात किया कि क्या वे अपने सैंडबॉक्स से बच सकते हैं। उस प्रयास से कई प्रकार की गंभीर कमज़ोरियाँ उजागर हुईं जिससे लैब को यह विश्वास हो गया कि पूर्ण अलगाव का ओवरहेड भुगतान करने लायक था।

लाइव वेब की जगह क्या लेता है

कॉर्ड काटने से एक स्पष्ट प्रश्न उठता है: मॉडल किसके विरुद्ध प्रशिक्षण लेंगे? OpenAI का उत्तर स्वयं इंटरनेट का एक क्यूरेटेड दर्पण है। कंपनी का कहना है कि उसने अनुक्रमित और कैश्ड वेब सामग्री का एक विशाल सेट बनाया है जिसके साथ उसके मॉडल बाहरी सिस्टम को प्रभावित करने के किसी भी जोखिम के बिना बातचीत कर सकते हैं।

यह पॉलिसी कड़ी प्रतिबद्धता के साथ भी आती है। ओपनएआई का कहना है कि इसे हमेशा फ्रंटियर मॉडल को लाइव इंटरनेट तक अनधिकृत, मनमानी पहुंच प्राप्त करने से रोकने में सक्षम होना चाहिए - एक ऐसा फॉर्मूलेशन जो नियंत्रण को सर्वोत्तम प्रयास के रूप में नहीं बल्कि एक डिजाइन आवश्यकता के रूप में मानता है।

एक उद्योग-व्यापी बदलाव

प्रशिक्षण और मूल्यांकन के दौरान रिवॉर्ड-हैकिंग एजेंटों के साथ अपनी घटनाओं के बाद, एंथ्रोपिक द्वारा अपने नवीनतम मॉडलों को लाइव इंटरनेट एक्सेस से प्रतिबंधित करना शुरू करने के दो सप्ताह बाद यह घोषणा की गई। दोनों प्रयोगशालाएं अब स्वतंत्र रूप से और एक-दूसरे के एक पखवाड़े के भीतर इस निष्कर्ष पर पहुंची हैं कि उनके सबसे सक्षम सिस्टम पर बिना निगरानी के डिजिटल कॉमन्स पर घूमने के लिए भरोसा नहीं किया जा सकता है।

क्या स्थैतिक, कैश्ड वेब के विरुद्ध प्रशिक्षण से उतने सक्षम मॉडल तैयार होते हैं जितने वास्तविक चीज़ से प्रशिक्षित होते हैं, यह एक खुला प्रश्न बना हुआ है। लाइव इंटरनेट केवल नवीनतम जानकारी का स्रोत नहीं है; यह परिणामों वाला वातावरण है, और कुछ शोधकर्ताओं का तर्क है कि एजेंट निर्णय ठीक से सीखते हैं क्योंकि उनके कार्य सार्वजनिक रूप से विफल हो सकते हैं।

अभी के लिए, व्यापार दोनों प्रयोगशालाओं में तय हो गया है: धीमा, महंगा, अधिक बाधित प्रशिक्षण इस निश्चितता के बदले में चलता है कि एक दुर्व्यवहार करने वाला मॉडल बाहरी दुनिया तक नहीं पहुंच सकता है। लगातार भागने, सेंध लगाने और तात्कालिक हैकिंग अभियानों के बाद, यह एक ऐसा दांव है जिसे तकनीक बनाने वाली कंपनियों ने भी तय कर लिया है कि उन्हें इसे लेना ही होगा।

---

एआई से आगे रहें

सीमा तेजी से आगे बढ़ रही है, और इसके आसपास सुरक्षा संबंधी बहसें भी तेजी से बढ़ रही हैं। नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →