ओपनएआई ने अपने अनुसंधान बुनियादी ढांचे में कंट्रोल रूम नामक एक केंद्रीकृत नियंत्रण प्रणाली तैनात की है, जिसे संभावित जोखिम भरे एआई मॉडल वर्कलोड को हस्तक्षेप करने के निर्णय के 35 सेकंड के भीतर आगे आउटपुट उत्पन्न करने से रोकने के लिए डिज़ाइन किया गया है। जैसा कि इंट्रेस्टिंग इंजीनियरिंग ने रिपोर्ट किया है, सिस्टम उन कार्यभारों को जोड़ता है जो कंपनी के सबसे उन्नत अनुसंधान को शक्ति प्रदान करते हैं - जिसमें एजेंटिक मॉडल प्रशिक्षण, मूल्यांकन और डेटा-प्रोसेसिंग नौकरियां शामिल हैं - एक केंद्रीय सेवा से जो नियंत्रित करती है कि वे चालू रह सकते हैं या नहीं।
कंपनी ने 9 नवंबर को सार्वजनिक रूप से सिस्टम की घोषणा करते हुए लिखा: "हमने कंट्रोल रूम बनाया, जो हमारे अनुसंधान बुनियादी ढांचे में मॉडल वर्कलोड को ट्रैक करने और सुरक्षा या सुरक्षा चिंताएं उत्पन्न होने पर उन्हें तुरंत रोकने के लिए एक केंद्रीय प्रणाली है। यह प्रत्येक शोध अनुमान वर्कलोड को जोड़ता है, जिसमें मॉडल प्रशिक्षण और मूल्यांकन, डेटा के लिए एजेंटिक नमूनाकरण शामिल है..." For more context on this story, see our ongoing AI trends.
समय उल्लेखनीय है. जैसे-जैसे एआई मॉडल अधिक सक्षम होते जाते हैं और उन्हें प्रशिक्षण पाइपलाइनों के अंदर अधिक स्वायत्त, एजेंट जैसी जिम्मेदारियां दी जाती हैं, अनुसंधान के दौरान एक मॉडल के अप्रत्याशित तरीके से व्यवहार करने का जोखिम भी उनके साथ बढ़ता है। नियंत्रण कक्ष ओपनएआई का संरचनात्मक उत्तर है: न केवल परेशानी पर नजर रखना, बल्कि उसे दूर करने में शारीरिक रूप से सक्षम होना।
कंट्रोल रूम कैसे काम करता है
नियंत्रण कक्ष तीन मुख्य घटकों को जोड़ता है: अनुसंधान कार्यभार, अनुमान इंजन और केंद्रीय नियंत्रण कक्ष सेवा। ओपनएआई की शब्दावली में कार्यभार, एक शोध कार्य है जैसे सुदृढीकरण सीखने का प्रयोग, मूल्यांकन, या उच्च मात्रा डेटा-प्रोसेसिंग कार्य। प्रत्येक अनुसंधान कार्यभार जो एजेंटिक अनुमान लगाता है, उसे चलाने से पहले एक अनुमोदित सुरक्षा मामले से जुड़ा होना चाहिए।
जब कोई शोधकर्ता कोई कार्य शुरू करता है, तो उसका कोड नियंत्रण कक्ष से एक अद्वितीय कार्य आईडी का अनुरोध करता है। वह पहचानकर्ता तब प्रत्येक अनुरोध से जुड़ा होता है जो कार्यभार अनुमान इंजनों को भेजता है - जीपीयू-समर्थित सिस्टम जो वास्तव में मॉडल चलाते हैं और आउटपुट उत्पन्न करते हैं।
किसी भी अनुमान अनुरोध को पूरा करने से पहले, इंजन नियंत्रण कक्ष से जांच करता है कि संबंधित कार्य अभी भी चलने के लिए अधिकृत है। यदि किसी शोधकर्ता या स्वचालित निगरानी प्रणाली ने नियंत्रण कक्ष को काम रोकने का निर्देश दिया है, तो सेवा अगले अनुमान अनुरोध को अस्वीकार कर देती है, और इंजन उस कार्यभार के लिए आगे मॉडल आउटपुट उत्पन्न करने से इनकार कर देता है।
आउटपुट रोकना, जरूरी नहीं कि काम हो
एक डिज़ाइन विवरण स्पष्ट है: किसी कार्यभार को रोकने से जरूरी नहीं कि वह समाप्त हो जाए। अनुसंधान प्रक्रिया स्वयं चलती रह सकती है - इसका कोड निष्पादित होता रहता है - लेकिन यह अब अधिकृत अनुमान इंजनों के माध्यम से अतिरिक्त मॉडल आउटपुट प्राप्त नहीं कर सकता है। एक दुर्व्यवहारपूर्ण प्रशिक्षण के लिए, यह पर्याप्त है: अधिक मॉडल पीढ़ियों तक पहुंच के बिना, यह आगे प्रगति नहीं कर सकता है।
यह दृष्टिकोण सुरक्षा जांच को सही ढंग से लागू करने के लिए शोधकर्ताओं के स्वयं के कार्यभार कोड पर निर्भर होने से भी बचाता है। OpenAI इसके बजाय महत्वपूर्ण प्राधिकरण तंत्र को अनुमान परत में रखता है, जिसमें कम और अधिक केंद्रीय रूप से प्रबंधित कोड पथ होते हैं। दूसरे शब्दों में, किल स्विच उस बुनियादी ढांचे में रहता है जिसे कंपनी पूरी तरह से नियंत्रित करती है, न कि व्यक्तिगत टीमों द्वारा लिखे गए प्रयोग कोड में।
बंद विफल होने के लिए डिज़ाइन किया गया
अन्य घटकों के ख़राब होने पर भी नियंत्रण कक्ष प्रभावी बने रहने के लिए बनाया गया है। यदि नियंत्रण कक्ष सेवा स्वयं अनुपलब्ध हो जाती है, तो इसका विफल-बंद तंत्र अनुमान अनुरोधों को अवरुद्ध कर देता है - जिसका अर्थ है कि तकनीकी विफलता, जानबूझकर अक्षम करने का प्रयास, या केंद्रीय सेवा के साथ संभावित छेड़छाड़ के कारण अनुमान इंजन सभी अनुरोधों को अस्वीकार कर देगा जब तक कि सिस्टम सामान्य संचालन पर वापस नहीं आ जाता।
35-सेकंड का आंकड़ा स्टॉप निर्देश प्राप्त करने और आगे की प्रगति को रोकने के बीच अधिकतम देरी को दर्शाता है। देरी एक कैशिंग परत से आती है जिसका उपयोग अनुमान प्राधिकरण अनुरोधों की विशाल मात्रा को संभालने के लिए किया जाता है, और ओपनएआई का कहना है कि यह अंतराल को शून्य तक कम करने के लिए काम कर रहा है।
स्वचालित मॉनिटर हर फ्रंटियर रन पर नजर रखते हैं
किल स्विच स्वचालित निगरानी के साथ जुड़ता है। ओपनएआई के अनुसार, इसके सभी सीमांत सुदृढीकरण सीखने के कार्य एक अलग मॉडल-आधारित मॉनिटर के साथ चलते हैं जो मॉडल व्यवहार की जांच करता है और संभावित समस्याओं का पता चलने पर अलर्ट जारी करता है। यदि कोई चेतावनी हस्तक्षेप की मांग करती है, तो निगरानी प्रणाली नियंत्रण कक्ष को संबंधित कार्य को समाप्त करने का निर्देश दे सकती है, जो तब कार्यभार द्वारा उपयोग किए जाने वाले किसी भी मॉडल या इंजन में बाद के अनुमान अनुरोधों को अवरुद्ध कर देता है।
कंपनी ने एक हालिया डीएनएस-संबंधित घटना की ओर इशारा किया - जिसमें एक मॉनिटर ने एक एजेंट को बाहरी चैटबॉट तक पहुंचने का प्रयास करते हुए पाया - उदाहरण के तौर पर कि ऐसे सुरक्षा उपाय क्यों मायने रखते हैं। उस मामले में, विसंगति को मानव समीक्षक के बजाय स्वचालित निरीक्षण द्वारा पकड़ा गया था।
व्यापक सुरक्षा प्रयास का हिस्सा
OpenAI नोट करता है कि नियंत्रण कक्ष पहले से ही अपने अनुसंधान बुनियादी ढांचे में तैनात है, जहां हस्तक्षेप की आवश्यकता सबसे अधिक है। इसका बाहरी मॉडल-सर्विंग इंफ्रास्ट्रक्चर, जो चैटजीपीटी जैसे उत्पादों को शक्ति प्रदान करता है, अधिक केंद्रीकृत है और आवश्यक होने पर मॉडल तैनाती को कम करने के लिए पहले से ही परिचालन तंत्र है - नियंत्रण कक्ष अनुसंधान पक्ष पर अंतर को बंद कर देता है।
कंपनी का कहना है कि वह फ्रंटियर मॉडल विकास को सुरक्षित करने के लिए अपने व्यापक दृष्टिकोण के हिस्से के रूप में गलत व्यवहार और सुरक्षा उल्लंघनों के खिलाफ अपनी निगरानी प्रणालियों और सुरक्षा उपायों को मजबूत करना जारी रखेगी।
स्वायत्त एजेंटों द्वारा तेजी से परिभाषित उद्योग के लिए, नियंत्रण कक्ष एक संकेत है कि सीमांत प्रयोगशालाएँ कहाँ जा रही हैं: सुरक्षा तंत्र जो मानते हैं कि मॉडल कभी-कभी बड़े पैमाने पर गलत व्यवहार करेंगे, और जो उन्हें आशा के बजाय बुनियादी ढाँचे की गारंटी देता है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
