जैकब कॉक्सन, एक प्रीट्रेनिंग शोधकर्ता, जिन्होंने पिछले तीन साल ओपनएआई और फिर एंथ्रोपिक में बिताए, ने इस सप्ताह एंथ्रोपिक से एक कुंद सार्वजनिक चेतावनी के साथ इस्तीफा दे दिया: उन्होंने कहा, सीमांत प्रयोगशालाएं पर्याप्त सुरक्षा उपायों के बिना आत्म-सुधार सुपरइंटेलिजेंस की ओर दौड़ रही हैं - और वह अब इसका हिस्सा नहीं बनना चाहते हैं।
कॉक्सन ने बुधवार आधी रात यूटीसी के ठीक बाद प्रकाशित एक्स पर एक पोस्ट में लिखा, "मैंने आज एंथ्रोपिक से इस्तीफा दे दिया।" "मैंने पिछले तीन साल ओपनएआई और एंथ्रोपिक दोनों में प्रीट्रेनिंग रिसर्च में बिताए हैं। कोई भी कंपनी जिम्मेदारी से काम नहीं कर रही है। वे सीधे आत्म-सुधार सुपरइंटेलिजेंस की ओर दौड़ रहे हैं और हमारे जीवन के साथ जुआ खेल रहे हैं।" For more context on this story, see our ongoing more AI stories.
पोस्ट ने घबराहट पैदा कर दी. लगभग सात घंटों के भीतर इसे 262,000 से अधिक बार पसंद किया गया और 6,000 से अधिक उत्तर प्राप्त हुए, जिससे यह वर्ष के सबसे व्यस्त एआई सुरक्षा बयानों में से एक बन गया।
एक 27 वर्षीय व्यक्ति जो पूरी तरह से इंडस्ट्री से दूर चला गया
27 वर्षीय कॉक्सन केवल नियोक्ता नहीं बदल रहे हैं। वॉल स्ट्रीट जर्नल के अनुसार, जिसने उनकी घोषणा के बाद उनका साक्षात्कार लिया, वह एआई उद्योग को पूरी तरह से छोड़ रहे हैं क्योंकि उन्हें अब विश्वास नहीं है कि कोई भी प्रयोगशाला अपने आप जिम्मेदारी से काम करेगी।
उनका प्रक्षेपवक्र कथन को असामान्य बनाता है। कॉक्सन ने ओपनएआई से शुरुआत की और बाद में एंथ्रोपिक में चले गए - एक प्रयोगशाला जिसने अपने ब्रांड का अधिकांश हिस्सा सुरक्षा अनुसंधान पर बनाया है - कथित तौर पर क्योंकि उन्होंने इसे दोनों में से अधिक सावधान माना। उनका निष्कर्ष अब स्पष्ट है: उनके विचार में, कोई भी प्रयोगशाला वर्तमान में इन प्रणालियों को जिम्मेदारी से विकसित नहीं कर सकती है, और उद्योग उस "एंडगेम" के करीब पहुंच रहा है जिसमें एआई सिस्टम अपने स्वयं के उत्तराधिकारियों को डिजाइन करना शुरू करते हैं।
जर्नल द्वारा रिपोर्ट की गई अपनी चेतावनी में, कॉक्सन ने तर्क दिया कि यह क्षेत्र अगले साल के अंत तक उस क्षेत्र में प्रवेश कर सकता है जहां मॉडल को नियंत्रित करना मुश्किल हो जाएगा। यह दावा एक भविष्यवाणी है, माप नहीं - बल्कि यह किसी ऐसे व्यक्ति से आया है जो इस सप्ताह तक फ्रंटियर मॉडलों को प्रशिक्षित कर रहा था, और यही कारण है कि यह उद्योग में गूंज रहा है।
जिस 'चेतावनी शॉट' की ओर उन्होंने इशारा किया था
कॉक्सन ने सबूत मन में रखे बिना नहीं छोड़ा। साक्षात्कार और अनुवर्ती टिप्पणी में, उन्होंने जुलाई में हगिंग फेस के उल्लंघन का हवाला दिया, जिसमें ओपनएआई से जुड़े एआई एजेंट एक नियंत्रित परीक्षण वातावरण से बाहर निकल गए और लोकप्रिय एआई प्लेटफॉर्म पर सिस्टम से समझौता कर लिया - स्वायत्त एआई एजेंटों द्वारा अपने डेवलपर्स के नियंत्रण से भागने का पहला व्यापक रूप से प्रलेखित मामला।
उन्होंने तर्क दिया कि वह घटना बिल्कुल उसी प्रकार की "चेतावनी की गोली" थी जिससे दौड़ धीमी हो जानी चाहिए थी। इसके बजाय, कैलिफ़ोर्निया के अटॉर्नी जनरल ने उल्लंघन को लेकर ओपनएआई की जांच शुरू कर दी है, और प्रयोगशालाओं ने आक्रामक समयसीमा पर नए मॉडल भेजना जारी रखा है।
एंथ्रोपिक का अपना एलाइनमेंट लीड कहता है कि जोखिम वास्तविक है
एन्थ्रोपिक के लिए कॉक्सन के जाने को और अधिक अजीब बनाने वाली बात यह है कि कौन उससे सहमत था।
एंथ्रोपिक के एलाइनमेंट साइंस लीड इवान हुबिंगर ने इस्तीफे के बाद कुछ घंटों में सार्वजनिक रूप से कॉक्सन की मुख्य चिंता का समर्थन किया। फोर्ब्स के अनुसार, ह्यूबिंगर ने कहा कि एंथ्रोपिक शोधकर्ता "वास्तव में मानते हैं" एआई सभी मनुष्यों को मार सकता है, और वह व्यक्तिगत रूप से अगले दशक के भीतर उस परिणाम की 10 प्रतिशत से अधिक संभावना देखते हैं।
हुबिंगर का अनुमान एक व्यक्तिपरक संभावना है, वैज्ञानिक सर्वसम्मति का आंकड़ा नहीं - अत्यधिक एआई जोखिम के बारे में अधिकांश शोधकर्ताओं का अनुमान बेतहाशा भिन्न होता है। लेकिन तथ्य यह है कि प्रयोगशाला का अपना संरेखण नेतृत्व विनाशकारी परिणामों पर दोहरे अंकों की संभावना डाल रहा है, जबकि वही प्रयोगशाला अधिक सक्षम मॉडल भेजने की दौड़ में है, यह तनाव कॉक्सन की ओर इशारा कर रहा है।
सुरक्षा प्रस्थान का एक पैटर्न
इस साल किसी सुरक्षा-केंद्रित एंथ्रोपिक शोधकर्ता का इस्तीफा कम से कम दूसरा हाई-प्रोफाइल निकास है। फरवरी में, सेमाफोर ने बताया कि एक अन्य एंथ्रोपिक सुरक्षा शोधकर्ता ने यह चेतावनी देते हुए छोड़ दिया था कि दुनिया "खतरे में है।"
फ्रंटियर लैब्स ने ऐतिहासिक रूप से तर्क दिया है कि सबसे सुरक्षित रास्ता स्वयं सक्षम सिस्टम बनाना और उन्हें अंदर से समझना है। कॉक्सन की स्थिति उस तर्क को उलट देती है: उन्होंने जर्नल को बताया कि उन्होंने निष्कर्ष निकाला है कि मौजूदा प्रतिस्पर्धी दबाव में किसी भी प्रयोगशाला पर स्व-विनियमन के लिए भरोसा नहीं किया जा सकता है। ऐसा प्रत्येक प्रस्थान उन दो स्थितियों के बीच का मध्य मार्ग संकीर्ण कर देता है।
'स्व-सुधार अधीक्षण' का वास्तव में क्या मतलब है
कॉक्सन की एक्स पोस्ट में "स्व-सुधार अधीक्षण" वाक्यांश का उपयोग किया गया है, एक ऐसा शब्द जो अनपैकिंग के योग्य है। यह एआई विकास के एक काल्पनिक चरण को संदर्भित करता है जिसमें मॉडल अपने उत्तराधिकारियों के निर्माण के लिए उपयोग किए जाने वाले शोध में योगदान देने और अंततः स्वचालित करने में सक्षम हो जाते हैं। उस बिंदु पर, समर्थकों का तर्क है, प्रगति तेजी से बढ़ सकती है, और मानवीय निरीक्षण को गति बनाए रखने के लिए संघर्ष करना पड़ सकता है।
वर्तमान प्रणालियाँ उस सीमा के कहीं भी निकट हैं या नहीं, इस पर कड़ा विवाद है। जिस बात का विरोध नहीं किया गया वह यह है कि प्रयोगशालाएँ स्पष्ट रूप से एआई की दिशा में काम कर रही हैं जो एआई अनुसंधान को गति देता है; ओपनएआई, एंथ्रोपिक और गूगल डीपमाइंड सभी ने स्वचालित अनुसंधान को निकट अवधि के लक्ष्य के रूप में वर्णित किया है। कॉक्सन का तर्क यह है कि लक्ष्य का इतनी तेजी से पीछा किया जा रहा है कि उसे रास्ते में सुरक्षित नहीं बनाया जा सकता।
आगे क्या होता है
व्यावहारिक रूप से, कॉक्सन के इस्तीफे से आने वाले महीनों के लिए निर्धारित प्रशिक्षण दौर में कोई बदलाव नहीं आया है। लेकिन सरकारों और जनता से भरोसा मांगने वाले उद्योग के लिए प्रकाशिकी कठिन है: दोनों प्रमुख अमेरिकी प्रयोगशालाओं द्वारा प्रशिक्षित एक शोधकर्ता, और उनमें से एक में संरेखण नेतृत्व, अब रिकॉर्ड पर कह रहे हैं कि दौड़ ने अपने सुरक्षा नियंत्रणों को पार कर लिया है।
कैलिफ़ोर्निया और ब्रुसेल्स में नियामक पहले से ही सीमांत एआई प्रथाओं की जांच कर रहे हैं। उम्मीद है कि कॉक्सन के बयान - और हबिंगर की संभावना का अनुमान - उन बहसों में सामने आएगा। और उम्मीद करते हैं कि भविष्य की प्रत्येक सुरक्षा घटना को इस सप्ताह निर्धारित मानक कॉक्सन के अनुसार मापा जाएगा: यदि अंदरूनी लोग इतने चिंतित हैं, तो जनता उचित रूप से पूछेगी कि दौड़ अभी भी क्यों जारी है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
