OpenAI और Google DeepMind के वर्तमान और पूर्व शोधकर्ताओं ने मंगलवार को चेतावनी दी कि जिन कंपनियों के लिए वे काम करते हैं - या जिनके लिए काम करते थे - वे आत्म-सुधार करने वाले AI सिस्टम की ओर खतरनाक रूप से तेजी से आगे बढ़ रही हैं जो उन्हें नियंत्रित करने की मानवता की क्षमता को मात दे सकती हैं।
चेतावनियाँ एआई सुरक्षा गैर-लाभकारी पलिसडे रिसर्च द्वारा एकत्र किए गए वीडियो प्रशंसापत्रों की एक श्रृंखला में आईं और विशेष रूप से रॉयटर्स को प्रदान की गईं। रिकॉर्डिंग में, दुनिया की दो सबसे प्रमुख एआई प्रयोगशालाओं के अंदरूनी सूत्र एक ऐसे उद्योग का वर्णन करते हैं जो नए मॉडल बनाने वाले लोगों को उनके बारे में सुरक्षा चिंताएं उठाने वाले लोगों की तुलना में कहीं अधिक उदारतापूर्वक पुरस्कृत करता है। For more context on this story, see our ongoing artificial intelligence updates.
ओपनएआई में एआई संरेखण अनुसंधान इंजीनियर जुआन फेलिप सेरोन उरीबे ने एक वीडियो में कहा, "फ्रंटियर लैब आंखों पर पट्टी बांधकर एक-दूसरे से प्रतिस्पर्धा कर रहे हैं।" "यह कोई भी अनुमान लगा सकता है कि हम या तो कैंसर का इलाज करेंगे या हर नौकरी खो देंगे या शायद सभी मर जाएंगे।"
वास्तव में शोधकर्ताओं ने क्या कहा
प्रशंसापत्र उल्लेखनीय हैं क्योंकि वे अभी भी प्रयोगशालाओं के अंदर के लोगों से आते हैं, न कि केवल बाहर के आलोचकों से। Google DeepMind के एक शोध वैज्ञानिक, नील नंदा ने अपने वीडियो में कहा कि उनका मानना है कि कम से कम 10 प्रतिशत संभावना है कि AI मानव विलुप्त होने का कारण बन सकता है - एक संभावना जिसे उन्होंने उस तकनीक के लिए "हास्यास्पद रूप से उच्च" बताया है जिसे उद्योग तैनात करने के लिए दौड़ रहा है।
परियोजना में भाग लेने वालों ने रॉयटर्स को बताया कि वे वास्तव में उन जोखिमों पर विश्वास करते हैं जिनका वे वर्णन कर रहे थे। कई लोगों ने एक आंतरिक प्रोत्साहन समस्या की ओर भी इशारा किया: एआई प्रयोगशालाओं के भीतर, जो कर्मचारी नए मॉडल भेजते हैं, वे सावधानी बरतने वालों की तुलना में अधिक मान्यता, पदोन्नति और प्रभाव अर्जित करते हैं।
अंदरूनी सूत्र 'समन्वय समस्या' पर ज़ोर देते हैं
सबसे तीखी आलोचनाओं में से एक गैर-लाभकारी रिज़ॉल्यूशन के सह-संस्थापक और मुख्य वैज्ञानिक जेफ्री इरविंग की ओर से आई, जिन्होंने ओपनएआई और डीपमाइंड दोनों में काम किया है। उन्होंने तर्क दिया कि एआई कंपनियां इस दावे के पीछे छिप रही हैं कि सुरक्षा के लिए उद्योग-व्यापी समन्वय की आवश्यकता है, जबकि वास्तव में उनमें से कोई भी अकेले कार्य कर सकता है।
इरविंग ने रॉयटर्स को बताया, "अगर आप कोई बहुत खतरनाक काम कर रहे हैं, तो आपको धीरे-धीरे काम करना चाहिए।" "एआई कंपनियां इस हद तक जरूरत से ज्यादा खिलवाड़ कर रही हैं कि यह एक शुद्ध समन्वय समस्या है। वे इसे एकतरफा ही रोक सकते हैं।"
रोज़ी कैंपबेल, जिन्होंने 2024 में जाने से पहले ओपनएआई में एक नीति शोधकर्ता के रूप में काम किया था और अब एलोस एआई रिसर्च के प्रबंध निदेशक के रूप में कार्यरत हैं, ने कहा कि उनके कार्यकाल के दौरान संगठन तेजी से शांत हो गया था। उन्होंने कहा, उस विखंडन ने सुरक्षा-दिमाग वाले कर्मचारियों के लिए प्रौद्योगिकी की दिशा को प्रभावित करना कठिन बना दिया है।
डैनियल कोकोटाजलो, एक पूर्व ओपनएआई गवर्नेंस शोधकर्ता, जो अब एआई फ्यूचर्स प्रोजेक्ट का नेतृत्व करते हैं, ने रॉयटर्स को बताया कि उन्होंने वरिष्ठ प्रयोगशाला नेतृत्व के अंदर के रवैये के बारे में बताया: रुकने से केवल कम ईमानदार अभिनेताओं को फायदा होगा, आत्म-औचित्य का एक रूप जो उन्हें गहराई से समस्याग्रस्त लगता है।
क्यों 'पुनरावर्ती आत्म-सुधार' इसे बनाने वाले लोगों को डराता है
इन चेतावनियों के केंद्र में पुनरावर्ती आत्म-सुधार की अवधारणा है - यह विचार कि एआई सिस्टम अंततः खुद को सुधार सकते हैं, एक स्व-निर्देशित चक्र में नए ज्ञान और क्षमताओं को प्राप्त कर सकते हैं जो मनुष्यों को प्रत्येक चरण की कम निगरानी के साथ छोड़ देता है।
शोधकर्ताओं को डर है कि एक प्रणाली जो अपनी खुद की प्रशिक्षण प्रक्रिया को फिर से डिज़ाइन करने के लिए पर्याप्त स्मार्ट है, किसी के पास इसका परीक्षण करने का समय होने से पहले ही क्षमता सीमा को पार कर सकती है, और प्रयोगशालाओं के बीच प्रतिस्पर्धात्मक दबाव प्रत्येक के लिए इसे कम करना तर्कसंगत बनाता है। चिंता अब अकादमिक पेपरों तक ही सीमित नहीं है; यह अब कानून, कॉर्पोरेट नीति और तेजी से बढ़ती सार्वजनिक बहस को आकार दे रहा है।
जुलाई में चेहरे पर आलिंगन की घटना अभी भी उद्योग जगत पर हावी है
नए प्रशंसापत्र की तात्कालिकता दर्शाती है कि जुलाई के बाद से बातचीत कितनी बदल गई है, जब ओपनएआई एजेंट अपने परीक्षण वातावरण से बच गए और आंतरिक डेटासेट और क्रेडेंशियल्स से समझौता करते हुए एआई प्लेटफॉर्म हगिंग फेस को हैक कर लिया। यह प्रकरण उद्योग की परिभाषित सुरक्षा विफलता बन गया।
ओपनएआई ने बाद में नए सुरक्षा उपायों की घोषणा की और कहा कि घटना के मद्देनजर उसने मॉडल विकास धीमा कर दिया है। लेकिन इसके बाद से यह बहस और तेज़ हो गई है. रॉयटर्स का कहना है कि इस सप्ताह कई प्रमुख एआई शोधकर्ताओं द्वारा जारी एक पेपर में नीति निर्माताओं से पुनरावर्ती आत्म-सुधार में सक्षम मॉडल विकसित करने के आसपास उद्योग प्रथाओं की जांच करने का आह्वान किया गया है।
वाशिंगटन ने प्रतिक्रिया देना शुरू किया
राजनीतिक व्यवस्था अब स्थिर नहीं है। ओपनएआई के सीईओ सैम ऑल्टमैन और एंथ्रोपिक के सीईओ डारियो अमोदेई दोनों ने फ्रंटियर मॉडल के विकास को धीमा करने के लिए सार्वजनिक रूप से आह्वान किया है, और कंपनियां - डीपमाइंड के साथ - कई हफ्तों से एआई सुरक्षा वार्ता में लगी हुई हैं।
सोमवार को, कैलिफ़ोर्निया डेमोक्रेट प्रतिनिधि रो खन्ना ने एआई अधिनियम पर मानव नियंत्रण पेश किया, जो स्व-सुधार वाले एआई मॉडल पर तब तक प्रतिबंध लगाएगा जब तक कि संघीय सरकार सुरक्षा रेलिंग स्थापित नहीं कर देती और एक नई संघीय एजेंसी ऐसी गतिविधियों को मंजूरी नहीं दे देती। खन्ना ने इस उपाय को अब तक प्रस्तावित सबसे व्यापक एआई सुरक्षा कानून के रूप में तैयार किया, हालांकि मध्यावधि चुनाव से पहले किसी भी सदन के बिल पर वोट मिलने की उम्मीद नहीं है।
पलिसडे वीडियो के शोधकर्ताओं के लिए, विधायी प्रतिक्रिया की गति वास्तव में समस्या है। वे चेतावनी दे रहे हैं कि जानबूझकर, सावधानीपूर्वक निर्णय लेने की खिड़की बंद हो रही है - और जो लोग जोखिमों को देखने के लिए सबसे अच्छी स्थिति में हैं, उन्हीं संगठनों द्वारा प्रौद्योगिकी का निर्माण करने के लिए प्रतिस्पर्धा की जा रही है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
