सैन फ्रांसिस्को के सिटी अटॉर्नी ने ऐप्पल और गूगल को अपने ऐप स्टोर से आर्टिफिशियल इंटेलिजेंस न्यूडिफिकेशन ऐप्स को हटाने का आदेश दिया है, चेतावनी दी है कि प्लेटफ़ॉर्म डीपफेक पोर्नोग्राफ़ी बनाने वाली सेवाओं को प्रतिबंधित करने वाले कैलिफ़ोर्निया कानूनों का उल्लंघन कर रहे हैं। यह मांग [एआई] (https://aibuzzwire.news) टूल पर बढ़ते टकराव को बढ़ाती है जो वास्तविक लोगों की सामान्य तस्वीरों को स्पष्ट छवियों में बदल देती है, एक ऐसा संकट जिसने महिलाओं और बच्चों को असंगत रूप से पीड़ित किया है।

समस्या का पैमाना

न्यूडिफिकेशन ऐप्स वास्तविक लोगों की तस्वीरों से कपड़े उतारना, उनकी विशेषताओं को बदलना, उन्हें कामुक स्थिति में रखना और अन्य लोगों के नग्न शरीर पर चेहरे बदलना आसान बनाने के लिए जेनरेटिव एआई का उपयोग करते हैं। प्रौद्योगिकी मोबाइल ऐप स्टोरों में तेजी से फैल गई है, और इसके परिणामों का उपयोग पीड़ितों को विनाशकारी परिणामों के साथ धमकाने, अपमानित करने और धमकी देने के लिए किया जा रहा है।

सैन फ्रांसिस्को सिटी अटॉर्नी डेविड चिउ ने वायर्ड को बताया कि उनका कार्यालय इस बात से बिल्कुल भयभीत है कि नग्न करने वाली तकनीक कितनी सर्वव्यापी हो गई है, जो ज्यादातर महिलाओं और बच्चों को खतरनाक पैमाने पर शिकार बना रही है क्योंकि बाजार में अधिक उपकरणों की बाढ़ आ गई है। उन्होंने कहा, छवियों का उपयोग प्रतिष्ठा को नष्ट करने, मानसिक स्वास्थ्य को नुकसान पहुंचाने और पीड़ितों की स्वायत्तता छीनने के लिए किया जाता है, कुछ लक्ष्य आत्मघाती हो जाते हैं।

पत्र क्या मांग करते हैं

वायर्ड के अनुसार, चिउ के कार्यालय ने दोनों कंपनियों को औपचारिक पत्र भेजकर चेतावनी दी कि उनके ऐप स्टोर कैलिफोर्निया के कानूनों का उल्लंघन कर रहे हैं, जो डीपफेक पोर्नोग्राफ़ी बनाने वाली सहायक सेवाओं को प्रतिबंधित करते हैं। उन्होंने गूगल से पांच और एप्पल से आठ ऐप्स हटाने को कहा। लोगों को उनकी ओर आकर्षित करने से बचने के लिए सार्वजनिक रिपोर्टिंग में विशिष्ट ऐप्स का नाम नहीं दिया गया था, लेकिन वायर्ड ने नोट किया कि एक ध्वजांकित ऐप ने दस लाख से अधिक डाउनलोड जमा कर लिए थे और महिलाओं की छवियों को कामुक बनाने या मुफ्त और बिना सेंसर किए वीडियो बनाने के लिए खुले तौर पर विज्ञापित सुविधाओं का विज्ञापन किया था।

चिउ के कार्यालय का अनुमान है कि Apple और Google ने कड़ी कार्रवाई करने या बेहतर पहचान प्रणाली विकसित करने के बजाय हानिकारक ऐप्स को अपने स्टोर में रहने की अनुमति देकर संभवतः लाखों डॉलर की कमाई की है। शहर के वकील ने स्थिति को सार्वजनिक उपद्रव से लाभ कमाने वाला बताया और तर्क दिया कि ऐसे किसी भी ऐप को उपलब्ध रहने की अनुमति देना अस्वीकार्य है।

गूगल ने जवाब दिया, एप्पल चुप रहा

Ars Technica को दिए एक बयान में, Google के प्रवक्ता डैन जैक्सन ने पुष्टि की कि Chiu द्वारा चिह्नित पांच ऐप्स को हानिकारक सामग्री के खिलाफ नीतियों का उल्लंघन करने के लिए Google Play स्टोर से निलंबित कर दिया गया था। जैक्सन ने कहा कि Google Play यौन सामग्री वाले ऐप्स को अनुमति नहीं देता है और कंपनी हानिकारक सामग्री वाले ऐप्स का पता लगाने और उन्हें हटाने के लिए लगातार सक्रिय कदम उठाती रहती है। जब उल्लंघन की सूचना मिलती है, तो जैक्सन ने कहा, Google जांच करता है और त्वरित कार्रवाई करता है, जिसमें उल्लंघन करने वाले सैकड़ों ऐप्स को निलंबित करना और अपने स्टोर पर nudify जैसे संबंधित खोज शब्दों को प्रतिबंधित करना शामिल है।

Apple की प्रतिक्रिया स्पष्ट रूप से भिन्न रही है। हालांकि कंपनी ने अतीत में शोधकर्ताओं द्वारा चिह्नित कुछ ऐप्स को हटा दिया है, लेकिन यह अपने ऐप स्टोर में अधिक आक्रामक तरीके से पुलिस न्यूडिफिकेशन ऐप्स के कॉल के बीच विशेष रूप से चुप रही है। iPhone निर्माता ने शहर के वकील की मांगों पर तुरंत कोई विस्तृत सार्वजनिक प्रतिक्रिया नहीं दी।

पता लगाने का चूहे-बिल्ली का खेल

इन ऐप्स पर निगरानी रखने की चुनौती उनकी विकसित होती रणनीति के कारण और भी जटिल हो गई है। वायर्ड ने बताया कि शोधकर्ताओं ने हाल ही में चेतावनी दी है कि कुछ हानिकारक ऐप्स अपनी न्यूडिफाइंग क्षमताओं को छिपाते हुए केवल फेस-स्वैपिंग सुविधाओं का विज्ञापन करके ऐप स्टोर हटाने से बचने में बेहतर हो गए हैं। मई प्रीप्रिंट पेपर में, शोधकर्ताओं ने सामान्य फेस-स्वैपिंग टूल के रूप में विपणन किए गए 420 ऐप्स की पहचान की और उनमें से 155 का परीक्षण किया। 70 प्रतिशत से अधिक मामलों में, ऐप्स का उपयोग छवियों को कामुक बनाने के लिए किया जा सकता है, जो दर्शाता है कि हानिकारक कार्यक्षमता कितनी आसानी से हानिरहित विपणन के पीछे छिप जाती है।

इस पहचान अंतर का मतलब यह है कि जब ऐप स्टोर सक्रिय रूप से न्यूडिफाई टूल की खोज करते हैं, तब भी कई लोग खुद को हानिरहित मनोरंजन या फोटो-संपादन सॉफ़्टवेयर के रूप में प्रस्तुत करने से बच जाते हैं। शोधकर्ताओं के निष्कर्षों से पता चलता है कि प्रचलन में समस्याग्रस्त ऐप्स की वास्तविक संख्या संभवतः चिउ के कार्यालय द्वारा चिह्नित तेरह से कहीं अधिक है।

ग्रोक मिसाल

न्यूडिफाई ऐप पर कार्रवाई एआई-जनित हानिकारक सामग्री पर व्यापक बहस के साथ भी जुड़ी हुई है। इस सप्ताह, xAI ने एक मुकदमा दायर कर पुष्टि की कि उसे ग्रोक-जनित बाल यौन शोषण सामग्री और वयस्कों को लक्षित करने वाली गैर-सहमति वाली अंतरंग छवियों के उदाहरण मिले हैं। दुरुपयोग को संबोधित करने के लिए, xAI ने ग्रोक को अवैध सामग्री उत्पन्न करने के लिए प्रेरित करने के लिए कथित रूप से जिम्मेदार उपयोगकर्ता पर मुकदमा दायर किया।

ग्रोक मामला ऐप स्टोर्स के लिए एक कठिन प्रश्न उठाता है: क्या एआई चैटबॉट्स जिन्हें अवैध सामग्री का उत्पादन करने के लिए प्रेरित किया जा सकता है, उन्हें स्वयं हटाने के अधीन होना चाहिए। एनबीसी न्यूज के अनुसार, ऐप्पल ने कथित तौर पर अप्रैल में सीनेटरों को बताया था कि उसने निजी तौर पर ग्रोक को ऐप स्टोर से हटाने की धमकी दी थी, लेकिन एक्सएआई ऐप आज भी उपलब्ध है। जब तक अवैध सामग्री उत्पन्न करने के लिए ग्रोक का उपयोग करना संभव है, ऐप स्टोरों पर कार्रवाई करने के लिए दबाव का सामना करना जारी रहेगा, जैसा कि चिउ ने स्टैंडअलोन न्यूडिफिकेशन ऐप्स के लिए मांग की थी।

प्लेटफ़ॉर्म जवाबदेही के लिए एक महत्वपूर्ण मोड़

सैन फ्रांसिस्को का आदेश एआई-जनित हानिकारक सामग्री पर ऐप स्टोर को लक्षित करने वाले अब तक के सबसे आक्रामक सरकारी हस्तक्षेपों में से एक का प्रतिनिधित्व करता है। कैलिफ़ोर्निया के डीपफ़ेक पोर्नोग्राफ़ी कानूनों को लागू करके, चिउ परीक्षण कर रहा है कि क्या राज्य क़ानून प्लेटफ़ॉर्म ऑपरेटरों को अपने बाज़ारों के माध्यम से वितरित एआई टूल की ज़िम्मेदारी लेने के लिए मजबूर कर सकते हैं।

परिणाम इस बात के लिए एक मिसाल कायम कर सकता है कि अन्य क्षेत्राधिकार समस्या से कैसे निपटते हैं, और क्या एआई-जनित गैर-सहमति वाली इमेजरी पर पुलिस का बोझ डेवलपर्स, प्लेटफ़ॉर्म ऑपरेटरों या दोनों पर पड़ता है। उन लाखों लोगों के लिए, जिनमें मुख्य रूप से महिलाएं और लड़कियाँ शामिल हैं, जिन्हें इन उपकरणों द्वारा लक्षित किया गया है, जोखिम नियामक सिद्धांत से कहीं आगे तक फैला हुआ है।

एआई से आगे रहें

एआई नैतिकता, प्लेटफ़ॉर्म जवाबदेही और हानिकारक सिंथेटिक मीडिया पर नियामक लड़ाई के चल रहे कवरेज के लिए, समाज पर एआई के प्रभाव को आकार देने वाले मुद्दों पर रिपोर्टिंग के लिए [एआई बज़ वायर] (https://aibuzzwire.news) का अनुसरण करें।

अधिक एआई नैतिकता समाचार पढ़ें →