سان فرانسسکو کے سٹی اٹارنی نے ایپل اور گوگل کو اپنے ایپ اسٹورز سے مصنوعی ذہانت کی نوڈیفیکیشن ایپس کو ہٹانے کا حکم دیا ہے، اور متنبہ کیا ہے کہ یہ پلیٹ فارم کیلیفورنیا کے قوانین کی خلاف ورزی کر رہے ہیں جو ڈیپ فیک پورنوگرافی تخلیق کرنے والی خدمات پر پابندی لگا رہے ہیں۔ یہ مطالبہ AI ٹولز پر بڑھتے ہوئے تصادم کو بڑھاتا ہے جو حقیقی لوگوں کی عام تصاویر کو صریح تصاویر میں بدل دیتے ہیں، ایسا بحران جس نے خواتین اور بچوں کو غیر متناسب طور پر نشانہ بنایا ہے۔

مسئلہ کا پیمانہ

نیوڈیفیکیشن ایپس جنریٹیو AI کا استعمال کرتی ہیں تاکہ حقیقی لوگوں کی تصاویر سے لباس اتارنے، ان کی خصوصیات کو تبدیل کرنے، انہیں جنسی پوزیشنوں میں رکھنے، اور دوسرے لوگوں کے ننگے جسموں پر چہروں کو تبدیل کرنا معمولی طور پر آسان بنایا جائے۔ یہ ٹیکنالوجی موبائل ایپ اسٹورز پر تیزی سے پھیلی ہے، اور نتائج کا استعمال متاثرین کو دھونس، تذلیل اور تباہ کن نتائج کی دھمکی دینے کے لیے کیا جا رہا ہے۔

سان فرانسسکو سٹی کے اٹارنی ڈیوڈ چیو نے وائرڈ کو بتایا کہ ان کا دفتر اس بات سے بالکل خوفزدہ تھا کہ عریانی ٹیکنالوجی کس قدر عام ہو گئی ہے، زیادہ تر خواتین اور بچوں کو خطرناک پیمانے پر نشانہ بنایا گیا ہے کیونکہ مارکیٹ میں مزید ٹولز بھر آئے ہیں۔ انہوں نے کہا کہ تصاویر کا استعمال ساکھ کو تباہ کرنے، ذہنی صحت کو نقصان پہنچانے اور خود مختاری کے متاثرین کو چھیننے کے لیے کیا جاتا ہے، جس کے کچھ اہداف خودکشی کا باعث بنتے ہیں۔

خطوط کا کیا مطالبہ ہے۔

وائرڈ کے مطابق، چیو کے دفتر نے دونوں کمپنیوں کو باضابطہ خطوط بھیجے جس میں انتباہ کیا گیا کہ ان کے ایپ اسٹورز کیلیفورنیا کے قوانین کی خلاف ورزی کر رہے ہیں جو معاون خدمات کو ممنوع قرار دیتے ہیں جو ڈیپ فیک پورنوگرافی بناتے ہیں۔ اس نے گوگل سے پانچ ایپس اور ایپل سے آٹھ کو ہٹانے کو کہا۔ عوامی رپورٹنگ میں مخصوص ایپس کا نام نہیں لیا گیا تاکہ لوگوں کو ان کی طرف متوجہ کیا جا سکے، لیکن وائرڈ نے نوٹ کیا کہ ایک جھنڈا لگا ہوا ایپ دس لاکھ سے زیادہ ڈاؤن لوڈز جمع کر چکا ہے اور خواتین کی تصاویر کو جنسی بنانے یا مفت اور بغیر سینسر شدہ ویڈیوز بنانے کے لیے کھلے عام اشتہارات کی خصوصیات ہیں۔

چیو کے دفتر نے اندازہ لگایا ہے کہ ایپل اور گوگل نے ممکنہ طور پر نقصان دہ ایپس کو مضبوط کارروائی کرنے یا پتہ لگانے کے بہتر نظام تیار کرنے کے بجائے اپنے اسٹورز میں رہنے کی اجازت دے کر لاکھوں ڈالر کی فیس کمائی ہے۔ سٹی اٹارنی نے صورتحال کو عوامی پریشانی سے فائدہ اٹھانے کے طور پر بیان کیا، یہ دلیل دی کہ ایسی کسی بھی ایپس کو دستیاب رہنے کی اجازت دینا ناقابل قبول ہے۔

گوگل نے جواب دیا، ایپل خاموش رہا۔

Ars Technica کو ایک بیان میں، گوگل کے ترجمان ڈین جیکسن نے تصدیق کی کہ چیو کی طرف سے جھنڈا لگائے گئے پانچ ایپس کو نقصان دہ مواد کے خلاف پالیسیوں کی خلاف ورزی کرنے پر گوگل پلے اسٹور سے معطل کر دیا گیا ہے۔ جیکسن نے کہا کہ گوگل پلے جنسی مواد پر مشتمل ایپس کی اجازت نہیں دیتا اور یہ کہ کمپنی نقصان دہ مواد والی ایپس کا پتہ لگانے اور ہٹانے کے لیے مسلسل اقدامات کرتی ہے۔ جب خلاف ورزیوں کی اطلاع دی جاتی ہے، جیکسن نے کہا، گوگل تحقیقات کرتا ہے اور فوری کارروائی کرتا ہے، جس میں خلاف ورزی کرنے والی سینکڑوں ایپس کو معطل کرنا اور اس کے اسٹور پر nudify جیسی متعلقہ تلاش کی اصطلاحات کو محدود کرنا شامل ہے۔

ایپل کا ردعمل واضح طور پر مختلف رہا ہے۔ اگرچہ کمپنی نے ماضی میں محققین کی طرف سے جھنڈا لگائے گئے کچھ ایپس کو ہٹا دیا ہے، لیکن اس نے اپنے ایپ اسٹور میں زیادہ جارحانہ انداز میں پولیس کی نوڈیفیکیشن ایپس کو کال کرنے کے درمیان خاص طور پر خاموشی اختیار کر لی ہے۔ آئی فون بنانے والی کمپنی نے سٹی اٹارنی کے مطالبات پر فوری طور پر کوئی تفصیلی عوامی ردعمل فراہم نہیں کیا۔

بلی اور چوہے کا پتہ لگانے کا کھیل

ان ایپس کو پولیسنگ کرنے کا چیلنج ان کی ابھرتی ہوئی حکمت عملیوں سے بڑھ گیا ہے۔ وائرڈ نے رپورٹ کیا کہ محققین نے حال ہی میں متنبہ کیا ہے کہ کچھ نقصان دہ ایپس اپنی عریانی صلاحیتوں کو چھپاتے ہوئے صرف چہرے کی تبدیلی کی خصوصیات کی تشہیر کرکے ایپ اسٹور کو ہٹانے سے بچنے میں بہتر ہو گئی ہیں۔ مئی کے ایک پری پرنٹ پیپر میں، محققین نے 420 ایپس کی نشاندہی کی جن کی مارکیٹنگ عام چہرے کو تبدیل کرنے والے ٹولز کے طور پر کی گئی اور ان میں سے 155 کا تجربہ کیا۔ 70 فیصد سے زیادہ معاملات میں، ایپس کو تصاویر کو جنسی بنانے کے لیے استعمال کیا جا سکتا ہے، جس سے یہ ظاہر ہوتا ہے کہ بے ضرر مارکیٹنگ کے پیچھے کتنی آسانی سے نقصان دہ فعالیت چھپ جاتی ہے۔

پتہ لگانے کے اس فرق کا مطلب یہ ہے کہ جب ایپ اسٹورز فعال طور پر نیوڈیفائی ٹولز تلاش کرتے ہیں، تب بھی بہت سے لوگ اپنے آپ کو بے ضرر تفریح ​​یا فوٹو ایڈیٹنگ سافٹ ویئر کے طور پر پیش کرتے ہوئے پھسل جاتے ہیں۔ محققین کے نتائج بتاتے ہیں کہ گردش میں موجود مسائل والی ایپس کی حقیقی تعداد ممکنہ طور پر چیو کے دفتر کی طرف سے لگائے گئے تیرہ سے کہیں زیادہ ہے۔

گروک نظیر

nudify ایپ کا کریک ڈاؤن AI سے پیدا ہونے والے نقصان دہ مواد پر ایک وسیع تر بحث کو بھی ایک دوسرے سے جوڑتا ہے۔ اس ہفتے، xAI نے ایک مقدمہ دائر کیا جس میں اس بات کی تصدیق کی گئی کہ اسے گروک سے تیار کردہ بچوں کے جنسی استحصال کے مواد اور بالغوں کو نشانہ بنانے والی غیر متفقہ مباشرت کی تصاویر کی مثالیں ملی ہیں۔ غلط استعمال کو دور کرنے کے لیے، xAI نے مبینہ طور پر Grok کو غیر قانونی مواد تیار کرنے کے لیے ذمہ دار صارف پر مقدمہ دائر کیا۔

گروک کیس ایپ اسٹورز کے لیے ایک کانٹے دار سوال اٹھاتا ہے: کیا AI چیٹ بوٹس جن کو غیر قانونی مواد تیار کرنے کا اشارہ کیا جا سکتا ہے، انہیں خود ہی ہٹا دیا جانا چاہیے۔ ایپل نے مبینہ طور پر اپریل میں سینیٹرز کو بتایا تھا کہ اس نے نجی طور پر ایپ اسٹور سے گروک کو ہٹانے کی دھمکی دی تھی، این بی سی نیوز کے مطابق، لیکن xAI ایپ آج بھی دستیاب ہے۔ جب تک Grok کو غیر قانونی مواد تیار کرنے کے لیے استعمال کرنا ممکن ہے، ایپ اسٹورز کو ممکنہ طور پر کارروائی کرنے کے لیے دباؤ کا سامنا کرنا پڑے گا، جیسا کہ Chiu نے اسٹینڈ اسٹون نیوڈیفیکیشن ایپس کا مطالبہ کیا تھا۔

پلیٹ فارم احتساب کے لیے ایک اہم موڑ

سان فرانسسکو کا حکم AI سے تیار کردہ نقصان دہ مواد پر ایپ اسٹورز کو نشانہ بنانے کی تاریخ کی سب سے زیادہ جارحانہ حکومتی مداخلتوں میں سے ایک کی نمائندگی کرتا ہے۔ کیلیفورنیا کے ڈیپ فیک پورنوگرافی قوانین کا استعمال کرتے ہوئے، Chiu جانچ کر رہا ہے کہ آیا ریاستی قوانین پلیٹ فارم آپریٹرز کو ان کے بازاروں کے ذریعے تقسیم کیے گئے AI ٹولز کی ذمہ داری لینے پر مجبور کر سکتے ہیں۔

نتیجہ اس بات کی نظیر قائم کر سکتا ہے کہ دوسرے دائرہ اختیار کس طرح مسئلے سے رجوع کرتے ہیں، اور آیا پولیسنگ کا بوجھ AI سے تیار کردہ غیر متفقہ منظر کشی کا بوجھ ڈویلپرز، پلیٹ فارم آپریٹرز، یا دونوں پر پڑتا ہے۔ لاکھوں لوگوں کے لیے، خاص طور پر خواتین اور لڑکیاں، جنہیں ان ٹولز کے ذریعے نشانہ بنایا گیا ہے، داؤ ریگولیٹری تھیوری سے کہیں آگے ہے۔

AI سے آگے رہیں

AI اخلاقیات، پلیٹ فارم کی جوابدہی، اور نقصان دہ مصنوعی میڈیا پر ریگولیٹری لڑائیوں کی جاری کوریج کے لیے، معاشرے پر AI کے اثرات کو تشکیل دینے والے مسائل کی رپورٹنگ کے لیے AI Buzz Wire کی پیروی کریں۔

مزید AI اخلاقیات کی خبریں پڑھیں →