San Francisco Memerintahkan Apple dan Google untuk Mengalih keluar Aplikasi AI Nudify Memetik Undang-undang Pornografi Palsu

Peguam bandar San Francisco telah mengarahkan Apple dan Google untuk mengalih keluar aplikasi pembogelan kecerdasan buatan daripada gedung aplikasi mereka, memberi amaran bahawa platform itu melanggar undang-undang California yang melarang perkhidmatan yang mencipta pornografi palsu. Permintaan itu meningkatkan konfrontasi yang semakin meningkat mengenai alatan AI yang mengubah foto biasa orang sebenar kepada imej eksplisit, krisis yang telah menganiaya wanita dan kanak-kanak secara tidak seimbang.

Skala Masalah

Apl pembogelan menggunakan AI generatif untuk menjadikannya mudah untuk menanggalkan pakaian daripada foto orang sebenar, mengubah ciri mereka, meletakkan mereka dalam kedudukan seksual dan menukar muka ke badan bogel orang lain. Teknologi ini telah berkembang pesat di seluruh kedai aplikasi mudah alih, dan hasilnya digunakan untuk membuli, mengaibkan dan mengancam mangsa dengan akibat yang dahsyat.

Peguam Bandar San Francisco, David Chiu memberitahu Wired bahawa pejabatnya benar-benar terkejut dengan perkembangan teknologi membogelkan di mana-mana, menyebabkan kebanyakan wanita dan kanak-kanak menjadi mangsa pada skala yang membimbangkan apabila lebih banyak alat membanjiri pasaran. Imej itu, katanya, digunakan untuk memusnahkan reputasi, merosakkan kesihatan mental, dan melucutkan autonomi mangsa, dengan beberapa sasaran menjadi membunuh diri.

Apa yang Dituntut oleh Surat

Pejabat Chiu menghantar surat rasmi kepada kedua-dua syarikat memberi amaran bahawa kedai aplikasi mereka melanggar undang-undang California yang melarang perkhidmatan sokongan yang mencipta pornografi palsu, menurut Wired. Dia meminta Google mengalih keluar lima aplikasi dan Apple mengalih keluar lapan. Apl khusus itu tidak dinamakan dalam pelaporan awam untuk mengelak mendorong orang ke arah mereka, tetapi Wired menyatakan bahawa satu apl yang dibenderakan telah mengumpul lebih daripada sejuta muat turun dan mengiklankan ciri secara terbuka untuk menseksualkan imej wanita atau menghasilkan video percuma dan tidak ditapis.

Pejabat Chiu menganggarkan bahawa Apple dan Google berkemungkinan telah memperoleh berjuta-juta dolar dalam yuran dengan membenarkan aplikasi berbahaya kekal di kedai mereka daripada mengambil tindakan yang lebih kuat atau membangunkan sistem pengesanan yang lebih baik. Peguam bandar menyifatkan situasi itu sebagai mengaut keuntungan daripada gangguan awam, dengan alasan membenarkan mana-mana aplikasi sedemikian kekal tersedia adalah tidak boleh diterima.

Google Membalas, Apple Tetap Senyap

Dalam satu kenyataan kepada Ars Technica, jurucakap Google Dan Jackson mengesahkan bahawa lima apl yang dibenderakan oleh Chiu telah digantung daripada gedung Google Play kerana melanggar dasar terhadap kandungan berbahaya. Jackson berkata Google Play tidak membenarkan apl yang mengandungi kandungan seksual dan syarikat itu sentiasa mengambil langkah proaktif untuk mengesan dan mengalih keluar apl yang mengandungi kandungan berbahaya. Apabila pelanggaran dilaporkan, Jackson berkata, Google menyiasat dan mengambil tindakan pantas, yang termasuk menggantung ratusan apl yang melanggar dan menyekat istilah carian yang berkaitan seperti nudify di kedainya.

Sambutan Apple sangat berbeza. Walaupun syarikat itu telah mengalih keluar beberapa aplikasi yang dibenderakan oleh penyelidik pada masa lalu, ia sebaliknya kekal senyap di tengah-tengah panggilan kepada aplikasi bogel polis secara lebih agresif dalam App Storenya. Pembuat iPhone itu tidak segera memberikan respons awam terperinci terhadap tuntutan peguam bandar.

Permainan Pengesanan Kucing-dan-Tetikus

Cabaran untuk mengawal aplikasi ini ditambah lagi dengan taktik mereka yang semakin berkembang. Wired melaporkan bahawa penyelidik baru-baru ini memberi amaran beberapa apl berbahaya telah menjadi lebih baik dalam mengelak pengalihan keluar gedung apl dengan hanya mengiklankan ciri tukar muka sambil menyembunyikan keupayaan membogelkannya. Dalam kertas pracetak Mei, penyelidik mengenal pasti 420 apl yang dipasarkan sebagai alat tukar muka generik dan menguji 155 daripadanya. Dalam lebih 70 peratus kes, apl boleh digunakan untuk menseksualkan imej, menunjukkan betapa mudahnya fungsi berbahaya bersembunyi di sebalik pemasaran yang tidak berbahaya.

Jurang pengesanan ini bermakna walaupun kedai apl mencari alat bogel secara proaktif, ramai yang tergelincir dengan menampilkan diri mereka sebagai perisian hiburan atau pengeditan foto yang tidak berbahaya. Penemuan penyelidik menunjukkan bahawa jumlah sebenar aplikasi bermasalah dalam edaran mungkin jauh lebih tinggi daripada tiga belas yang dibenderakan oleh pejabat Chiu.

Preseden Grok

Tindakan keras apl nudify juga bersilang dengan perdebatan yang lebih luas mengenai kandungan berbahaya yang dijana oleh AI. Minggu ini, xAI memfailkan tuntutan mahkamah mengesahkan bahawa ia telah menemui contoh bahan penderaan seksual kanak-kanak yang dijana oleh Grok dan imejan intim tanpa persetujuan yang menyasarkan orang dewasa. Untuk menangani penyalahgunaan, xAI menyaman pengguna yang didakwa bertanggungjawab mendorong Grok menjana kandungan haram.

Kes Grok menimbulkan persoalan yang lebih pelik untuk kedai aplikasi: sama ada chatbot AI yang boleh digesa untuk menghasilkan kandungan yang menyalahi undang-undang seharusnya tertakluk kepada pengalihan keluar. Apple dilaporkan memberitahu senator pada bulan April bahawa ia secara peribadi mengancam untuk mengeluarkan Grok dari App Store, menurut NBC News, tetapi aplikasi xAI masih tersedia hari ini. Selagi boleh menggunakan Grok untuk menjana kandungan yang menyalahi undang-undang, kedai apl berkemungkinan akan terus menghadapi tekanan untuk mengambil tindakan, sama seperti yang dituntut oleh Chiu untuk aplikasi bogel kendiri.

Titik Perubahan untuk Akauntabiliti Platform

Pesanan San Francisco mewakili salah satu campur tangan kerajaan yang paling agresif setakat ini yang menyasarkan gedung aplikasi ke atas kandungan berbahaya yang dijana oleh AI. Dengan menggunakan undang-undang pornografi palsu California, Chiu sedang menguji sama ada statut negeri boleh memaksa pengendali platform untuk bertanggungjawab ke atas alatan AI yang diedarkan melalui pasaran mereka.

Hasilnya boleh menetapkan duluan untuk cara bidang kuasa lain mendekati masalah itu, dan sama ada beban kepolisan imejan tanpa persetujuan yang dijana AI jatuh ke atas pembangun, pengendali platform atau kedua-duanya. Bagi berjuta-juta orang, kebanyakannya wanita dan kanak-kanak perempuan, yang telah disasarkan oleh alat ini, kepentingannya melangkaui teori kawal selia.

Kekal Mendahului AI

Untuk liputan berterusan tentang etika AI, akauntabiliti platform dan pertarungan kawal selia terhadap media sintetik yang berbahaya, ikuti AI Buzz Wire untuk melaporkan isu yang membentuk kesan AI terhadap masyarakat.

Baca lebih banyak berita etika AI →