San Francisco Memerintahkan Apple dan Google untuk Menghapus Aplikasi AI Nudify dengan Mengutip Undang-Undang Pornografi Deepfake

Pengacara kota San Francisco telah memerintahkan Apple dan Google untuk menghapus aplikasi nudifikasi kecerdasan buatan dari toko aplikasi mereka, memperingatkan bahwa platform tersebut melanggar undang-undang California yang melarang layanan yang membuat pornografi deepfake. Tuntutan ini meningkatkan konfrontasi terhadap alat AI yang mengubah foto biasa dari orang-orang nyata menjadi gambar eksplisit, sebuah krisis yang telah menyebabkan banyak perempuan dan anak-anak menjadi korban.

Skala Masalah

Aplikasi nudifikasi menggunakan AI generatif untuk memudahkan dalam melucuti pakaian dari foto orang sungguhan, mengubah fiturnya, menempatkannya dalam posisi seksual, dan menukar wajah ke tubuh telanjang orang lain. Teknologi ini telah berkembang pesat di seluruh toko aplikasi seluler, dan hasilnya digunakan untuk menindas, mempermalukan, dan mengancam korban dengan konsekuensi yang sangat buruk.

Jaksa Kota San Francisco David Chiu mengatakan kepada Wired bahwa kantornya benar-benar terkejut dengan maraknya teknologi nudifikasi, yang menjadikan sebagian besar korban perempuan dan anak-anak dalam skala yang mengkhawatirkan karena semakin banyak alat yang membanjiri pasar. Gambar-gambar tersebut, katanya, digunakan untuk menghancurkan reputasi, merusak kesehatan mental, dan melucuti otonomi korban, dengan beberapa sasaran yang bersifat bunuh diri.

Apa yang Diminta Surat

Kantor Chiu mengirimkan surat resmi kepada kedua perusahaan yang memperingatkan bahwa toko aplikasi mereka melanggar undang-undang California yang melarang layanan pendukung yang membuat pornografi deepfake, menurut Wired. Dia meminta Google menghapus lima aplikasi dan Apple menghapus delapan aplikasi. Aplikasi tertentu tidak disebutkan dalam pelaporan publik untuk menghindari mengarahkan orang ke aplikasi tersebut, namun Wired mencatat bahwa satu aplikasi yang ditandai telah mengumpulkan lebih dari satu juta unduhan dan secara terbuka mengiklankan fitur untuk melakukan seksualisasi gambar perempuan atau memproduksi video gratis dan tanpa sensor.

Kantor Chiu memperkirakan bahwa Apple dan Google kemungkinan besar menghasilkan jutaan dolar dengan membiarkan aplikasi berbahaya tetap ada di toko mereka daripada mengambil tindakan lebih tegas atau mengembangkan sistem deteksi yang lebih baik. Pengacara kota menggambarkan situasi ini sebagai mengambil keuntungan dari gangguan publik, dengan alasan bahwa membiarkan aplikasi semacam itu tetap tersedia adalah tindakan yang tidak dapat diterima.

Google Merespon, Apple Tetap Diam

Dalam pernyataannya kepada Ars Technica, juru bicara Google Dan Jackson mengonfirmasi bahwa lima aplikasi yang ditandai oleh Chiu telah ditangguhkan dari Google Play Store karena melanggar kebijakan terhadap konten berbahaya. Jackson mengatakan Google Play tidak mengizinkan aplikasi yang mengandung konten seksual dan perusahaan terus mengambil langkah proaktif untuk mendeteksi dan menghapus aplikasi dengan konten berbahaya. Ketika pelanggaran dilaporkan, kata Jackson, Google akan menyelidiki dan mengambil tindakan cepat, termasuk menangguhkan ratusan aplikasi yang melanggar dan membatasi istilah pencarian terkait seperti nudify di tokonya.

Respons Apple sangat berbeda. Meskipun perusahaan tersebut telah menghapus beberapa aplikasi yang ditandai oleh para peneliti di masa lalu, perusahaan tersebut tetap diam di tengah seruan agar aplikasi nudifikasi polisi lebih agresif di App Store-nya. Produsen iPhone tersebut tidak segera memberikan tanggapan publik secara rinci terhadap tuntutan jaksa kota tersebut.

Permainan Deteksi Kucing-dan-Tikus

Tantangan dalam mengawasi aplikasi-aplikasi ini diperparah dengan taktik mereka yang terus berkembang. Wired melaporkan bahwa para peneliti baru-baru ini memperingatkan bahwa beberapa aplikasi berbahaya menjadi lebih baik dalam menghindari penghapusan toko aplikasi dengan hanya mengiklankan fitur pertukaran wajah sambil menyembunyikan kemampuan nudifikasinya. Dalam makalah pracetak bulan Mei, para peneliti mengidentifikasi 420 aplikasi yang dipasarkan sebagai alat pertukaran wajah umum dan menguji 155 aplikasi di antaranya. Di lebih dari 70 persen kasus, aplikasi tersebut dapat digunakan untuk melakukan seksualisasi gambar, yang menunjukkan betapa mudahnya fungsi berbahaya bersembunyi di balik pemasaran yang tidak berbahaya.

Kesenjangan deteksi ini berarti bahwa meskipun toko aplikasi secara proaktif mencari alat nudify, banyak yang lolos dengan menampilkan diri mereka sebagai perangkat lunak hiburan atau pengedit foto yang tidak berbahaya. Temuan para peneliti menunjukkan bahwa jumlah sebenarnya aplikasi bermasalah yang beredar kemungkinan jauh lebih tinggi daripada tiga belas aplikasi yang dilaporkan oleh kantor Chiu.

Preseden Grok

Tindakan keras terhadap aplikasi nudify juga bersinggungan dengan perdebatan yang lebih luas mengenai konten berbahaya yang dihasilkan oleh AI. Minggu ini, xAI mengajukan gugatan yang mengonfirmasi bahwa mereka telah menemukan contoh materi pelecehan seksual terhadap anak-anak yang dibuat oleh Grok dan gambar intim non-konsensual yang menargetkan orang dewasa. Untuk mengatasi penyalahgunaan tersebut, xAI menggugat pengguna yang diduga bertanggung jawab mendorong Grok untuk membuat konten ilegal.

Kasus Grok menimbulkan pertanyaan yang lebih sulit bagi toko aplikasi: apakah chatbot AI yang dapat diminta untuk menghasilkan konten ilegal harus dihapus. Apple dilaporkan mengatakan kepada senator pada bulan April bahwa mereka secara pribadi mengancam akan menghapus Grok dari App Store, menurut NBC News, tetapi aplikasi xAI tetap tersedia hingga saat ini. Selama Grok dapat digunakan untuk menghasilkan konten ilegal, toko aplikasi kemungkinan akan terus menghadapi tekanan untuk mengambil tindakan, seperti yang diminta Chiu untuk aplikasi nudifikasi mandiri.

Titik Balik dalam Akuntabilitas Platform

Perintah San Francisco mewakili salah satu intervensi pemerintah paling agresif hingga saat ini yang menargetkan toko aplikasi atas konten berbahaya yang dihasilkan oleh AI. Dengan menerapkan undang-undang pornografi deepfake di California, Chiu menguji apakah undang-undang negara bagian dapat memaksa operator platform untuk bertanggung jawab atas alat AI yang didistribusikan melalui pasar mereka.

Hasil yang dicapai dapat menjadi preseden mengenai cara yurisdiksi lain menangani masalah ini, dan apakah beban pengawasan terhadap citra non-konsensual yang dihasilkan oleh AI berada pada pengembang, operator platform, atau keduanya. Bagi jutaan orang, terutama perempuan dan anak perempuan, yang menjadi sasaran alat-alat ini, dampaknya jauh melampaui teori peraturan.

Tetap Terdepan dalam AI

Untuk liputan berkelanjutan mengenai etika AI, akuntabilitas platform, dan pertarungan regulasi terkait media sintetis yang berbahaya, ikuti AI Buzz Wire untuk melaporkan isu-isu yang menyebabkan dampak AI terhadap masyarakat.

Baca lebih lanjut berita etika AI →