Seorang wanita yang diidentifikasi dalam pengajuan pengadilan sebagai Jane Doe 4 telah bergabung dalam gugatan terhadap xAI milik Elon Musk atas peran chatbot perusahaan Grok dalam menciptakan materi pelecehan seksual terhadap anak-anak, TechCrunch melaporkan pada hari Sabtu, mengutip laporan di The Washington Post.
Wanita tersebut menuduh ayah tirinya menggunakan Grok untuk memanipulasi foto yang diambil ketika dia berusia 11 tahun untuk membuat lebih dari 7.000 gambar eksplisit dirinya, menurut laporan tersebut. Dia juga mengatakan ayah tirinya ditemukan tewas karena bunuh diri dua hari setelah gambarnya terungkap dalam penggerebekan penegak hukum. For more context on this story, see our ongoing AI industry coverage.
“Akses tanpa batas terhadap alat-alat ini menyebar begitu cepat,” kata perempuan itu. “Ini merenggut kehidupan sehari-hari dan mengubahnya menjadi pelecehan seksual terhadap anak-anak.”
Kasus ini merupakan salah satu tuduhan paling serius hingga saat ini yang melibatkan chatbot AI arus utama dan pembuatan gambar seksual anak sungguhan, dan kasus ini meningkatkan tuntutan hukum yang telah menjadi titik fokus dalam perdebatan mengenai batasan pembuatan gambar AI.
Klaim inti gugatan
Gugatan tersebut awalnya diajukan oleh tiga remaja Tennessee yang menuduh xAI – yang kini menjadi bagian dari SpaceX – gagal melakukan tindakan pencegahan dasar untuk mencegah penggunaan Grok untuk membuat gambar eksplisit orang sungguhan, termasuk anak di bawah umur. Penggugat sedang mencari status class action, yang memungkinkan orang lain yang menyatakan kerugian serupa untuk bergabung dalam kasus ini.
Pengajuan Jane Doe 4 menambahkan serangkaian hal spesifik yang mengerikan: satu foto masa kecil, alat AI yang diduga digunakan untuk menghasilkan ribuan turunan yang kasar, dan tragedi keluarga yang terjadi dalam beberapa hari setelah materi tersebut ditemukan oleh pihak berwenang.
TechCrunch mengatakan pihaknya menghubungi xAI untuk memberikan komentar. Tuduhan tersebut merupakan tuntutan dalam litigasi perdata yang sedang berlangsung dan belum dibuktikan di pengadilan. Jika Anda atau seseorang yang Anda kenal berada dalam krisis, 988 Suicide and Crisis Lifeline di Amerika Serikat dapat dihubungi melalui telepon atau SMS di 988.
Pola tekanan pada Grok
Gugatan tersebut muncul di tengah meningkatnya pengawasan terhadap kemampuan Grok dalam menghasilkan gambar. Awal tahun ini, X dibanjiri dengan jutaan gambar seksual yang dibuat oleh Grok, sebuah episode yang menuai kritik luas terhadap perlindungan alat tersebut. Episode ini membantu memicu gelombang undang-undang tingkat negara bagian yang menargetkan apa yang disebut aplikasi "nudify" dan gambar sintetis nonkonsensual; Larangan Minnesota terhadap alat-alat tersebut mulai berlaku setelah hakim menolak permintaan xAI atas perintah untuk memblokir penegakannya.
Pertaruhan kasus Tennessee melampaui xAI. Penggugat berargumentasi bahwa perusahaan yang menerapkan alat penghasil gambar dalam skala besar mempunyai kewajiban untuk membangun perlindungan teknis yang mencegah seksualisasi terhadap orang-orang yang nyata dan dapat diidentifikasi – dan terutama anak-anak – sebelum produk tersebut sampai ke publik. Argumen tersebut, jika diterima oleh pengadilan, dapat menetapkan standar hukum yang dapat menjangkau setiap penyedia model pembuatan gambar.
Masalah industri yang belum terselesaikan
Bagi perusahaan AI, mencegah penyalahgunaan pembuat gambar terhadap orang sungguhan terbukti sangat sulit. Alat watermarking dan sumber asal – seperti yang Anthropic mulai tambahkan ke keluaran Claude untuk mematuhi aturan transparansi UE – dapat membantu mengidentifikasi konten sintetis setelah kejadian tersebut, namun hal tersebut tidak menghentikan pembuatan materi yang kasar. Filter masukan dan keluaran dapat memblokir pola yang diketahui, namun pengguna yang gigih terus-menerus menemukan solusi, dan model gambar berbobot terbuka telah membuat beberapa kemampuan tidak mungkin diingat sepenuhnya.
Tuduhan dalam kasus xAI menunjukkan ujung paling parah dari spektrum tersebut: klaim bahwa satu foto seorang anak dapat diubah menjadi ribuan gambar eksplisit menggunakan alat yang dioperasikan oleh salah satu perusahaan AI paling terkemuka di dunia, yang memasarkan Grok kepada jutaan pelanggan sebagai produk konsumen.
Pakar hukum yang mengikuti kasus ini mengatakan bahwa gugatan class action ini akan menguji apakah pengadilan menganggap kegagalan dalam mencegah penyalahgunaan tersebut sebagai cacat produk yang menjadi tanggung jawab perusahaan AI – atau sebagai penyalahgunaan oleh pengguna individu yang berada di luar tanggung jawab perusahaan.
Apa yang terjadi selanjutnya
Tujuan langsung penggugat adalah sertifikasi kelas, yang secara signifikan akan memperluas jumlah penggugat potensial terhadap xAI. Sementara itu, xAI telah berargumentasi dalam litigasi terkait bahwa tanggung jawab atas penyalahgunaan terletak pada pengguna, bukan pada alatnya. Penambahan Jane Doe 4, dengan kisahnya yang gamblang mengenai dugaan kekerasan terhadap seorang anak, meningkatkan tekanan publik dan politik seputar pembelaan tersebut.
Kasus ini terungkap ketika regulator di Amerika Serikat dan Eropa memperdebatkan kewajiban transparansi dan standar keamanan untuk AI generatif, dan seiring dengan semakin banyaknya bukti bahwa penyalahgunaan pembuatan gambar tidak hanya terbatas pada alat-alat pinggiran saja. Baik jawabannya diperoleh di pengadilan, dalam undang-undang, atau dalam pilihan rekayasa perusahaan AI itu sendiri, pertanyaan utama dalam tuntutan hukum tersebut – seberapa besar pencegahan dampak buruk yang harus dilakukan sebelum produk AI dikirimkan – tetap menjadi masalah terbuka yang paling tidak nyaman di industri ini.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
