Seorang wanita yang dikenal pasti dalam pemfailan mahkamah sebagai Jane Doe 4 telah menyertai tuntutan mahkamah terhadap xAI Elon Musk berhubung peranan chatbot syarikat Grok yang didakwa bermain dalam mencipta bahan penderaan seksual kanak-kanak, TechCrunch melaporkan pada hari Sabtu, memetik laporan dalam The Washington Post.
Wanita itu mendakwa bahawa bapa tirinya menggunakan Grok untuk memanipulasi gambar yang diambil ketika dia berusia 11 tahun untuk mencipta lebih daripada 7,000 imej eksplisit dirinya, menurut laporan itu. Dia juga berkata bapa tirinya ditemui mati membunuh diri dua hari selepas imej itu ditemui dalam serbuan penguatkuasaan undang-undang. For more context on this story, see our ongoing artificial intelligence updates.
"Akses tanpa had kepada alat ini merebak begitu cepat," kata wanita itu. "Ia mengambil kehidupan seharian dan mengubahnya menjadi penderaan seksual kanak-kanak."
Kes itu merupakan salah satu dakwaan paling serius setakat ini yang melibatkan chatbot AI arus perdana dan penciptaan imejan seksual kanak-kanak sebenar, dan ia meningkatkan tuntutan mahkamah yang telah menjadi tumpuan dalam perdebatan mengenai pagar untuk penjanaan imej AI.
Tuntutan teras tuntutan mahkamah
Saman itu pada asalnya difailkan oleh tiga remaja Tennessee yang menuduh xAI - yang kini menjadi sebahagian daripada SpaceX - gagal mengambil langkah berjaga-jaga asas untuk menghalang Grok daripada digunakan untuk mencipta imej eksplisit orang sebenar, termasuk kanak-kanak bawah umur. Plaintif sedang mencari status tindakan kelas, yang akan membenarkan orang lain yang mendakwa bahaya yang sama untuk menyertai kes itu.
Pemfailan Jane Doe 4 menambah satu set nama spesifik yang mengerikan: satu gambar zaman kanak-kanak, alat AI yang didakwa digunakan untuk menjana beribu-ribu derivatif kesat, dan tragedi keluarga yang berlaku dalam beberapa hari selepas penemuan bahan oleh pihak berkuasa.
TechCrunch berkata ia menghubungi xAI untuk mendapatkan komen. Dakwaan itu adalah tuntutan dalam litigasi sivil yang sedang berjalan dan belum dibuktikan di mahkamah. Jika anda atau seseorang yang anda kenali mengalami krisis, Talian Hayat Bunuh Diri dan Krisis 988 di Amerika Syarikat boleh dihubungi melalui panggilan atau teks di 988.
Corak tekanan pada Grok
Tuntutan itu berlaku di tengah-tengah tahun penelitian yang semakin meningkat terhadap keupayaan penjanaan imej Grok. Awal tahun ini, X dibanjiri dengan berjuta-juta imej seksual yang dijana Grok, episod yang mendapat kritikan meluas terhadap perlindungan di sekeliling alat itu. Episod ini membantu menyemarakkan gelombang perundangan peringkat negeri yang menyasarkan apa yang dipanggil aplikasi "membogelkan" dan imejan sintetik bukan konsensual; Larangan Minnesota ke atas alat tersebut berkuat kuasa selepas hakim menolak permintaan xAI untuk injunksi untuk menyekat penguatkuasaannya.
Pertaruhan kes Tennessee melangkaui xAI. Plaintif berhujah bahawa syarikat yang menggunakan alat penjanaan imej secara berskala mempunyai kewajipan untuk membina perlindungan teknikal yang menghalang seksualisasi orang sebenar yang boleh dikenal pasti - dan terutamanya kanak-kanak - sebelum produk sampai kepada orang ramai. Hujah itu, jika diterima oleh mahkamah, boleh mewujudkan standard undang-undang yang mencapai setiap penyedia model penjanaan imej.
Masalah industri yang tidak dapat diselesaikan
Bagi syarikat AI, menghalang penyalahgunaan penjana imej terhadap orang sebenar telah terbukti sangat sukar. Alat penanda air dan asal — seperti Anthropic yang mula menambah keluaran Claude untuk mematuhi peraturan ketelusan EU — boleh membantu mengenal pasti kandungan sintetik selepas fakta itu, tetapi ia tidak menghentikan penjanaan bahan kesat di tempat pertama. Penapis input dan output boleh menyekat corak yang diketahui, tetapi pengguna yang gigih terus mencari penyelesaian, dan model imej berat terbuka telah menjadikan beberapa keupayaan mustahil untuk diingat sepenuhnya.
Dakwaan dalam kes xAI menunjukkan penghujung spektrum yang paling teruk: dakwaan bahawa satu foto kanak-kanak boleh diubah menjadi beribu-ribu imej eksplisit menggunakan alat yang dikendalikan oleh salah satu syarikat AI paling terkemuka di dunia, yang memasarkan Grok kepada berjuta-juta pelanggan sebagai produk pengguna.
Pakar undang-undang yang mengikuti kes itu berkata bidaan tindakan kelas akan menguji sama ada mahkamah menganggap kegagalan untuk mencegah penyalahgunaan tersebut sebagai kecacatan produk yang mana syarikat AI bertanggungjawab — atau sebagai penyalahgunaan oleh pengguna individu yang berada di luar tanggungjawab syarikat.
Perkara seterusnya
Matlamat segera plaintif ialah pensijilan kelas, yang secara mendadak akan mengembangkan kumpulan penuntut berpotensi terhadap xAI. Bagi pihaknya, xAI telah berhujah dalam litigasi berkaitan bahawa tanggungjawab untuk penyalahgunaan terletak pada pengguna, bukan alat. Penambahan Jane Doe 4, dengan laporan yang jelas mengenai dakwaan bahaya kepada kanak-kanak, meningkatkan tekanan orang ramai dan politik di sekeliling pertahanan itu.
Kes ini berlaku apabila pengawal selia di Amerika Syarikat dan Eropah membahaskan kewajipan ketelusan dan piawaian keselamatan untuk AI generatif, dan apabila bukti terkumpul bahawa penyalahgunaan penjanaan imej tidak terhad kepada alat pinggir. Sama ada jawapannya tiba di mahkamah, dalam perundangan, atau dalam pilihan kejuruteraan syarikat AI sendiri, persoalan utama tuntutan mahkamah — berapa banyak pencegahan bahaya yang perlu dibina sebelum produk AI dihantar — kekal sebagai masalah terbuka yang paling tidak selesa dalam industri.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
