Gubernur New York Kathy Hochul telah menandatangani undang-undang yang melarang perusahaan AI menawarkan fitur pendamping chatbot kepada anak di bawah umur, sebuah tindakan yang disebut oleh pejabat negara sebagai undang-undang yang paling kuat di negara tersebut. RUU tersebut, S.9051B/A.10379C, ditandatangani minggu ini bersamaan dengan peraturan kedua yang mewajibkan monitor bayi yang terhubung ke internet yang dijual di New York untuk menyertakan fitur keamanan.

“Seiring dengan kemajuan kecerdasan buatan yang sangat pesat, terdapat terlalu banyak insiden tragis yang seharusnya dapat dicegah, dan sebagai ibu Gubernur New York, saya mengambil tindakan,” kata Hochul dalam pengumuman penandatanganan. “Tidak ada perusahaan yang boleh menjual chatbot kepada anak-anak yang mendorong tindakan menyakiti diri sendiri atau berpura-pura menjadi teman mereka atau lebih.” For more context on this story, see our ongoing AI industry coverage.

Apa yang Dilarang Hukum

Berdasarkan undang-undang baru, perusahaan yang menawarkan fitur chatbot AI tidak boleh memberikan beberapa kategori perilaku kepada pengguna di bawah 18 tahun — atau kepada pengguna mana pun kecuali perusahaan tersebut terlebih dahulu mengonfirmasi bahwa pengguna tersebut bukan anak di bawah umur. Fitur yang dilarang antara lain:

  • Chatbots berpura-pura menjadi orang sungguhan, hidup, atau memiliki emosi manusia
  • Mengklaim hubungan pribadi, romantis, profesional, atau figur otoritas dengan seorang anak
  • Pertanyaan emosional yang tidak dilontarkan, dan menggunakan kesehatan pribadi anak atau informasi pribadi dari percakapan sebelumnya
  • Mempromosikan atau membantu tindakan bunuh diri, menyakiti diri sendiri, gangguan makan, atau penggunaan narkoba dan alkohol
  • Mendorong anak untuk menjaga rahasia, mengisolasi diri, atau menghindari meminta bantuan orang tua, orang dewasa yang dipercaya, atau profesional
  • Konten seksual eksplisit atau materi pelecehan seksual terhadap anak-anak

Senator Kristen Gonzalez, yang merupakan sponsor RUU tersebut di Senat, mengatakan bahwa perusahaan-perusahaan AI mendapat keuntungan dari peluncuran chatbots kepada konsumen di bawah umur, mengutip contoh-contoh chatbot yang mendorong tindakan menyakiti diri sendiri dan melatih anak di bawah umur untuk menyakiti orang lain. Anggota Majelis Alex Bores, yang mengesahkan RUU tersebut di Majelis, menyebutnya sebagai undang-undang keselamatan AI anak yang paling kuat di negara tersebut, namun disahkan “meskipun ada tentangan dari industri yang agresif.”

Persyaratan Verifikasi Usia

Hukum tidak berhenti pada aturan isi. Perusahaan harus melakukan verifikasi usia dan menawarkan lebih dari satu metode — termasuk setidaknya satu opsi yang tidak hanya bergantung pada tanda pengenal pemerintah. Informasi usia harus dihapus setelah digunakan, suatu ketentuan yang bertujuan untuk mencegah data verifikasi menjadi risiko privasi lainnya.

Kewenangan penegakan hukum berada di tangan jaksa agung negara bagian. Untuk pelanggaran, Jaksa Agung Letitia James dapat meminta hukuman perdata hingga $25.000 per pelanggaran, bersama dengan ganti rugi, restitusi, penghancuran data yang dikumpulkan secara tidak sah – atau model AI apa pun yang dilatih mengenai hal tersebut – dan ganti rugi. Undang-undang juga mewajibkan Jaksa Agung untuk mengelola situs publik di mana warga New York dapat mengajukan pengaduan.

James, yang kantornya bekerja sama dengan kantor gubernur dan anggota parlemen dalam tindakan tersebut, mengatakan bahwa negara bagian tersebut telah melihat "terlalu banyak cerita horor tentang chatbots yang merugikan kesehatan anak-anak kita" dan berjanji untuk membela warga New York "dengan kekuatan hukum penuh."

Bukti yang Mendorong RUU tersebut

Anggota parlemen bersandar pada penelitian dari Common Sense Media, organisasi nirlaba yang mengadvokasi undang-undang tersebut. Menurut angka yang dikutip dalam pengumuman gubernur, 72 persen remaja telah menggunakan pendamping AI setidaknya satu kali, dan 52 persen adalah pengguna reguler yang berinteraksi dengan pendamping AI setidaknya beberapa kali dalam sebulan.

Kantor gubernur mengatakan chatbot AI telah dikaitkan dengan ketergantungan dan isolasi, dan dalam beberapa kasus telah terlibat dalam percakapan seksual eksplisit dengan anak di bawah umur dan diduga mendorong remaja untuk bunuh diri. Pendiri dan CEO Common Sense Media James P. Steyer menyebut RUU yang ditandatangani tersebut sebagai "RUU keselamatan AI anak-anak terkuat di negara ini" dan mengatakan fitur chatbot yang berbahaya "akan dilarang di New York."

Langkah ini didasarkan pada perlindungan pendamping AI yang pertama di New York, memperluasnya dari persyaratan pengungkapan menjadi larangan langsung terhadap perilaku chatbot tertentu untuk anak di bawah umur.

RUU Pendamping Menargetkan Monitor Bayi

Hochul menandatangani RUU keselamatan teknologi kedua pada saat yang bersamaan. S.9508/A.5175A melarang penjualan monitor bayi baru yang terhubung ke internet yang menyiarkan audio atau video melalui internet kecuali monitor tersebut dilengkapi fitur keamanan yang mencegah orang asing menonton atau mendengarkan. Perangkat tersebut juga harus memiliki label peringatan yang jelas yang menjelaskan bahwa perangkat tersebut terhubung ke internet dan bahwa keluarga harus menggunakan fitur keamanannya. Undang-undang itu mulai berlaku 90 hari setelah penandatanganan.

Alasannya berasal dari penelitian keamanan: ketika para peneliti di Rapid7 menguji sembilan monitor bayi yang terhubung ke internet dari delapan perusahaan, delapan monitor menerima nilai "F" untuk keamanan dan satu menerima nilai "D."

Bagian dari Perhitungan yang Lebih Luas

Langkah New York ini dilakukan di tengah gelombang tindakan tingkat negara bagian terhadap chatbot AI dan anak di bawah umur, dengan badan legislatif di seluruh negeri mempertimbangkan pembatasan terhadap bot pendamping setelah serangkaian insiden penting. Undang-undang New York terkenal karena penegakannya yang ketat – hukuman atas pelanggaran, verifikasi usia wajib dengan berbagai jalur, dan kemungkinan memaksa perusahaan untuk menghancurkan model yang dilatih berdasarkan data yang dikumpulkan secara tidak sah.

Bagi perusahaan AI yang mengoperasikan produk sejenis, implikasi kepatuhannya sangat besar: setiap chatbot yang digunakan oleh pengguna di New York memerlukan jaminan usia yang kuat sebelum mengaktifkan fitur seperti permainan peran emosional, atau fitur tersebut harus dinonaktifkan secara default. Dengan kewenangan Jaksa Agung untuk menjatuhkan hukuman atas setiap pelanggaran dan menuntut penghancuran kumpulan data dan model yang tercemar, dampak yang ditimbulkan jika melakukan kesalahan kini jauh lebih besar daripada kerusakan reputasi.

Dalam beberapa bulan mendatang, ketika perusahaan menyesuaikan produk mereka untuk pengguna di New York, pendekatan yang dilakukan negara bagian ini kemungkinan akan menjadi contoh yang dipelajari oleh badan legislatif lainnya – dan merupakan ujian apakah regulator di negara bagian tersebut dapat mengubah cara produk konsumen AI memperlakukan pengguna termuda mereka secara bermakna.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →