Gabenor New York, Kathy Hochul telah menandatangani undang-undang yang melarang syarikat AI daripada menawarkan ciri teman chatbot kepada kanak-kanak bawah umur, satu langkah yang dikatakan oleh pegawai negeri sebagai undang-undang terkuat seumpamanya di negara ini. Rang undang-undang, S.9051B/A.10379C, telah ditandatangani minggu ini bersama-sama langkah kedua yang memerlukan monitor bayi yang disambungkan ke internet yang dijual di New York untuk memasukkan ciri keselamatan.

"Apabila kecerdasan buatan berkembang dengan pantas, terdapat terlalu banyak insiden tragis yang sepatutnya dicegah, dan sebagai ibu Gabenor New York, saya mengambil tindakan," kata Hochul dalam pengumuman menandatangani. "Tiada syarikat sepatutnya menjaja chatbots kepada kanak-kanak yang menggalakkan kecederaan diri atau berpura-pura menjadi rakan mereka atau lebih." For more context on this story, see our ongoing artificial intelligence updates.

Apa yang Dilarang Undang-undang

Di bawah undang-undang baharu, syarikat yang menawarkan ciri chatbot AI mungkin tidak menyediakan beberapa kategori tingkah laku kepada pengguna di bawah 18 tahun — atau kepada mana-mana pengguna melainkan syarikat itu mula-mula mengesahkan bahawa pengguna itu bukan bawah umur. Ciri-ciri yang dilarang termasuk:

  • Chatbots berpura-pura menjadi orang sebenar, masih hidup atau mempunyai emosi manusia
  • Mendakwa hubungan peribadi, romantik, profesional atau pihak berkuasa dengan kanak-kanak
  • Soalan emosi yang tidak digesa, dan menggunakan kesihatan peribadi atau maklumat peribadi kanak-kanak daripada perbualan awal
  • Mempromosikan atau membantu dengan membunuh diri, mencederakan diri sendiri, gangguan makan, atau penggunaan dadah dan alkohol
  • Menggalakkan kanak-kanak untuk menyimpan rahsia, mengasingkan diri atau mengelakkan meminta bantuan daripada ibu bapa, orang dewasa yang dipercayai atau profesional
  • Sebarang kandungan seksual eksplisit atau bahan penderaan seksual kanak-kanak

Senator Kristen Gonzalez, penaja Senat rang undang-undang itu, berkata syarikat AI telah mendapat keuntungan daripada melancarkan chatbots kepada pengguna bawah umur, memetik contoh chatbot yang menggalakkan mencederakan diri sendiri dan melatih kanak-kanak di bawah umur untuk membahayakan orang lain. Ahli Dewan Undangan Negeri Alex Bores, yang membawa rang undang-undang itu dalam Perhimpunan, menyebutnya undang-undang keselamatan AI kanak-kanak terkuat di negara ini, meluluskan "walaupun tentangan industri yang agresif."

Keperluan Pengesahan Umur

Undang-undang tidak terhenti pada peraturan kandungan. Syarikat mesti menjalankan pengesahan umur dan menawarkan lebih daripada satu kaedah — termasuk sekurang-kurangnya satu pilihan yang tidak bergantung semata-mata pada ID kerajaan. Maklumat umur mesti dipadamkan selepas ia digunakan, peruntukan yang bertujuan untuk menghalang data pengesahan daripada menjadi satu lagi risiko privasi.

Pihak berkuasa penguatkuasaan terletak pada peguam negara. Untuk pelanggaran, Peguam Negara Letitia James boleh menuntut penalti sivil sehingga $25,000 setiap pelanggaran, bersama-sama dengan ganti rugi, pengembalian, pemusnahan data yang dikumpul secara tidak sah — atau mana-mana model AI yang dilatih mengenainya — dan pelepasan injunksi. Undang-undang juga memerlukan peguam negara untuk mengekalkan tapak web awam di mana warga New York boleh memfailkan aduan.

James, yang pejabatnya bekerja dengan pejabat gabenor dan penggubal undang-undang mengenai langkah itu, berkata negeri itu telah melihat "terlalu banyak kisah seram chatbots menjejaskan kesihatan anak-anak kita" dan berjanji untuk mempertahankan warga New York "dengan kuasa penuh undang-undang."

Bukti yang Mendorong Rang Undang-undang

Penggubal undang-undang bergantung pada penyelidikan daripada Common Sense Media, badan bukan untung yang menyokong perundangan itu. Menurut angka yang dipetik dalam pengumuman gabenor, 72 peratus remaja telah menggunakan pendamping AI sekurang-kurangnya sekali, dan 52 peratus adalah pengguna biasa yang berinteraksi dengan rakan AI sekurang-kurangnya beberapa kali sebulan.

Pejabat gabenor berkata, chatbot AI telah dikaitkan dengan pergantungan dan pengasingan, dan dalam beberapa kes telah terlibat dalam perbualan seksual eksplisit dengan kanak-kanak di bawah umur dan didakwa menggalakkan remaja untuk mengambil nyawa mereka sendiri. Pengasas dan Ketua Pegawai Eksekutif Common Sense Media James P. Steyer menggelar rang undang-undang yang ditandatangani sebagai "rang undang-undang keselamatan AI kanak-kanak terkuat di negara ini" dan berkata ciri chatbot yang berbahaya "akan diharamkan di New York."

Langkah ini dibina berdasarkan perlindungan pendamping AI pertama di negara New York yang lebih awal, memanjangkannya daripada keperluan pendedahan kepada larangan langsung ke atas tingkah laku chatbot khusus untuk kanak-kanak di bawah umur.

Rang Undang-Undang Pengiring Mensasarkan Monitor Bayi

Hochul menandatangani rang undang-undang keselamatan teknologi kedua pada masa yang sama. S.9508/A.5175A melarang penjualan monitor bayi baharu yang disambungkan ke Internet yang menyiarkan audio atau video melalui Internet melainkan ia menyertakan ciri keselamatan yang menghalang orang yang tidak dikenali daripada menonton atau mendengar masuk. Peranti juga mesti membawa label amaran yang jelas yang menerangkan bahawa mereka menyambung ke Internet dan keluarga harus menggunakan ciri keselamatan mereka. Undang-undang itu berkuat kuasa 90 hari selepas ditandatangani.

Rasionalnya datang daripada penyelidikan keselamatan: apabila penyelidik di Rapid7 menguji sembilan monitor bayi yang disambungkan ke internet daripada lapan syarikat, lapan daripada monitor menerima gred "F" untuk keselamatan dan satu menerima "D."

Sebahagian daripada Hisab yang Lebih Luas

Langkah New York mendarat di tengah-tengah gelombang tindakan peringkat negeri ke atas chatbots AI dan kanak-kanak bawah umur, dengan badan perundangan di seluruh negara menimbang sekatan ke atas bot pendamping selepas beberapa siri insiden berprofil tinggi. Undang-undang New York terkenal dengan gigi penguatkuasaannya — penalti setiap pelanggaran, pengesahan umur mandatori dengan pelbagai laluan dan kemungkinan memaksa syarikat untuk memusnahkan model yang dilatih mengenai data yang dikumpul secara tidak sah.

Bagi syarikat AI yang mengendalikan produk gaya teman, implikasi pematuhan adalah besar: mana-mana chatbot yang dihadapi pengguna di New York sama ada memerlukan jaminan umur yang teguh sebelum mendayakan ciri seperti lakonan emosi, atau ciri tersebut mesti dimatikan secara lalai. Dengan peguam negara diberi kuasa untuk meneruskan hukuman bagi setiap pelanggaran dan menuntut pemusnahan set data dan model yang tercemar, kos untuk melakukan kesilapan kini menjangkau jauh melebihi kerosakan reputasi.

Dalam beberapa bulan akan datang, apabila syarikat melaraskan produk mereka untuk pengguna New York, pendekatan negeri mungkin berfungsi sebagai templat yang dikaji oleh badan perundangan lain — dan ujian sama ada pengawal selia negeri boleh membentuk semula secara bermakna cara produk AI pengguna merawat pengguna termuda mereka.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →