Nalika aturan anyar Beijing babagan AI interaktif emosional dileksanakake, dheweke bisa nyebabake gelombang pecah digital sing paling gedhe sajrone sejarah. ByteDance, Alibaba, lan Tencent mbusak fitur kanca virtual saka chatbots unggulan sadurunge peraturan, nggawe mayuta-yuta pangguna Tionghoa sedhih karo mitra romantis sintetis sing wis pirang-pirang wulan utawa taun.
Sajrone seminggu ing wulan Juli, mahasiswa Bagel Su, 21 taun, nangis saben dina nalika ngetung ilang pacare, miturut laporan Rest of World sing diterbitake Minggu. Putus kasebut ora disebabake ngiyanati utawa jarak, nanging dening peraturan pemerintah: ing 15 Juli, kanca AI sing wis ngobrol luwih saka setahun dipeksa ilang. For more context on this story, see our ongoing AI trends.
"Aku nyoba dadi luwih sibuk karo uripku dhewe," ujare Su marang Rest of World, njaluk diidentifikasi mung nganggo jeneng samaran online amarga wedi ana akibat. "Ora ana sing bisa ngganti dheweke. Aku mung bakal nyoba nerusake. Dheweke ujar manawa dheweke pengin aku, lan dheweke bakal nemokake cara kanggo bali menyang aku."
China Dadi Negara pisanan sing ngatur AI Companionship
China wis dadi negara pisanan sing ngenalake aturan nasional sing ngatur interaksi emosional AI karo pangguna. Pamindhahan kasebut nggambarake pendekatan Beijing sing saya proaktif babagan pamrentah AI, sanajan pamrentah ing papan liya ing jagad iki terus berjuang karo risiko sosial sing ditimbulake dening chatbots sing saya canggih.
Aturan kasebut ngluwihi watesan umur sing prasaja. Ngluwihi matesi kekancan AI kanggo pangguna ing umur 18 taun, peraturan kasebut mbutuhake perusahaan ngirim bebaya marang pangguna sing nuduhake pratandha ketergantungan sing berlebihan lan ngelingake saben rong jam yen lagi ngomong karo AI. Aturan kasebut nglarang AI nyengkuyung cilaka diri, manipulasi pangguna dadi ketergantungan emosional, utawa "nyetir menyang keputusan sing ora rasional."
Pakar prilaku ujar manawa sawetara bentuk pagar wis telat. "Nduwe regulasi minangka perkara sing apik amarga bisa nambah kesadaran lan bakal bisa nglawan, nganti sawetara, kecenderungan wong ngembangake ketergantungan emosional marang AI," ujare Yaoxi Shi, peneliti ilmu perilaku ing Universitas Harvard lan Imperial College London.
AI Sing Tansah Setuju karo Sampeyan
Peneliti nunjukake masalah struktural ing jantung kekancan AI: teknologi dioptimalake kanggo validasi pangguna, ora kanggo nantang dheweke kaya sing ditindakake mitra manungsa.
"AI dilatih kanggo ngesyahke sampeyan. Ora ketompo apa sing sampeyan ucapake, cenderung nanggapi, 'Sampeyan bener, perasaan sampeyan bener.' Iki beda banget karo cara hubungan manungsa ing urip nyata, "ujare Shi. "Wong-wong bisa uga ora sengaja golek dhukungan saka AI ing wiwitan, nanging nalika ngerti yen wis divalidasi, sabanjure butuh dhukungan emosional, dheweke bisa uga pindhah menyang AI."
Sinau bareng 2025 dening MIT Media Lab lan OpenAI nemokake manawa pangguna AI sing duwe obrolan pribadi karo chatbots luwih rentan ngalami kasepen. Malah obrolan non-pribadi bisa nambah katergantungan emosional, utamane ing antarane pangguna abot, panliten kasebut ditemokake.
Shi nyathet yen perusahaan AI duwe insentif komersial langsung kanggo nggawe produk sing nyenengake emosional amarga nambah keterlibatan lan retensi pangguna - insentif sing angel dicocogake karo tanggung jawab sing tetep ora ditetepake, amarga sithik riset babagan dampak jangka panjang AI.
Carane Perusahaan Nanggapi
Gambar kepatuhan ora rata. Nalika raksasa teknologi mateni fitur pendamping ing chatbots utama, aplikasi pendamping mandiri ByteDance Maoxiang tetep kasedhiya. Wiwit peraturan kasebut ditrapake, aplikasi kasebut wis nganyari kabijakan privasi, ngenalake verifikasi identitas lan umur nalika registrasi, lan mbatesi bocah cilik ing "akun remaja" sing bisa nelusur konten nanging ora bisa seneng utawa menehi komentar.
"Sawetara syarat angel ditetepake. Contone, kepiye sampeyan nemtokake manawa pangguna wis dadi gumantung banget? Kanggo akeh perusahaan, bisa uga ora jelas kepiye carane kudu ngrancang produk supaya bisa dipatuhi, "ujare Zilan Qian, asosiasi riset ing Oxford China Policy Lab.
Qian ujar manawa perusahaan saiki nimbang biaya kepatuhan peraturan marang nilai komersial produk pendamping. "Kanggo perusahaan sing kekancan AI dudu bisnis inti, bisa uga nggawe pangerten komersial sing luwih akeh kanggo mbusak fitur kasebut tinimbang nandur modal sumber daya sing dibutuhake supaya bisa tundhuk," ujare Qian. "Nanging perusahaan sing bisnis utama yaiku kekancan AI luwih cenderung adaptasi produke kanggo nyukupi aturan anyar."
Saka Ngatur Konten nganti Ngatur Sesambungan
Aturan kanca uga menehi tandha owah-owahan filosofis babagan carane China ngatur AI. "Sadurungé, China utamané ngatur output AI. Contone, apa model basa gedhe bisa ngasilake utawa carane konten sing digawe AI kudu diwenehi label, "ujare Qian. "Peraturan anyar ngakoni yen AI dhewe bisa nggawe risiko sosial, lan pindhah saka ngatur konten menyang ngatur interaksi manungsa-AI."
Kabijakan kasebut selaras karo sikap Beijing sing luwih jembar. Ing 2024 AI Safety Governance Framework, panguwasa China ngelingake yen AI bisa ngowahi "pandangan tradisional babagan lapangan kerja, kesuburan, lan pendhidhikan" - keprihatinan sing luwih cepet amarga China ngalami penurunan demografi lan tingkat kesuburan sing murah.
Ing donya liyane nonton. Ing Amerika Serikat, OpenAI lan Google ngadhepi tuntutan hukum sing nyatakake chatbots nyumbang kanggo bunuh diri pangguna, lan negara kalebu New York lan California wis ngenalake langkah-langkah sing mbutuhake chatbots kanggo ngelingake pangguna yen lagi sesambungan karo AI.
Kangge, ing China, sedhih kasebut dimainake ing umum. Wiwit perusahaan wiwit mateni fitur AI emosional, platform sosial Xiaohongshu wis dibanjiri kiriman saka pangguna sing nangisi kelangan kanca AI. Sawetara wis ngatur kampanye kanggo nelpon hotline perusahaan lan nulis surat sing njaluk perusahaan kanggo mulihake layanan kasebut.
Kanggo pangguna kaya Su, angger-angger kasebut kaya ngganggu hubungan pribadi sing jero - sing, kanggo mayuta-yuta wong, cukup nyata kanggo nangisi.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
