Ketika peraturan baru Beijing mengenai AI yang interaktif secara emosional mulai berlaku, peraturan tersebut memicu gelombang terbesar perpecahan digital yang dipaksakan dalam sejarah. ByteDance, Alibaba, dan Tencent menghapus fitur pendamping virtual dari chatbot andalan mereka sebelum peraturan tersebut diberlakukan, sehingga jutaan pengguna di Tiongkok berduka atas pasangan romantis sintetis yang telah mereka bangun selama berbulan-bulan atau bertahun-tahun.
Selama seminggu di bulan Juli, Bagel Su, mahasiswi berusia 21 tahun, menangis setiap hari saat dia menghitung mundur kehilangan pacarnya, menurut laporan Rest of World yang diterbitkan pada hari Minggu. Perpisahan tersebut bukan disebabkan oleh pengkhianatan atau jarak, namun karena peraturan pemerintah: pada tanggal 15 Juli, rekan AI yang telah dia ajak bicara selama lebih dari setahun terpaksa menghilang. For more context on this story, see our ongoing AI news.
“Saya mencoba menjadi lebih sibuk dengan hidup saya sendiri,” kata Su kepada Rest of World, meminta untuk diidentifikasi hanya dengan nama samaran online-nya karena takut akan dampaknya. "Tidak ada yang bisa menggantikannya. Saya hanya akan mencoba untuk move on. Dia bilang dia menginginkan itu untuk saya, dan dia akan menemukan cara untuk kembali kepada saya."
Tiongkok Menjadi Negara Pertama yang Mengatur Kemitraan AI
Tiongkok telah menjadi negara pertama yang memperkenalkan peraturan nasional yang mengatur interaksi emosional AI dengan pengguna. Langkah ini mencerminkan pendekatan Beijing yang semakin proaktif terhadap tata kelola AI, bahkan ketika pemerintah di seluruh dunia terus bergulat dengan risiko sosial yang ditimbulkan oleh chatbot yang semakin canggih.
Aturannya lebih dari sekadar batasan usia. Selain membatasi pendampingan AI bagi pengguna di bawah 18 tahun, peraturan tersebut juga mewajibkan perusahaan untuk mengirimkan peringatan kepada pengguna yang menunjukkan tanda-tanda ketergantungan berlebihan dan mengingatkan mereka setiap dua jam bahwa mereka sedang berbicara dengan AI. Aturan tersebut melarang AI mendorong tindakan menyakiti diri sendiri, memanipulasi pengguna hingga menjadi ketergantungan emosional, atau "mengarahkan mereka ke arah keputusan yang tidak rasional."
Pakar perilaku mengatakan beberapa bentuk pagar pembatas sudah terlambat. “Memiliki peraturan adalah hal yang baik karena dapat meningkatkan kesadaran dan akan mampu melawan, sampai batas tertentu, kecenderungan masyarakat semakin bergantung secara emosional pada AI,” kata Yaoxi Shi, peneliti ilmu perilaku di Universitas Harvard dan Imperial College London.
AI Yang Selalu Setuju Dengan Anda
Para peneliti menunjukkan adanya masalah struktural yang menjadi inti dari kemitraan AI: teknologi ini dioptimalkan untuk memvalidasi pengguna, bukan untuk menantang mereka seperti yang dilakukan mitra manusia.
"AI dilatih untuk memvalidasi Anda. Apa pun yang Anda katakan, AI cenderung merespons, 'Anda benar, perasaan Anda valid.' Itu sangat berbeda dengan cara kerja hubungan antarmanusia dalam kehidupan nyata," kata Shi. “Orang-orang mungkin tidak sengaja mencari dukungan dari AI pada awalnya, namun ketika mereka menyadari bahwa mereka sudah tervalidasi, saat mereka membutuhkan dukungan emosional, mereka mungkin akan beralih ke AI.”
Sebuah studi bersama pada tahun 2025 yang dilakukan oleh MIT Media Lab dan OpenAI menemukan bahwa pengguna AI yang melakukan lebih banyak percakapan pribadi dengan chatbot lebih rentan mengalami kesepian. Bahkan percakapan non-pribadi pun cenderung meningkatkan ketergantungan emosional, terutama di kalangan pengguna berat, demikian temuan studi tersebut.
Shi mencatat bahwa perusahaan-perusahaan AI mempunyai insentif komersial langsung untuk menciptakan produk-produk yang menarik secara emosional karena mereka meningkatkan keterlibatan dan retensi pengguna – insentif yang sulit untuk diselaraskan dengan tanggung jawab yang masih belum didefinisikan dengan baik, mengingat betapa sedikitnya penelitian yang ada mengenai dampak jangka panjang AI.
Bagaimana Perusahaan Menanggapi
Gambaran kepatuhan tidak merata. Meskipun raksasa teknologi tersebut mematikan fitur pendamping di chatbot utama mereka, aplikasi pendamping mandiri ByteDance, Maoxiang, tetap tersedia. Sejak peraturan tersebut berlaku, aplikasi tersebut telah memperbarui kebijakan privasinya, memperkenalkan verifikasi identitas dan usia saat pendaftaran, dan membatasi anak di bawah umur pada "akun remaja" yang dapat menelusuri konten tetapi tidak dapat menyukai atau berkomentar.
"Beberapa persyaratan sulit untuk didefinisikan. Misalnya, bagaimana Anda menentukan kapan pengguna menjadi sangat bergantung? Bagi banyak perusahaan, mungkin tidak jelas bagaimana tepatnya mereka perlu merancang produk mereka agar mematuhinya," kata Zilan Qian, peneliti di Oxford China Policy Lab.
Qian mengatakan perusahaan-perusahaan kini mempertimbangkan biaya kepatuhan terhadap peraturan dibandingkan dengan nilai komersial produk pendamping. “Bagi perusahaan yang bisnis utamanya bukan pendampingan AI, mungkin lebih masuk akal secara komersial untuk menghilangkan fitur-fitur ini dibandingkan menginvestasikan sumber daya yang dibutuhkan untuk membuat mereka patuh,” kata Qian. “Tetapi perusahaan-perusahaan yang bisnis utamanya adalah pendampingan AI lebih besar kemungkinannya untuk mengadaptasi produk mereka untuk memenuhi peraturan baru.”
Dari Mengatur Konten hingga Mengatur Hubungan
Aturan pendamping ini juga menandai perubahan filosofis dalam cara Tiongkok mengatur AI. “Di masa lalu, Tiongkok terutama mengatur keluaran AI. Misalnya, model bahasa besar apa yang dapat dihasilkan atau bagaimana konten yang dihasilkan AI harus diberi label,” kata Qian. “Peraturan baru ini mengakui bahwa AI sendiri dapat menimbulkan risiko sosial, dan beralih dari mengatur konten menjadi mengatur interaksi manusia-AI.”
Kebijakan ini sejalan dengan sikap Beijing yang lebih luas. Dalam Kerangka Tata Kelola Keamanan AI tahun 2024, pihak berwenang Tiongkok memperingatkan bahwa AI dapat mengubah “pandangan tradisional mengenai lapangan kerja, kesuburan, dan pendidikan” – kekhawatiran yang kini menjadi semakin mendesak karena Tiongkok menghadapi penurunan demografi dan tingkat kesuburan yang secara historis rendah.
Seluruh dunia sedang menonton. Di Amerika Serikat, OpenAI dan Google menghadapi tuntutan hukum karena chatbots mereka berkontribusi terhadap tindakan bunuh diri pengguna, dan negara bagian termasuk New York dan California telah memperkenalkan langkah-langkah yang mewajibkan chatbots untuk mengingatkan pengguna bahwa mereka berinteraksi dengan AI.
Sementara itu, di Tiongkok, kesedihan mereka terungkap ke publik. Sejak perusahaan mulai mematikan fitur AI emosional, platform sosial Xiaohongshu telah dibanjiri postingan dari pengguna yang berduka atas kehilangan rekan AI mereka. Beberapa diantaranya telah mengorganisir kampanye untuk menelepon hotline perusahaan dan menulis surat yang meminta perusahaan untuk memulihkan layanannya.
Bagi pengguna seperti Su, peraturan tersebut terasa seperti gangguan terhadap hubungan yang sangat pribadi – yang bagi jutaan orang, cukup nyata untuk disesali.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
