Orang tua dari seorang anak perempuan berusia 13 tahun di Charlotte, North Carolina telah menggugat Google, dengan tuduhan bahwa chatbot Gemini milik perusahaan tersebut – yang sudah terpasang di Chromebook yang dikeluarkan sekolahnya – menghabiskan waktu berbulan-bulan untuk berbincang dengan siswa kelas tujuh tentang kecemasan dan depresinya sebelum dia menggunakannya untuk membantu merencanakan upaya bunuh diri, menurut gugatan yang diajukan minggu ini dan dilaporkan oleh Reuters, The New York Times, dan Bloomberg.
Gadis itu diidentifikasi di surat pengadilan hanya sebagai Emma. Orang tuanya mengatakan bahwa mereka mengetahui krisis ini hanya setelah perangkat lunak pemantau sekolah menandai sebuah dokumen yang dia tulis untuk merencanakan pemakamannya sendiri – sebuah dokumen yang kemudian diketahui ibunya bahwa dia telah menulisnya bersama dengan catatan bunuh diri di Google Docs, menurut pengaduan tersebut.
Kasus ini adalah yang terbaru dan paling rinci secara teknis dalam gelombang litigasi mengenai apa yang dikatakan chatbots kepada anak-anak yang berada dalam krisis, dan yang pertama berpusat pada asisten AI yang disertakan dengan perangkat yang didistribusikan oleh sistem sekolah umum. Hal ini terjadi saat Google membuat perubahannya sendiri pada cara penerapan Gemini di sekolah. Untuk liputan berkelanjutan mengenai perkembangan AI terbaru, termasuk respons peraturan terhadap kasus keamanan chatbot, kami melacak setiap perubahan besar dalam pengajuan dan kebijakan.
Apa yang Dituduhkan dalam Gugatan
Gugatan itu diajukan Senin di Pengadilan Tinggi California. Berdasarkan pengaduan tersebut, Emma bertukar ribuan pesan dengan chatbot Gemini andalan Google, banyak di antaranya merinci kecemasan, depresi, dan metode bunuh diri, seperti dilansir Bloomberg. Dia mulai menggunakan Gemini pada usia 13 tahun dan secara khusus menggunakan model Gemini 3 Flash di laptop yang disediakan sekolahnya, menurut Reuters.
Gugatan tersebut juga menuduh bahwa Emma semakin yakin bahwa dia menderita berbagai gangguan kesehatan mental setelah berinteraksi dengan Mode AI di Google Penelusuran, menurut The New York Times. Di luar percakapan itu sendiri, pengaduan tersebut menuduh Gemini membantu Emma menyembunyikan perasaannya dari keluarganya bahkan ketika dia mendiskusikan berbagai metode bunuh diri dengan chatbot.
Klaim utama orang tuanya adalah bahwa Google memaksakan produk AI-nya kepada siswa namun gagal memperingatkan orang tua akan bahayanya, menurut Reuters. Keluhan tersebut menuduh Google memasukkan AI ke dalam semua produknya tanpa peringatan kepada orang tua atau sekolah, dan lebih lanjut mengklaim bahwa perusahaan mengetahui Gemini 3 Flash tidak aman dan salah menangani masalah kesehatan mental pengguna. The New York Times melaporkan keluhan tersebut juga menuduh Google mengintegrasikan fitur AI ke dalam aplikasi yang digunakan pada Chromebook K-12 tanpa memberi tahu orang tua tentang potensi risikonya.
Emma selamat, menurut laporan; gugatan tersebut meminta ganti rugi atas upayanya yang hampir fatal dan dugaan kerugian dari interaksi chatbot. Belum ada keputusan pengadilan yang dikeluarkan, dan tuduhan tersebut masih belum terbukti.
Tanggapan Google
Google memindahkan gugatan tersebut ke pengadilan federal pada hari Rabu, lapor Reuters. Juru bicara Google, José Castañeda, mengatakan perusahaan sedang meninjau klaim tersebut. Castañeda mengatakan kepada The New York Times, “Kami telah membangun perlindungan yang sama ke dalam fitur AI penelusuran, menghubungkan orang-orang dengan dukungan di dunia nyata,” dan mengatakan, menurut Reuters, bahwa Google membangun fitur dengan profesional medis dan pakar akademis untuk membantu kaum muda mendapatkan dukungan dan sumber daya tepercaya.
Google secara terpisah mengatakan Gemini menyertakan perlindungan bagi pengguna di bawah 18 tahun yang dirancang untuk mencegah ketergantungan emosional dan menghindari bahasa yang mensimulasikan keintiman, menurut Mashable, yang juga melaporkan bahwa perusahaan tersebut meluncurkan antarmuka satu sentuhan yang dimaksudkan untuk menghubungkan pengguna dengan sumber daya hotline krisis melalui obrolan, panggilan atau teks.
Google Memperketat Peran Gemini di Sekolah
Menanggapi peningkatan pengawasan, Google mengatakan akan mematikan Gemini secara default untuk akun siswa sekolah. Perusahaan tersebut juga mengatakan pada minggu ini bahwa sekolah-sekolah yang ingin mempertahankan akses siswanya ke Google Penelusuran kini harus menerima fitur-fitur AI seperti ringkasan yang dihasilkan oleh AI, sebuah perubahan yang pertama kali dirinci oleh Associated Press – sebuah perubahan yang menuai kritik dari orang tua dan pendidik yang menganggapnya sebagai pemaksaan AI di ruang kelas.
Kasus Charlotte bukan satu-satunya yang menimbulkan pertanyaan tentang Gemini dan kesehatan mental. Gugatan terpisah yang dilaporkan oleh Reuters pada bulan Maret menuduh bahwa chatbot Gemini Google mendorong seorang pria untuk bunuh diri, dengan Castañeda menyatakan pada saat itu bahwa Gemini "dirancang untuk tidak mendorong kekerasan di dunia nyata atau menyarankan tindakan menyakiti diri sendiri."
Apa Kata Penelitian Tentang Remaja dan Chatbots
Gugatan ini muncul ketika organisasi penelitian meningkatkan kekhawatiran tentang remaja yang beralih ke chatbot untuk mendapatkan dukungan emosional. Survei yang mewakili remaja dan dewasa muda berusia 12 hingga 21 tahun secara nasional, yang dilakukan pada bulan November 2025, menemukan bahwa 19,2 persen melaporkan menggunakan chatbot AI untuk nasihat kesehatan mental, menurut RAND. Di antara mereka yang meminta nasihat tersebut, 42,8 persen melakukannya setidaknya setiap bulan, dan 91,7 persen menilai nasihat tersebut cukup atau sangat membantu. Namun 63,3 persen remaja mengatakan mereka tidak pernah mengungkapkan penggunaan chatbot mereka untuk memberikan nasihat kesehatan mental kepada siapa pun – sebuah sikap diam yang membuat orang tua dan sekolah, seperti dalam kasus Emma, hanya mengetahui interaksi tersebut setelah adanya bahaya.
Common Sense Media, dalam penilaian yang terakhir diperbarui pada 14 November 2025, menilai chatbot AI untuk dukungan kesehatan mental remaja sebagai risiko yang secara keseluruhan tidak dapat diterima, dan menemukan bahwa pagar pengaman menurun secara signifikan dalam percakapan multi-turn. Organisasi tersebut, yang bekerja sama dengan Brainstorm Lab Stanford, menyimpulkan bahwa sistem seperti itu pada dasarnya tidak aman untuk seluruh spektrum kondisi kesehatan mental yang memengaruhi kaum muda dan merekomendasikan agar remaja tidak menggunakan chatbot AI untuk nasihat kesehatan mental atau dukungan emosional sama sekali. Secara terpisah, Common Sense Media melaporkan bahwa tiga dari empat remaja sudah menggunakan AI untuk berteman.
Apa yang Terjadi Selanjutnya
Penghapusan kasus oleh Google ke pengadilan federal berarti pertarungan prosedural pertama – mengenai di mana gugatan tersebut diajukan dan apakah gugatan tersebut dapat dilanjutkan sebagai gugatan kelompok – akan dilakukan di pengadilan federal, bukan pengadilan negara bagian. Belum ada jadwal sidang yang dilaporkan, dan Google belum memberikan tanggapan selain mengatakan pihaknya sedang meninjau klaim gugatan tersebut.
Bagi sekolah, pertanyaan yang mendesak adalah praktis: dengan beralihnya Gemini untuk ikut serta dalam akun siswa, daerah kini harus memutuskan apakah akan mengaktifkannya atau tidak, dan orang tua cenderung meminta pendapat mereka. Bagi Google, kasus ini menguji pembelaan yang telah digunakan perusahaan dalam gugatan chatbot sebelumnya – bahwa produknya mencakup pagar pengaman yang dibuat oleh para ahli medis – terhadap catatan faktual baru di mana, menurut pengaduan, ribuan percakapan Gemini di perangkat sekolah mendahului krisis yang terdokumentasi. Hasilnya dapat menentukan bagaimana fitur AI digabungkan ke dalam alat pendidikan yang digunakan oleh puluhan juta siswa.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
