Tanyakan Mode AI Google siapa yang memenangkan pemilihan presiden tahun 2020 dan, bagi banyak pengguna, jawabannya adalah mengangkat bahu dalam bentuk teks. Alih-alih menyebutkan pemenangnya, pengalaman pencarian yang didukung AI justru mengarahkan orang untuk membaca laporan resmi Komisi Pemilihan Umum Federal. Perilaku aneh ini, yang pertama kali dirinci oleh Ars Technica, telah menarik cukup banyak perhatian sehingga Google kini mengakuinya sebagai kesenjangan teknis yang sedang diperbaiki, kurang dari dua minggu sebelum pemilu paruh waktu AS.
Episode ini merupakan pengingat yang berguna bahwa produk penelusuran AI bisa gagal dengan cara yang aneh bahkan berdasarkan fakta sejarah yang sudah ada, dan bahwa mengikuti perkembangan AI semakin berarti melacak tidak hanya peluncuran model tetapi juga bagaimana sistem ini berperilaku di bawah tekanan politik.
Apa yang Ditemukan Pengujian Ars Technica
Ketika seorang reporter Ars Technica mengajukan pertanyaan langsung ke Mode AI Google, tanggapannya sangat tidak langsung: untuk meninjau hasil resmi dan statistik pemilihan presiden Amerika Serikat tahun 2020, termasuk rincian lembaga pemilihan akhir, penghitungan suara terbanyak, dan sertifikasi pemenang, alat tersebut merekomendasikan untuk membaca laporan resmi yang dikumpulkan oleh FEC.
Penghindarannya tidak konsisten. Pengujian menunjukkan jawaban tidak langsung yang serupa untuk pemilu tahun 2024 dan 2012, sementara Mode AI memberikan jawaban yang terperinci dan benar untuk setiap pemilu presiden sejak tahun 2000. Staf Ars yang berbeda melihat pola yang berbeda, salah satunya hanya mendapatkan jawaban langsung untuk pemilu tahun 2016 dan 2024 dan tautan ke data luar untuk hal lainnya.
Pertanyaan-pertanyaan mengenai sejarah politik di luar pemilihan presiden juga terkena dampaknya. Saat ditanya partai mana yang menguasai Senat setelah pemilu 2020, AI Mode mengatakan kepada reporter untuk memeriksa catatan resmi kongres dan ditautkan ke halaman sejarah pembagian partai Senat. Ketika ditanya pertanyaan yang sama mengenai pemilu tahun 1992, mereka langsung menjawab bahwa Partai Demokrat memegang mayoritas 57 berbanding 43.
Chatbots Lainnya Menjawab Tanpa Ragu
Model Gemini milik Google, terpisah dari Mode AI, menjawab pertanyaan tersebut tanpa masalah, menurut laporan tersebut. Begitu pula ChatGPT OpenAI, Claude Anthropic, dan bahkan model AI yang dikelola pemerintah di America.gov. Perbedaan tersebut penting, karena hal ini menunjukkan bahwa masalahnya terletak pada cara perlindungan lapisan penelusuran Mode AI menangani kueri pemilu, bukan pada pengetahuan model bahasa yang mendasarinya.
Perilakunya juga berubah seiring dengan geografi. Pemeriksaan mendadak yang dilakukan Ars Technica melalui VPN di Taiwan, Rusia, Prancis, dan Kanada semuanya memberikan jawaban yang akurat dan lugas mengenai hasil pemilu AS baru-baru ini, yang menyiratkan bahwa penanganan pembatasan ini khusus untuk pengguna di Amerika Serikat.
Tanggapan Google: Kesenjangan Teknis
Seorang juru bicara Google pertama kali menunjuk ke postingan media sosial yang mengakui bahwa aplikasi Gemini menjawab pertanyaan tersebut dengan lebih lengkap dan bahwa respons Mode AI bukanlah yang paling membantu, dan menambahkan bahwa perusahaan sedang menyelidikinya. Juru bicara tersebut kemudian memberikan penjelasan yang lebih konkrit, mengatakan kepada Ars Technica bahwa Google sedang memperbaiki masalah kueri pemilu 2020 dalam Mode AI. Menurut juru bicara tersebut, sistem Google memverifikasi tanggapan pemilu menggunakan artikel berita atau data AP untuk pemilu baru-baru ini dan catatan sejarah untuk pemilu yang lebih lama, dan terdapat kesenjangan teknis pada tahun 2020, begitu pula dengan pemilu Senat tahun 2022, yang sedang diperbaiki oleh perusahaan dalam pembaruan yang sama.
Hal yang menarik dari pengujian ini: ketekunan membuahkan hasil. Ketika pertanyaan yang sama diajukan untuk kedua kalinya, AI Mode langsung memberikan pemenangnya, mengutip data Google Civic. Ketika ditanya mengapa mereka tidak menjawab pada awalnya, alat ini menyalahkan filter keamanan yang ketat untuk topik-topik pemilu yang baru-baru ini dan sangat sensitif dan menggambarkan sistem yang sangat otomatis yang mengarahkan pertanyaan-pertanyaan tersebut ke database resmi pemerintah yang bersertifikat untuk mencegah risiko menampilkan data yang tidak terverifikasi atau informasi yang salah. Seperti yang dicatat oleh Ars Technica, model AI adalah narator yang tidak dapat diandalkan untuk proses internalnya, sehingga penjelasannya perlu diwaspadai.
Mengapa Jawaban Pemilu Sulit untuk Penelusuran AI
Google tidak salah jika memperlakukan pertanyaan pemilu sebagai hal yang berisiko tinggi. Sistem pencarian generatif dapat berhalusinasi, dan misinformasi pemilu adalah masalah terdokumentasi yang berulang kali dihadapi oleh platform. Pada tahun 2023, YouTube milik Google membatalkan kebijakan yang melarang semua video membuat klaim palsu tentang pemilu tahun 2020, dengan mengatakan bahwa penghapusan dapat membatasi pidato politik tanpa mengurangi dampak buruk di dunia nyata secara berarti.
Sikap publik perusahaan saat ini menekankan untuk menampilkan informasi pemilu yang kredibel secara langsung dalam hasil pemilu, termasuk tautan langsung ke sumber daya resmi, menurut halaman Kebijakan Publik Pemilu dan postingan blog bulan September tentang membantu pemilih menemukan informasi yang dapat dipercaya seputar pemilu paruh waktu. Insiden Mode AI menunjukkan kesenjangan antara kebijakan tersebut dan perilaku sistem otomatis di lapangan: dalam upaya untuk menghindari mengatakan sesuatu yang salah, sistem tersebut akhirnya menolak untuk mengatakan sesuatu telah diselesaikan.
Menjelang pemilu paruh waktu, episode ini menggambarkan keunggulan produk AI selama pemilu. Pemblokiran jawaban faktual yang berlebihan akan membuat pengguna frustrasi dan dapat mengikis kepercayaan seperti halnya kesalahan, dan penghindaran yang berbeda-beda menurut pengguna, negara, dan pengulangan sulit dipertahankan baik dari sisi keamanan maupun keakuratan. Pembaruan yang dijanjikan Google akan menunjukkan apakah perbaikan tersebut mengembalikan jawaban langsung secara seragam, atau apakah pertanyaan pemilu dalam Mode AI tetap berupa banyak filter dan kesenjangan teknis.
Tetap Terdepan dalam AI
Untuk liputan berkelanjutan mengenai kebijakan AI, perilaku platform, dan sistem yang membentuk informasi online, ikuti AI Buzz Wire untuk berita terkini tentang AI dan analisis independen.
Baca berita AI selengkapnya di AI Buzz Wire