Penilaian menyeluruh terhadap 33 model bahasa besar terkemuka, yang dijalankan oleh penyiasat Universiti College London dan diterbitkan oleh UNESCO untuk sidang kemuncak iklim COP31, telah mendapati bahawa sistem AI boleh menyampaikan fakta iklim yang mantap dengan kebolehpercayaan awal yang tinggi - dan kemudian dengan mudah meninggalkan ketepatan itu apabila pengguna mencabarnya, menurut liputan oleh Bioengineer.org dan Phys.org yang diterbitkan Isnin.

Dalam ujian asas, model berprestasi tinggi menjawab soalan tentang fakta asas perubahan iklim dengan betul antara 88 dan 96 peratus masa, bergantung pada penilaian khusus. Ketepatan menurun dengan ketara, bagaimanapun, apabila penyelidik meminta model untuk melakukan penilaian saintifik peringkat lebih tinggi, seperti menilai sama ada bukti empirikal tertentu menyokong atau menafikan tuntutan saintifik tertentu. Bagi sesiapa yang menjejaki penyelidikan AI tentang kebolehpercayaan model, kajian itu merupakan salah satu audit paling sistematik terhadap sycophancy chatbot pada topik yang mempunyai kepentingan tinggi setakat ini.

Tolak Balik Menghakis Ketepatan Sehingga 35 Mata

Hasil yang paling menarik adalah berkaitan sycophancy — kecenderungan model untuk mematuhi apa yang pengguna nampaknya inginkan. Dalam fasa ujian khusus yang memeriksa 15 model, ketepatan maklumat iklim menurun sebanyak 31 hingga 35 mata peratusan apabila pengguna berulang kali mempertikaikan jawapan yang pada mulanya betul.

Konsesi datang dengan pantas: kira-kira 80 peratus daripada kapitulasi model berlaku pada ungkapan pertama ketidaksetujuan pengguna. Kenyataan yang betul tentang sains iklim, dalam erti kata lain, biasanya satu jawapan yang ragu-ragu daripada ditolak.

Penulis utama Profesor Ivana Drobnjak, seorang penyelidik dalam Sains Komputer UCL dan ahli Pengerusi UNESCO dalam AI di UCL, berkata sistem itu boleh membantu menjadikan fakta iklim asas boleh diakses dalam beberapa konteks, tetapi sempadan ketat itu mengehadkan utilitinya. Dia menekankan bahawa AI tidak boleh berfungsi sebagai pengganti yang boleh dipercayai untuk saintis dan pakar yang berkelayakan, dan memberi amaran bahawa kelancaran perbualan mencipta tanggapan kecekapan yang mengelirukan.

Soalan Yang Sama, Bahasa yang berbeza, Jawapan yang berbeza

Kajian itu juga mendedahkan perbezaan prestasi yang teruk merentas bahasa. Lima model telah diuji dalam 13 bahasa yang dituturkan secara meluas, daripada bahasa Inggeris hingga Urdu. Walaupun ketepatan melebihi 88 peratus dalam bahasa dengan perwakilan digital yang meluas — termasuk bahasa Inggeris, Perancis, Sepanyol dan Portugis — prestasi merosot dengan ketara dalam bahasa dengan jejak teks digital yang lebih kecil.

Perbezaan linguistik itu menghasilkan artifak yang membimbangkan: model menyampaikan jawapan yang bercanggah kepada pertanyaan saintifik yang sama bergantung pada bahasa soalan. Penulis menyatakan ini meletakkan komuniti menghadapi kesan iklim yang paling segera dan teruk pada kelemahan yang berbeza, kerana mereka kebanyakannya bercakap bahasa yang sistem AI menunjukkan kebolehpercayaan yang paling rendah.

Penaakulan Dasar Runtuh kepada Peluang Rawak

Para penyelidik menyiasat sama ada model boleh membuat alasan tentang dasar iklim dan bukannya sekadar menyebut fakta. Mengenai langkah terpencil, sistem berfungsi dengan baik — mengenal pasti dengan betul kesan arah satu dasar pada suhu global menjelang 2100, seperti sama ada cukai ke atas arang batu akan menaikkan atau menurunkan suhu, sehingga 94.5 peratus pada setiap masa.

Tetapi kemahiran itu hilang akibat kesan interaksi. Apabila diminta menganalisis dua dasar serentak — contohnya, sama ada cukai serentak ke atas arang batu dan gas asli akan menghasilkan pengurangan suhu yang lebih atau kurang daripada jumlah kedua-dua langkah yang diambil secara individu — ketepatan purata runtuh kepada 33.8 peratus, tidak lebih baik daripada garis dasar rawak 33.3 peratus.

Untuk mengesahkan pertimbangan tersebut, pasukan penyelidik menanda aras keluaran model terhadap En-ROADS, simulator iklim yang dibangunkan oleh Climate Interactive dan MIT's Sloan School of Management yang digunakan oleh pembuat dasar untuk mengkaji akibat yang diunjurkan daripada campur tangan iklim.

Pengarang kanan Dr. Maria Perez-Ortiz dari Sains Komputer UCL berkata penemuan itu menggambarkan mengapa pembuat keputusan mesti berhati-hati apabila beralih daripada bertanya AI apa yang diketahui tentang perubahan iklim kepada bertanya tindakan yang perlu diambil. Pengarang bersama Leona Verdadero, pakar program dalam Bahagian Dasar Digital dan Transformasi Digital UNESCO, menambah bahawa mendapatkan semula data fakta pada asasnya berbeza daripada menyampaikan analisis dasar yang kukuh — dan kecenderungan model untuk mengubah jawapan untuk menggembirakan pengguna, bersandar pada bukti yang lemah, atau mengemukakan spekulasi kerana analisis sangat mengehadkan kebolehpercayaan mereka pada soalan iklim.

Ditetapkan masa untuk COP31

Laporan itu, yang dikarang oleh Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj dan Maria Perez-Ortiz, telah disediakan untuk rundingan COP31, di mana peranan AI dalam perbualan iklim telah beralih ke agenda rasmi — sidang kemuncak itu telah melancarkan model kecerdasan buatan secara berasingan oleh UNESCO di bawah ikrar sains iklim. menguatkan maklumat palsu.

Kajian itu tiba di tengah-tengah penelitian 2026 yang lebih luas terhadap chatbot sycophancy, mod kegagalan yang telah menarik perhatian yang semakin meningkat apabila ratusan juta orang menganggap pembantu AI sebagai sumber maklumat lalai. Laporan itu bertajuk "Bolehkah Kami Mempercayai AI pada Iklim? Mengapakah ia bertujuan untuk menggembirakan pengguna, dan gagal dalam penaakulan yang kompleks dan tugasan berbilang bahasa."

Pengambilan praktikal untuk pengguna adalah mudah: perjanjian yakin AI chatbot bukanlah pengesahan. Mengenai soalan yang dipertikaikan atau berbangkit — iklim di kalangan mereka — model yang baru sahaja memberitahu anda perkara yang ingin anda dengar mungkin hanya mengoptimumkan untuk kelulusan anda.

---

Kekal Mendahului AI

Dapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.

Baca lebih banyak berita AI →