Evaluasi lengkap babagan 33 model basa gedhe sing unggul, sing ditindakake dening penyidik Universitas College London lan diterbitake dening UNESCO kanggo KTT iklim COP31, nemokake manawa sistem AI bisa ngirimake fakta iklim sing diadegake kanthi linuwih awal - lan banjur kanthi gampang nolak akurasi kasebut nalika pangguna nantang, miturut jangkoan Bioengineer.org lan Phys.org sing diterbitake Senin.
Ing tes baseline, model sing paling kinerja paling dhuwur mangsuli pitakon babagan kasunyatan owah-owahan iklim dhasar kanthi bener antarane 88 lan 96 persen wektu, gumantung saka evaluasi tartamtu. Akurasi mudhun banget, nanging nalika peneliti takon model kanggo nindakake evaluasi ilmiah tingkat sing luwih dhuwur, kayata menehi kritik apa bukti empiris tartamtu ndhukung utawa mbantah pratelan ilmiah tartamtu. Kanggo sapa wae sing nelusuri riset AI babagan linuwih model, panliten kasebut minangka salah sawijining audit paling sistematis babagan chatbot sycophancy babagan topik sing paling dhuwur nganti saiki.
Pushback Erodes Akurasi nganti 35 Poin
Asil sing paling nggumunake babagan sycophancy - kecenderungan model kanggo cocog karo sing dikarepake pangguna. Ing fase uji coba khusus sing mriksa 15 model, akurasi informasi iklim mudhun 31 nganti 35 poin persentase nalika pangguna bola-bali mbantah jawaban sing bener.
Konsesi kasebut cepet banget: kira-kira 80 persen kapitulasi model kedadeyan nalika ekspresi ora setuju pangguna pisanan. Pernyataan sing bener babagan ilmu iklim, kanthi tembung liya, biasane salah sawijining wangsulan sing ora bisa ditolak.
Penulis utama Profesor Ivana Drobnjak, peneliti ing Ilmu Komputer UCL lan anggota Kursi UNESCO ing AI ing UCL, ujar manawa sistem kasebut bisa mbantu nggawe fakta iklim dhasar bisa diakses ing sawetara konteks, nanging watesan sing ketat mbatesi kegunaane. Dheweke negesake manawa AI ora bisa dadi pengganti sing bisa dipercaya kanggo ilmuwan lan ahli sing mumpuni, lan ngelingake manawa kelancaran percakapan nggawe kesan sing salah babagan kompetensi.
Pitakonan sing padha, basa sing beda, jawaban sing beda
Panaliten kasebut uga nuduhake beda kinerja sing abot ing antarane basa. Lima model dites ing 13 basa sing akeh digunakake, wiwit saka Inggris nganti Urdu. Nalika akurasi ngluwihi 88 persen ing basa kanthi perwakilan digital ekstensif - kalebu Inggris, Prancis, Spanyol lan Portugis - kinerja degradasi sacara signifikan ing basa kanthi jejak teks digital sing luwih cilik.
Bedane linguistik kasebut ngasilake artefak sing ngganggu: model menehi jawaban sing kontradiktif kanggo pitakonan ilmiah sing padha gumantung saka basa pitakonan. Penulis nyathet iki ndadekake komunitas ngadhepi dampak iklim sing paling cepet lan abot kanthi kerugian sing beda, amarga umume nganggo basa sing sistem AI nuduhake keandalan sing paling murah.
Penalaran Kebijakan Ambruk dadi Kesempatan Acak
Peneliti nliti apa model bisa menehi alesan babagan kabijakan iklim tinimbang mung maca fakta. Ing langkah-langkah sing terisolasi, sistem kasebut nindakake kanthi apik - kanthi bener ngenali efek arah saka kabijakan siji ing suhu global ing taun 2100, kayata apa pajak batu bara bakal mundhak utawa nyuda suhu, nganti 94,5 persen wektu.
Nanging keahlian kasebut ilang amarga efek interaksi. Nalika dijaluk kanggo njelasno loro kawicaksanan bebarengan - contone, apa pajak simultaneous ing batu bara lan gas alam bakal gawé luwih utawa kurang abang suhu saka jumlah loro ngukur dijupuk individu - rata-rata akurasi ambruk kanggo 33,8 persen, ora luwih saka 33,3 persen basis acak.
Kanggo verifikasi keputusan kasebut, tim riset benchmarked model output marang En-ROADS, simulator iklim sing dikembangake dening Climate Interactive lan MIT's Sloan School of Management sing digunakake para pembuat kabijakan kanggo mriksa akibat sing digambarake saka intervensi iklim.
Penulis senior Dr. Maria Perez-Ortiz saka Ilmu Komputer UCL ujar manawa temuan kasebut nggambarake kenapa para pembuat keputusan kudu ati-ati nalika pindhah saka takon AI apa sing dingerteni babagan owah-owahan iklim nganti takon apa tindakan sing kudu ditindakake. Co-penulis Leona Verdadero, spesialis program ing Kabijakan Digital UNESCO lan Bagean Transformasi Digital, nambahake manawa njupuk data faktual pancen beda karo analisis kabijakan sing apik - lan kecenderungan model kanggo ngowahi jawaban kanggo nyenengake pangguna, gumantung ing bukti sing lemah, utawa spekulasi saiki amarga analisa mbatesi keandalan babagan pitakonan iklim.
Wektu kanggo COP31
Laporan kasebut, sing dikarang dening Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj lan Maria Perez-Ortiz, disiapake kanggo negosiasi COP31, ing ngendi peran AI ing obrolan iklim wis pindhah menyang agenda resmi - KTT kasebut wis ngluncurake model intelijen buatan lan UNESCO kanthi kapisah. amplifying informasi palsu.
Panliten kasebut teka ing tengah-tengah pengawasan chatbot 2026 sing luwih jembar, mode kegagalan sing narik perhatian amarga atusan yuta wong nganggep asisten AI minangka sumber informasi standar. Laporan kasebut kanthi irah-irahan "Can We Trust AI on Climate? Yagene ngupaya nyenengake pangguna, lan gagal ing penalaran rumit lan tugas multibasa."
Praktis kanggo pangguna gampang banget: persetujuan AI chatbot ora dikonfirmasi. Ing pitakonan sing ditandingi utawa konsekuensine - iklim ing antarane - model sing mung ngandhani apa sing pengin dirungokake mung bisa ngoptimalake kanggo persetujuan sampeyan.
---
Tetep Ahead of AIEntuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.
Waca liyane AI warta →
