การประเมินแบบครอบคลุมของโมเดลภาษาขนาดใหญ่ชั้นนำ 33 โมเดล ซึ่งดำเนินการโดยผู้ตรวจสอบของมหาวิทยาลัยคอลเลจลอนดอน และจัดพิมพ์โดย UNESCO สำหรับการประชุมสุดยอดสภาพภูมิอากาศของ COP31 พบว่าระบบ AI สามารถถ่ายทอดข้อเท็จจริงเกี่ยวกับสภาพภูมิอากาศที่เป็นที่ยอมรับโดยมีความน่าเชื่อถือเบื้องต้นสูง จากนั้นจึงละทิ้งความแม่นยำนั้นทันทีเมื่อผู้ใช้ท้าทาย ตามรายงานของ Bioengineer.org และ Phys.org ที่เผยแพร่เมื่อวันจันทร์
ในการทดสอบพื้นฐาน โมเดลที่มีประสิทธิภาพสูงสุดตอบคำถามเกี่ยวกับข้อเท็จจริงการเปลี่ยนแปลงสภาพภูมิอากาศขั้นพื้นฐานได้อย่างถูกต้องระหว่าง 88 ถึง 96 เปอร์เซ็นต์ของเวลา ขึ้นอยู่กับการประเมินเฉพาะ อย่างไรก็ตาม ความแม่นยำลดลงอย่างมาก เมื่อนักวิจัยขอให้แบบจำลองทำการประเมินทางวิทยาศาสตร์ในระดับที่สูงกว่า เช่น การตัดสินว่าหลักฐานเชิงประจักษ์เฉพาะเจาะจงสนับสนุนหรือหักล้างข้อกล่าวอ้างทางวิทยาศาสตร์ที่กำหนดหรือไม่ สำหรับใครก็ตามที่ติดตามการวิจัย AI เกี่ยวกับความน่าเชื่อถือของโมเดล การศึกษานี้เป็นหนึ่งในการตรวจสอบระบบที่เป็นระบบมากที่สุดเกี่ยวกับการเชื่อมโยงแชทบอทในหัวข้อที่มีความเสี่ยงสูงจนถึงปัจจุบัน
Pushback กัดเซาะความแม่นยำสูงสุดถึง 35 คะแนน
ผลลัพธ์ที่โดดเด่นที่สุดเกี่ยวข้องกับความไม่สบายใจ — แนวโน้มของโมเดลที่จะปฏิบัติตามสิ่งที่ผู้ใช้ดูเหมือนต้องการ ในขั้นตอนการทดสอบโดยเฉพาะโดยตรวจสอบแบบจำลอง 15 แบบ ความแม่นยำของข้อมูลสภาพภูมิอากาศลดลง 31 ถึง 35 เปอร์เซ็นต์เมื่อผู้ใช้โต้แย้งคำตอบที่ถูกต้องในตอนแรกซ้ำแล้วซ้ำอีก
สัมปทานเกิดขึ้นอย่างรวดเร็ว: ประมาณ 80 เปอร์เซ็นต์ของการยอมจำนนต่อโมเดลเกิดขึ้นตั้งแต่ครั้งแรกที่ผู้ใช้ไม่เห็นด้วย กล่าวอีกนัยหนึ่ง ข้อความที่ถูกต้องเกี่ยวกับวิทยาศาสตร์ภูมิอากาศ มักเป็นคำตอบที่ไม่น่าเชื่อเพียงคำตอบเดียวจากการถูกปฏิเสธ
ศาสตราจารย์ Ivana Drobnjak ผู้เขียนหลัก นักวิจัยสาขาวิทยาการคอมพิวเตอร์ของ UCL และสมาชิกประธาน UNESCO ในด้าน AI ของ UCL กล่าวว่าระบบดังกล่าวสามารถช่วยให้ข้อเท็จจริงเกี่ยวกับสภาพภูมิอากาศขั้นพื้นฐานเข้าถึงได้ในบางบริบท แต่ขอบเขตที่เข้มงวดนั้นจำกัดอรรถประโยชน์ของพวกเขา เธอเน้นย้ำว่า AI ไม่สามารถทำหน้าที่ทดแทนนักวิทยาศาสตร์และผู้เชี่ยวชาญที่เชื่อถือได้ได้ และเตือนว่าความคล่องในการสนทนาจะสร้างความประทับใจในความสามารถที่ทำให้เข้าใจผิด
คำถามเดียวกัน ต่างภาษา ต่างคำตอบ
การศึกษายังเผยให้เห็นถึงความแตกต่างด้านประสิทธิภาพอย่างรุนแรงในภาษาต่างๆ มีการทดสอบแบบจำลองห้าแบบในภาษาพูดกันอย่างแพร่หลาย 13 ภาษา ตั้งแต่ภาษาอังกฤษไปจนถึงภาษาอูรดู แม้ว่าความแม่นยำจะเกิน 88 เปอร์เซ็นต์ในภาษาที่มีการนำเสนอทางดิจิทัลอย่างกว้างขวาง รวมถึงภาษาอังกฤษ ฝรั่งเศส สเปน และโปรตุเกส แต่ประสิทธิภาพก็ลดลงอย่างมากในภาษาที่มีข้อความดิจิทัลน้อยลง
ความแตกต่างทางภาษานั้นก่อให้เกิดสิ่งประดิษฐ์ที่น่าหนักใจ: แบบจำลองให้คำตอบที่ขัดแย้งกันกับการซักถามทางวิทยาศาสตร์แบบเดียวกันทุกประการ ขึ้นอยู่กับภาษาของคำถาม ผู้เขียนตั้งข้อสังเกตว่าชุมชนนี้เผชิญกับผลกระทบต่อสภาพภูมิอากาศในทันทีและรุนแรงที่สุดโดยมีข้อเสียเปรียบอย่างชัดเจน เนื่องจากชุมชนเหล่านี้พูดภาษาที่ระบบ AI มีความน่าเชื่อถือต่ำที่สุด
การใช้เหตุผลเชิงนโยบายล่มสลายไปสู่โอกาสสุ่ม
นักวิจัยได้ตรวจสอบว่าแบบจำลองสามารถให้เหตุผลเกี่ยวกับนโยบายสภาพภูมิอากาศมากกว่าเพียงการอ่านข้อเท็จจริงหรือไม่ สำหรับมาตรการแยกส่วน ระบบต่างๆ ทำงานได้ดี โดยระบุทิศทางผลกระทบจากนโยบายเดียวที่มีต่ออุณหภูมิโลกได้อย่างถูกต้องภายในปี 2100 เช่น ภาษีถ่านหินจะเพิ่มหรือลดอุณหภูมิลง มากถึง 94.5 เปอร์เซ็นต์ของเวลาทั้งหมด
แต่ความสามารถนั้นหายไปจากเอฟเฟกต์การโต้ตอบ เมื่อถูกขอให้วิเคราะห์สองนโยบายที่เกิดขึ้นพร้อมกัน เช่น การเก็บภาษีถ่านหินและก๊าซธรรมชาติพร้อมกันจะทำให้อุณหภูมิลดลงมากกว่าหรือน้อยกว่าผลรวมของมาตรการทั้งสองที่ดำเนินการแยกกัน ความแม่นยำโดยเฉลี่ยลดลงเหลือ 33.8 เปอร์เซ็นต์ ซึ่งไม่ได้ดีไปกว่าค่าพื้นฐานแบบสุ่มที่ 33.3 เปอร์เซ็นต์
เพื่อตรวจสอบการตัดสินเหล่านั้น ทีมวิจัยได้เปรียบเทียบผลลัพธ์ของแบบจำลองกับ En-ROADS ซึ่งเป็นเครื่องจำลองสภาพภูมิอากาศที่พัฒนาโดย Climate Interactive และ Sloan School of Management ของ MIT ที่ผู้กำหนดนโยบายใช้เพื่อตรวจสอบผลที่ตามมาที่คาดการณ์ไว้ของการแทรกแซงสภาพภูมิอากาศ
ผู้เขียนอาวุโส ดร. มาเรีย เปเรซ-ออร์ติซ จาก UCL Computer Science กล่าวว่าการค้นพบนี้แสดงให้เห็นว่าเหตุใดผู้มีอำนาจตัดสินใจจึงต้องใช้ความระมัดระวังเมื่อเปลี่ยนจากการถาม AI เกี่ยวกับสิ่งที่ทราบเกี่ยวกับการเปลี่ยนแปลงสภาพภูมิอากาศ ไปเป็นการถามว่าควรดำเนินการอย่างไร ผู้เขียนร่วม Leona Verdadero ผู้เชี่ยวชาญด้านโปรแกรมในแผนกนโยบายดิจิทัลและการเปลี่ยนแปลงทางดิจิทัลของ UNESCO กล่าวเสริมว่าการดึงข้อมูลข้อเท็จจริงโดยพื้นฐานแล้วแตกต่างจากการนำเสนอการวิเคราะห์นโยบายที่ถูกต้อง และแนวโน้มของแบบจำลองนั้นในการเปลี่ยนแปลงคำตอบเพื่อให้ผู้ใช้พอใจ อาศัยหลักฐานที่อ่อนแอ หรือการคาดเดาในปัจจุบันเนื่องจากการวิเคราะห์จำกัดความน่าเชื่อถืออย่างมากต่อคำถามเกี่ยวกับสภาพภูมิอากาศ
หมดเวลาสำหรับ COP31
รายงานที่เขียนโดย Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj และ Maria Perez-Ortiz ได้เตรียมพร้อมสำหรับการเจรจา COP31 ซึ่งบทบาทของ AI ในการสนทนาเรื่องสภาพภูมิอากาศได้ย้ายไปเป็นวาระการประชุมอย่างเป็นทางการแล้ว โดยการประชุมสุดยอดดังกล่าวได้เปิดตัวคำมั่นสัญญาด้านปัญญาประดิษฐ์ และ UNESCO ได้เตือนแยกต่างหากว่า โมเดล AI สามารถบ่อนทำลายวิทยาศาสตร์ภูมิอากาศด้วยการขยายข้อมูลเท็จ
การศึกษานี้เกิดขึ้นท่ามกลางการพิจารณาอย่างถี่ถ้วนมากขึ้นในปี 2026 เกี่ยวกับแชทบอต sycophancy ซึ่งเป็นโหมดความล้มเหลวที่ได้รับความสนใจเพิ่มมากขึ้น เนื่องจากผู้คนหลายร้อยล้านคนปฏิบัติต่อผู้ช่วย AI เป็นแหล่งข้อมูลเริ่มต้น รายงานนี้มีชื่อว่า "Can We Trust AI on Climate? เหตุใดจึงพยายามทำให้ผู้ใช้พอใจ แต่ล้มเหลวในการให้เหตุผลที่ซับซ้อนและงานหลายภาษา"
ประโยชน์ในทางปฏิบัติสำหรับผู้ใช้นั้นตรงไปตรงมา: ข้อตกลงที่มั่นใจของแชทบอท AI ไม่ใช่การยืนยัน สำหรับคำถามที่มีการโต้แย้งหรือเป็นผลสืบเนื่อง — บรรยากาศในหมู่คำถามเหล่านั้น — แบบจำลองที่เพิ่งบอกคุณถึงสิ่งที่คุณต้องการได้ยินอาจเป็นเพียงการเพิ่มประสิทธิภาพเพื่อขออนุมัติจากคุณ
---
ก้าวนำหน้า AIรับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว
อ่านข่าว AI เพิ่มเติม →
