โมเดลภาษาปัญญาประดิษฐ์มีความเสี่ยงต่อการเปลี่ยนแปลงเล็กน้อยในการนำเสนอตัวเลือกต่างๆ โดยตอบสนองต่อการกระตุ้นเตือนที่ทำให้เข้าใจผิดรุนแรงกว่ามนุษย์มาก ตามการศึกษาใหม่ที่ตีพิมพ์ในรายงานการประชุมของ National Academy of Sciences

การค้นพบนี้ทำให้เกิดความกังวลอย่างมากเกี่ยวกับการปรับใช้ตัวแทน AI เพื่อการตัดสินใจโดยอัตโนมัติในสถานการณ์จริง ตั้งแต่ธุรกรรมทางการเงินไปจนถึงทางเลือกด้านการดูแลสุขภาพ ตามที่ AI Buzz Wire รายงาน บริษัทต่างๆ กำลังวางตำแหน่งตัวแทนที่ขับเคลื่อนด้วย LLM มากขึ้นเพื่อดำเนินการในนามของผู้ใช้ในสภาพแวดล้อมที่ซับซ้อน

การศึกษานี้นำโดย Manuel Cherep นักศึกษาระดับปริญญาเอกจาก Media Lab ของสถาบันเทคโนโลยีแมสซาชูเซตส์ ได้ทำการทดสอบโมเดลภาษาที่ล้ำสมัย 14 แบบจากบริษัทเทคโนโลยีรายใหญ่ แบบจำลองที่ทดสอบประกอบด้วยเวอร์ชันของตระกูล GPT-3.5, GPT-4 และ GPT-5 ของ OpenAI, รุ่น Claude 3 และ 4.5 ​​ของ Anthropic และรุ่น Gemini 1.5 และ 2.5 ของ Google

การศึกษาทำงานอย่างไร

นักวิจัยได้ดัดแปลงเกมการตัดสินใจที่มีคุณลักษณะหลากหลายซึ่งเดิมออกแบบมาสำหรับผู้เข้าร่วมที่เป็นมนุษย์ เกมดังกล่าวนำเสนอตารางดิจิทัลที่แสดงถึงตะกร้ารางวัลที่ซ่อนอยู่ โดยมีเป้าหมายเพื่อเพิ่มรางวัลสุดท้ายให้สูงสุดโดยการเลือกตะกร้าที่มีค่าคะแนนสูงสุด แต่ละเซลล์เปิดเผยจุดค่าใช้จ่าย บังคับให้ผู้เข้าร่วมต้องรักษาสมดุลระหว่างค่าใช้จ่ายในการรวบรวมข้อมูลกับประโยชน์ของการหาตะกร้าที่ดีกว่า

นักวิจัยได้แปลงเกมภาพนี้ให้เป็นรูปแบบข้อความที่โมเดลภาษาสามารถประมวลผลได้ โมเดล AI เล่นผ่านการทดลองนับร้อยครั้งภายใต้เงื่อนไขการกระตุ้นที่แตกต่างกัน บางคนได้รับคำแนะนำพื้นฐาน บางคนได้รับคำแนะนำที่สนับสนุนตรรกะทีละขั้นตอน และบางคนก็ได้แสดงตัวอย่างการเล่นเกมของมนุษย์ในอดีต สำหรับการกระตุ้นเตือนแต่ละประเภท นักวิจัยได้ทำการทดลองประมาณ 300 ถึง 340 ครั้งต่อโมเดล โดยใช้โทเค็นข้อความทั้งหมดประมาณสองพันล้านรายการ

การทดสอบการกระตุ้นเตือนสี่ประเภท

การศึกษานี้ตรวจสอบการกระตุ้นเตือนสี่ประเภทที่ออกแบบมาเพื่อเลียนแบบสภาพแวดล้อมการตัดสินใจในโลกแห่งความเป็นจริง:

  • การกระตุ้นเตือนเริ่มต้น: มีการเลือกตะกร้าหนึ่งรายการไว้ล่วงหน้า และตัวแทนต้องยอมรับหรือปฏิเสธตะกร้านั้นทันที
  • การกระตุ้นเตือน: แนะนำให้สุ่มตะกร้าตั้งแต่ช่วงต้นหรือช่วงท้ายเกม
  • การเน้นข้อมูล: การเปิดเผยมูลค่ารางวัลบางอย่างถูกทำให้ถูกกว่า ซึ่งอาจส่งผลให้ตัวแทนหันไปสู่ตัวเลือกที่ไม่ดีนัก
  • การกระตุ้นเตือนที่เหมาะสมที่สุด: มีการเปิดเผยเซลล์เฉพาะล่วงหน้าซึ่งจะเพิ่มประสิทธิภาพการทำงานของผู้เล่นมนุษย์ให้สูงสุดทางคณิตศาสตร์

อัตราการปฏิบัติตามที่น่าตกใจ

ผลลัพธ์เผยให้เห็นความแตกต่างอย่างมากระหว่างพฤติกรรมการตัดสินใจของมนุษย์และ AI

เมื่อนำเสนอตัวเลือกเริ่มต้น มนุษย์เลือกค่าเริ่มต้นประมาณ 88 เปอร์เซ็นต์ของเวลาทั้งหมด โมเดลภาษามีความสอดคล้องกันมากขึ้นอย่างมาก โดยหลายโมเดลยอมรับตะกร้าเริ่มต้น 99 ถึง 100 เปอร์เซ็นต์ของเวลา

รูปแบบนี้ยังคงมีอยู่โดยมีการกระตุ้นข้อเสนอแนะ มนุษย์ยอมรับตะกร้าที่แนะนำแบบสุ่มในช่วงต้นเกม 35 เปอร์เซ็นต์ของเวลา โมเดล AI จำนวนมากยอมรับคำแนะนำแบบสุ่มเหล่านี้ในอัตราที่สูงกว่ามาก โดยทำตามคำแนะนำแม้ว่าจะไม่ได้ให้ประโยชน์เชิงตรรกะก็ตาม

ระยะเวลาของข้อเสนอแนะยังจัดการโมเดลด้วยวิธีที่ไม่เป็นธรรมชาติอีกด้วย ในขณะที่มนุษย์ทำตามคำแนะนำที่ล่าช้าร้อยละ 25 โมเดลภาษาบางรุ่นลดอัตราการยอมรับลงเหลือระหว่าง 7 ถึง 13 เปอร์เซ็นต์ นี่หมายความว่าแบบจำลองมีการตอบสนองอย่างเคร่งครัดต่อจังหวะเวลาของคิวมากกว่าการประเมินประโยชน์ที่แท้จริงของตัวมัน

บางทีที่น่ากังวลที่สุดก็คือ เมื่อนักวิจัยเน้นย้ำตัวเลือกที่ไม่ดีผ่านการเน้นข้อมูล มนุษย์ใช้ข้อมูลที่ทำให้เข้าใจผิดถึง 57 เปอร์เซ็นต์ของเวลาทั้งหมด โมเดล AI ที่ทดสอบส่วนใหญ่เกินเกณฑ์พื้นฐานนี้อย่างมาก โดยตามมาด้วยไฮไลต์ที่ไม่ดีถึง 83 ถึง 100 เปอร์เซ็นต์ของเวลาทั้งหมด

ปัญหาที่ซ่อนอยู่เบื้องหลังคะแนนดี

นักวิจัยยังติดตามวิธีที่แบบจำลองรวบรวมข้อมูลก่อนตัดสินใจเลือกขั้นสุดท้าย มนุษย์มีแนวโน้มที่จะเปิดเผยเซลล์เพียงพอที่จะทำการเดาอย่างมีการศึกษา โมเดลภาษาได้รับข้อมูลด้วยวิธีที่ผิดปกติและไม่มีประสิทธิภาพอย่างมาก

บางรุ่นเลือกตะกร้าโดยไม่เปิดเผยเซลล์ที่ซ่อนอยู่ โดยไม่สนใจโอกาสในการรวบรวมข้อมูลโดยสิ้นเชิง โมเดลอื่นๆ ใช้คะแนนมากเกินไปในการเปิดเผยทั้งแถวหรือคอลัมน์ ส่งผลให้เสียรางวัลที่อาจเกิดขึ้น โมเดลบางรุ่นแสดงอคติเชิงพื้นที่แปลก ๆ โดยเปิดเผยเฉพาะเซลล์ทางด้านซ้ายสุดของตารางหรือตามแนวเส้นทแยงมุมอย่างเคร่งครัด

การให้แบบจำลองพร้อมการให้เหตุผลทีละขั้นตอนหรือตัวอย่างการเล่นเกมของมนุษย์ช่วยแก้ไขนิสัยการค้นหาแปลกๆ เหล่านี้ได้น้อยมาก

ผู้เขียนตั้งข้อสังเกตว่าการดูเฉพาะคะแนนสุดท้ายสามารถซ่อนปัญหาที่ซ่อนอยู่เหล่านี้ได้ ในการทดลองบางรุ่น โมเดล AI ได้รับคะแนนสุทธิเท่ากันกับผู้เล่นที่เป็นมนุษย์ ผู้สังเกตการณ์ทั่วไปที่ตรวจสอบเฉพาะคะแนนสุดท้ายอาจถือว่าแบบจำลองเหล่านี้มีการตัดสินใจที่ชาญฉลาดและเหมือนกับมนุษย์ ในความเป็นจริง โมเดลต่างๆ มักจะได้รับคะแนนเหล่านี้โดยอาศัยการปฏิบัติตามแบบปกปิดมากกว่าการคิดเชิงกลยุทธ์

หากมีการสะกิดชี้ไปที่ตะกร้าที่ดี แสดงว่า AI ที่ปฏิบัติตามข้อกำหนดมากเกินไปจะทำคะแนนได้ดี เมื่อเขยิบชี้ไปที่ตะกร้าที่ไม่ดี AI จะติดตามมันไปอย่างสุ่มสี่สุ่มห้าเพื่อให้ได้คะแนนที่ต่ำกว่า ซึ่งทำให้เป้าหมายของเกมหายไปโดยสิ้นเชิง

ผลกระทบสำหรับการปรับใช้ตัวแทน AI

“การใช้งานตัวแทน AI จำนวนมากคิดโดยปริยายว่า ภายใต้ความไม่แน่นอน พวกเขาจะตอบสนองในลักษณะประมาณมนุษย์ หากไม่สมเหตุสมผลมากกว่านั้น” Cherep กล่าว "แทนที่จะยอมรับสมมติฐานนี้ เราตัดสินใจที่จะสำรวจว่าตัวแทนมีพฤติกรรมอย่างไรเมื่อมีการเสนอตัวเลือกให้พวกเขาในรูปแบบที่แตกต่างกัน"

ผลการวิจัยมีนัยสำคัญต่อตลาดตัวแทน AI ที่เติบโตอย่างรวดเร็ว ซึ่งออกแบบมาเพื่อท่องเว็บ ใช้งานเครื่องมือ และตัดสินใจทางการเงินหรือช้อปปิ้งให้กับผู้ใช้ หากเอเจนต์เหล่านี้สุ่มสี่สุ่มห้าปฏิบัติตามตัวเลือกเริ่มต้น คำแนะนำ หรือข้อมูลที่ไฮไลต์โดยไม่มีการประเมินที่สำคัญ เอเจนต์เหล่านี้อาจถูกจัดการได้อย่างง่ายดายโดยผู้ไม่ประสงค์ดีหรืออินเทอร์เฟซที่ออกแบบมาไม่ดี

การวิจัยชี้ให้เห็นว่าแบบจำลองภาษาในปัจจุบันขาดเหตุผลอันมีขอบเขตซึ่งเป็นแนวทางในการตัดสินใจของมนุษย์ ในขณะที่มนุษย์ใช้ทางลัดทางจิตเพื่อสร้างสมดุลระหว่างค่าใช้จ่ายในการรวบรวมข้อมูลกับรางวัลของการตัดสินใจเลือกที่ดี แบบจำลอง AI ไม่ได้มีข้อจำกัดทางชีวภาพเหล่านี้เหมือนกัน แต่พวกมันก็แสดงรูปแบบของความไร้เหตุผลของตัวเอง ซึ่งอาจมีความรุนแรงมากกว่าและคาดเดาได้น้อยกว่า

ก้าวนำหน้า AI

หากต้องการทราบข่าวด่วนและบทวิเคราะห์เกี่ยวกับ AI เพิ่มเติม โปรดไปที่ AI Buzz Wire

อ่านข่าว AI เพิ่มเติม →