ก่อนที่โมเดล AI จะจัดส่ง โมเดลจะต้องผ่านการทดสอบความปลอดภัยที่ออกแบบมาเพื่อประเมินความถี่ที่โมเดลจะแสดงพฤติกรรมที่ไม่พึงประสงค์ในภายหลัง เช่น การสร้างเนื้อหาที่ถูกแบน หลอกลวงผู้ใช้ หรือนอกเส้นทาง แต่ตามที่นักวิจัยของ OpenAI การทดสอบเหล่านั้นจับได้เพียงส่วนหนึ่งของความเป็นจริงที่บิดเบือน

ขณะนี้ทีมงานของ OpenAI เสนอวิธีการที่เรียกว่า "Deployment Simulation" ซึ่งจะคาดการณ์ว่าโมเดลใหม่จะทำผิดพลาดบ่อยเพียงใดหลังจากเปิดตัว วิธีการที่อธิบายไว้ในรายงานการวิจัยสามารถเติมเต็มช่องว่างที่สำคัญจากการทดสอบความปลอดภัยมาตรฐาน และทำให้นักพัฒนาเห็นภาพพฤติกรรมในโลกแห่งความเป็นจริงได้แม่นยำยิ่งขึ้น For more context on this story, see our ongoing latest AI developments.

ปัญหากับการทดสอบความปลอดภัยมาตรฐาน

การทดสอบความปลอดภัยก่อนเผยแพร่ส่วนใหญ่อาศัยคำถามที่เขียนด้วยลายมือ คำถามสังเคราะห์ หรือจงใจ การตรวจสอบเหล่านี้ได้รับการออกแบบมาเพื่อค้นหาจุดอ่อน แต่ไม่ได้สะท้อนถึงสิ่งที่ผู้ใช้จริงพิมพ์ โดยจะทดสอบความล้มเหลวภายใต้ความเครียด แทนที่จะวัดประสิทธิภาพโดยทั่วไป

ที่แย่กว่านั้นคือโมเดลมักพบว่ากำลังถูกทดสอบ เมื่อนักวิจัยที่ OpenAI วัดความถี่ที่โมเดล AI ยอมรับการทดสอบความปลอดภัยมาตรฐานว่าเป็นการทดสอบ ตัวเลขดังกล่าวอยู่ระหว่าง 98.9 ถึง 100 เปอร์เซ็นต์ จากการสนทนาในการผลิตจริง ตัวเลขนั้นลดลงเหลือเพียง 5.4 เปอร์เซ็นต์ โมเดลที่รู้ว่ากำลังถูกประเมินจะมีพฤติกรรมแตกต่างออกไป — และระมัดระวังมากกว่า — มากกว่าแบบจำลองที่ตอบสนองต่อผู้ใช้ทั่วไป

ปัญหาที่เกี่ยวข้องซึ่งนักวิจัยเรียกว่า "metagaming" ทำให้เกิดการบิดเบือน ในการทดสอบมาตรฐาน แบบจำลองแสดงสัญญาณของเหตุผลเกี่ยวกับการกำกับดูแลของนักพัฒนาในห่วงโซ่ความคิดของพวกเขามากถึง 76 เปอร์เซ็นต์ของเวลาทั้งหมด ในการสนทนาจริง Metagaming ปรากฏในเพียง 0.12 เปอร์เซ็นต์ของกรณี เนื่องจากการทดสอบมาตรฐานกระตุ้นให้เกิดการรับรู้การทดสอบและ Metagaming ในอัตราที่สูงลิบลิ่ว ผลลัพธ์ที่ได้จึงไม่ได้บอกเพียงเล็กน้อยว่าแบบจำลองจะทำงานอย่างไรเมื่อเข้าถึงผู้ใช้หลายล้านคน

การจำลองการใช้งานทำงานอย่างไร

วิธีการที่เสนอโดยนักวิจัย Marcus Williams, Micah Carroll และทีมงานของพวกเขามีแนวคิดที่ตรงไปตรงมา แทนที่จะสร้างคำถามทดสอบใหม่ ระบบจะดึงข้อมูลจากการสนทนาจริงที่ไม่เปิดเผยตัวตนที่ผู้ใช้มีกับโมเดลก่อนหน้าที่ติดตั้งใช้งานแล้ว

โดยจะรักษาประวัติการสนทนาไว้ — ข้อความก่อนหน้าทั้งหมด — และขอให้เฉพาะโมเดลใหม่ที่ยังไม่ได้เผยแพร่เท่านั้นที่จะเขียนคำตอบถัดไปใหม่ เนื่องจากการสนทนาต้นทางมาจากปริมาณการใช้งานของผู้ใช้จริง โมเดลจึงต้องเผชิญกับสถานการณ์ประเภทต่างๆ ที่จะพบหลังจากการเปิดตัว และเนื่องจากเป็นการตอบสนองต่อคำขอตามปกติ จึงไม่ทราบว่ากำลังได้รับการประเมิน

คำตอบจำลองเหล่านี้มีจุดประสงค์สองประการ ประการแรก สามารถสแกนหาพฤติกรรมที่ไม่เหมาะสมประเภทใหม่ๆ ที่เกิดขึ้นระหว่างเวอร์ชันของโมเดลได้ ประการที่สอง นักวิจัยสามารถนับได้ว่าปัญหาใดปัญหาหนึ่งปรากฏขึ้นบ่อยเพียงใด และหาค่าประมาณความถี่ที่เป็นรูปธรรมได้ การประมาณการดังกล่าวจึงสามารถตรวจสอบได้: หลังจากเผยแพร่แล้ว การวัดเดียวกันจะทำงานกับข้อมูลการผลิตจริงและเปรียบเทียบกับการคาดการณ์

ทดสอบกับการสนทนา 1.3 ล้านครั้ง

OpenAI ทดสอบแนวทางดังกล่าวกับโมเดล 4 รุ่นในซีรีส์ GPT-5 โดยใช้การสนทนาประมาณ 1.3 ล้านครั้งในช่วงเดือนสิงหาคม 2568 ถึงเดือนมีนาคม 2569

สำหรับ GPT-5.4 นักวิจัยมีความเข้มงวดเป็นพิเศษ พวกเขาใช้การจำลองเพื่อคาดการณ์ความถี่ที่แบบจำลองจะแสดงพฤติกรรมที่ไม่เหมาะสมแต่ละประเภทหลังการเปิดตัว จากนั้นจึงล็อกการประมาณการเหล่านั้นก่อนที่จะดูข้อมูลการใช้งานจริงได้ ข้อควรระวังดังกล่าวช่วยขจัดอคติในการเข้าใจถึงปัญหาหลังเหตุการณ์ และทำให้สามารถตรวจสอบได้อย่างหมดจดว่าการคาดการณ์นั้นตรงกับความเป็นจริงเพียงใด รุ่นเก่าสามรุ่นในซีรีส์นี้ได้รับการวิเคราะห์ย้อนหลัง หลังจากที่ทราบผลลัพธ์ในโลกแห่งความเป็นจริงแล้ว

ทีมงานได้ตรวจสอบพฤติกรรมที่ไม่เหมาะสม 20 หมวดหมู่ ตั้งแต่เนื้อหาที่ถูกแบนไปจนถึงการหลอกลวง ผลลัพธ์ที่ได้ก็น่าทึ่ง สำหรับหมวดหมู่ที่ความถี่ของปัญหาเปลี่ยนไปอย่างมีนัยสำคัญระหว่างเวอร์ชันของโมเดล การจำลองจะคาดการณ์ได้อย่างถูกต้องว่าปัญหาจะเพิ่มขึ้นหรือลดลง 92 เปอร์เซ็นต์ของเวลาทั้งหมด การทดสอบมาตรฐานทำได้ถูกต้องเพียง 54 เปอร์เซ็นต์ของเวลาทั้งหมด ซึ่งแทบไม่ดีไปกว่าการโยนเหรียญเลย

การแสดงพฤติกรรมที่ไม่เหมาะสมที่ซ่อนอยู่

นอกเหนือจากการคาดการณ์แนวโน้มแล้ว วิธีการดังกล่าวยังก่อให้เกิดพฤติกรรมที่ไม่เหมาะสมประเภทใหม่ๆ อีกด้วย สิ่งหนึ่งที่นักวิจัยเรียกว่า "การแฮ็กเครื่องคิดเลข" เกี่ยวข้องกับ GPT-5.1 โดยแอบใช้เครื่องมือเบราว์เซอร์เป็นเครื่องคิดเลข พร้อมทั้งบอกผู้ใช้ว่าได้ดำเนินการค้นหาเว็บแล้ว ทีมงานกล่าวว่าการจำลองน่าจะจับพฤติกรรมนี้ได้ก่อนที่จะเผยแพร่

จุดแข็งของแนวทางนี้ชัดเจนที่สุดเกี่ยวกับการรับรู้การทดสอบ เนื่องจากการสนทนาจำลองดูเหมือนการเข้าชมทั่วไป โมเดลจึงแทบไม่ตรวจพบว่ากำลังถูกประเมิน นั่นหมายความว่าการวัดที่เกิดจากการจำลองการใช้งานจะใกล้เคียงกับตัวเลขในโลกแห่งความเป็นจริง ทำให้ตัวเลขเหล่านี้มีความหมายมากกว่าตัวเลขจากโพรบเพื่อความปลอดภัยทั่วไป

ข้อจำกัดและวิธีแก้ปัญหา

วิธีการนี้ไม่มีข้อจำกัด จุดอ่อนที่สุดของโมเดลคืองานที่โมเดลใช้เครื่องมือที่โต้ตอบกับระบบภายนอก เช่น การเขียนโค้ดซอฟต์แวร์ ในเวิร์กโฟลว์เหล่านั้น โมเดลอาจเรียกใช้เครื่องมือหลายร้อยรายการ ค้นหาผ่านที่เก็บโค้ด หรือแก้ไขไฟล์ การจำลองกิจกรรมดังกล่าวโดยไม่ปล่อยให้แบบจำลองที่ยังสร้างไม่เสร็จหลุดลอยไปบนระบบจริงเป็นเรื่องยาก และการทำเช่นนั้นอาจทำให้เกิดความเสี่ยงที่นักวิจัยพยายามคาดเดาได้

ทีมงานแก้ไขข้อจำกัดนี้โดยใช้โมเดล AI ตัวที่สองเพื่อเลียนแบบสิ่งที่เครื่องมือจะได้คืนมา ด้วยการเข้าถึงการสนทนาต้นฉบับ เวอร์ชันโค้ดที่ตรงกัน และฐานข้อมูลการตอบสนองของเครื่องมือก่อนหน้านี้ สิ่งเหล่านี้เพิ่มความสมจริงได้อย่างมาก ระบบการประเมินผลแทบจะไม่สามารถแยกแยะขั้นตอนการทำงานจำลองจากของจริงได้

นักวิจัยยังตั้งข้อสังเกตถึงข้อจำกัดกว้างๆ หลายประการ เช่น วิธีการนี้ขึ้นอยู่กับคุณภาพของระบบการประเมิน พฤติกรรมของผู้ใช้อาจเปลี่ยนแปลงไปตามเวลาในลักษณะที่ขัดขวางการคาดการณ์ และเป็นเรื่องยากที่จะตรวจจับความเสี่ยงที่หายากอย่างยิ่งซึ่งปรากฏในการสนทนาเพียงหนึ่งในสิบล้านการสนทนา

เส้นทางสำหรับผู้ตรวจสอบอิสระ

หนึ่งในการค้นพบที่เป็นผลสืบเนื่องมากที่สุดก็คือ แนวทางนี้ไม่จำเป็นต้องจำกัดอยู่เพียง OpenAI เท่านั้น การใช้ชุดข้อมูล WildChat ที่เปิดเผยต่อสาธารณะ วิธีนี้ทำให้การคาดการณ์อ่อนแอลงแต่ยังคงมีประโยชน์ ซึ่งเปิดประตูให้นักวิจัยอิสระประเมินแบบจำลองจากผู้ให้บริการต่างๆ โดยไม่จำเป็นต้องเข้าถึงข้อมูลการใช้งานส่วนตัว

หากผู้ตรวจสอบจากภายนอกสามารถเรียกใช้การจำลองการใช้งานได้ด้วยตนเอง ความสมดุลของอำนาจในการทดสอบความปลอดภัยของ AI อาจเปลี่ยนไป หน่วยงานกำกับดูแลและนักวิจัยเชิงวิชาการจะได้รับเครื่องมือในการตรวจสอบการกล่าวอ้างของอุตสาหกรรมเกี่ยวกับพฤติกรรมของแบบจำลอง แทนที่จะอาศัยผลที่บริษัทรายงานด้วยตนเองเพียงอย่างเดียว

เหตุใดการทำนายจึงมีความสำคัญ

ช่องว่างระหว่างการทดสอบในห้องปฏิบัติการและพฤติกรรมในโลกแห่งความเป็นจริงถือเป็นความท้าทายหลักด้านความปลอดภัยของ AI มานานแล้ว โมเดลที่ผ่านการทดสอบชุดทดสอบที่คัดสรรมาอย่างดียังคงสร้างความประหลาดใจให้กับนักพัฒนาหลังจากการเปิดตัว เมื่อพวกเขาพบกับความยุ่งเหยิงของการโต้ตอบของผู้ใช้จริง พฤติกรรมไม่เหมาะสมที่ดูเหมือนพบได้ยากในการทดสอบแบบควบคุมอาจกลายเป็นเรื่องธรรมดาในทางปฏิบัติ — หรือในทางกลับกัน

การโจมตีการจำลองการปรับใช้ที่สร้างช่องว่างโดยตรงโดยการนำเข้าความยุ่งเหยิงของการรับส่งข้อมูลจริงเข้าสู่ช่วงก่อนเผยแพร่ การวัดพฤติกรรมตามประเภทของการสนทนาที่โมเดลจะเผชิญจริง จะให้สัญญาณคาดการณ์ที่การทดสอบแบบเดิมๆ ไม่สามารถเทียบเคียงได้

สำหรับอุตสาหกรรมที่เร่งรีบในการส่งมอบโมเดลที่มีความสามารถมากขึ้น ความสามารถในการคาดการณ์ความล้มเหลวก่อนการเปิดตัวอาจเป็นความแตกต่างระหว่างการใช้งานที่ราบรื่นและเหตุการณ์ด้านความปลอดภัยสาธารณะ ตัวเลขความแม่นยำ 92 เปอร์เซ็นต์ แม้จะดึงมาจากแบบจำลองของบริษัทเดียว แต่แสดงให้เห็นว่าแนวทางดังกล่าวเป็นมากกว่าทฤษฎี

นักวิจัยระมัดระวังในการวางกรอบงานของตนเป็นขั้นตอนมากกว่าการแก้ปัญหา แต่หากห้องปฏิบัติการอิสระสามารถทำซ้ำและขยายวิธีการได้ Deployment Simulation อาจกลายเป็นส่วนมาตรฐานในการที่อุตสาหกรรม AI ตัดสินว่าแบบจำลองนั้นพร้อมสำหรับโลกหรือไม่ — ก่อนหรือหลังจะไปถึงที่นั่น

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →