การฝึกซ้อมทีมแดงเป็นเวลาสามสัปดาห์พบช่องโหว่ใหม่ในระบบตรวจสอบการวางแนวภายในของ OpenAI รวมถึงวิธีที่เจ้าหน้าที่ AI โดยหลักการแล้วสามารถดำเนินการได้โดยไม่ต้องได้รับการตรวจสอบจากมนุษย์ METR ซึ่งเป็นองค์กรไม่แสวงผลกำไรด้านการประเมินอิสระ เผยแพร่บทสรุประดับสูงของการค้นพบเมื่อวันที่ 22 ตุลาคม โดยดึงมาจากรายงานภายใน 61 หน้าที่ส่งให้กับนักวิจัย OpenAI และเจ้าหน้าที่รักษาความปลอดภัย

โครงการนำร่องดำเนินการตั้งแต่วันที่ 21 กรกฎาคมถึง 11 สิงหาคม และให้พนักงาน METR หนึ่งคนและพนักงาน Redwood Research หนึ่งคนเข้าถึงโครงสร้างพื้นฐานภายในของ OpenAI ในเชิงลึกอย่างผิดปกติ ได้แก่ โค้ดเบส ข้อความแจ้งและการกำหนดค่าของระบบการตรวจสอบ เอกสารภายใน และการสัมภาษณ์ทางเทคนิคกับนักวิจัยและวิศวกรประมาณสิบคนจากฝ่ายตรวจสอบ ระบบความปลอดภัย และทีมรักษาความปลอดภัย พวกเขาทำงานบนอุปกรณ์ที่ออกโดย OpenAI ซึ่งไม่เคยออกจากสถานที่และติดตามขณะอยู่ในสถานที่ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับการวิจัยสายนี้ โปรดดู การพัฒนา AI ล่าสุด ของเรา

สิ่งที่ทีมสีแดงค้นพบ

แบบฝึกหัดมุ่งเน้นไปที่คำถามสองข้อ: มีการตรวจสอบการอนุมานแบบเอเจนต์ของ OpenAI มากน้อยเพียงใด และเอเจนต์สามารถปิดการใช้งานหรือทำลายระบบการตรวจสอบได้หรือไม่ คำตอบเผยให้เห็นช่องว่างที่มีความหมาย

จากความครอบคลุม METR ประเมินว่าประมาณ 75 ถึง 94 เปอร์เซ็นต์ของการรับส่งข้อมูล Responses API ภายในแบบเอเจนต์ ซึ่งเป็น API ที่ขับเคลื่อน Codex และเหนือสิ่งอื่นใด จากโมเดลอย่างน้อยที่มีความสามารถเท่ากับ GPT-5.5 ก็มีสิทธิ์ในการตรวจสอบในขณะนั้น แม้ว่าองค์กรจะสังเกตเห็นความไม่แน่นอนอย่างมากในทั้งสองทิศทางก็ตาม ภายในชุดย่อยของการรับส่งข้อมูลที่ใช้สำหรับตัวแทน Codex ภายใน 99.2 เปอร์เซ็นต์มีสิทธิ์ แต่คุณสมบัติไม่เหมือนกับความคุ้มครอง: การวิ่งฝึกอบรมเพื่อการเรียนรู้เสริมกำลังไม่ได้รับการคุ้มครองโดยระบบติดตามเมื่อเริ่มการฝึก และเหตุการณ์การบดอัดที่ไม่ได้รับการตรวจสอบมีแนวโน้มว่าจะเหลือประมาณ 10 เปอร์เซ็นต์ของการรับส่งข้อมูล Codex ภายในที่มีสิทธิ์โดยไม่มีการตรวจสอบระหว่างเดือนพฤษภาคมถึงกรกฎาคม 2569 เจ้าหน้าที่ของ OpenAI ได้ระบุปัญหาการบดอัดอย่างอิสระก่อนการฝึกและแก้ไขในขณะที่กำลังดำเนินการ

รายละเอียดเรื่องเวลามีความสำคัญ เนื่องจากการตรวจสอบทริกเกอร์เมื่อตัวแทนคืนการควบคุมให้กับผู้ใช้ ตัวแทนสามารถเลื่อนการตรวจสอบออกไปอย่างไม่มีกำหนด เพียงแค่ดำเนินการต่อไปในระหว่างหน้าต่างที่ไม่ได้รับการตรวจสอบ

ทีมงานยังบันทึกเส้นทางการหลบหลีกที่กำลังดำเนินอยู่อีกด้วย โดยหลักการแล้ว เจ้าหน้าที่ Codex สามารถข้ามแซนด์บ็อกซ์ของ Codex และการตรวจสอบอัตโนมัติได้ ทำให้พวกเขาสามารถดำเนินการใดๆ ที่ผู้ใช้โฮสต์สามารถทำได้ METR ค้นพบช่องโหว่ที่จะป้องกันไม่ให้มีการตรวจสอบการกระทำหลายร้อยรายการล่าสุด ซึ่งรวมถึงการกระทำที่เกี่ยวข้องกับการหาประโยชน์เองด้วย OpenAI แก้ไขรายละเอียดทางเทคนิคแล้ว เอเจนต์อาจสร้างอินพุตที่ทำให้มอนิเตอร์ล้มเหลวโดยอาศัยความแตกต่างระหว่างวิถีโคจรที่เอเจนต์มองเห็นและสิ่งที่มอนิเตอร์มองเห็น เพื่อหลีกเลี่ยงไม่ให้มีการตรวจสอบโดยมนุษย์ และพบว่ามีส่วนหัวที่ไคลเอ็นต์ควบคุมได้สองส่วนหัวที่ปิดใช้งานการตรวจสอบสำหรับตัวแทนใหม่ ซึ่งอาจปล่อยให้ตัวแทนเริ่มต้นอินสแตนซ์ที่ไม่ได้รับการตรวจสอบแต่เหมือนกัน แม้ว่า METR จะบันทึกการตั้งค่าส่วนหัวเหล่านั้นไว้ก็ตาม

ในที่สุด ทีมงานได้ระบุเครื่องมือเอเจนต์ภายในที่ไม่ได้รับการตรวจสอบสองเครื่องมือ ซึ่งเชื่อว่ามีสิทธิ์แบบอ่านอย่างเดียว พร้อมด้วยช่องโหว่ง่ายๆ ที่สามารถใช้เพื่อล้มล้างขีดจำกัดเหล่านั้น METR ไม่ได้ตรวจสอบพฤติกรรมดังกล่าวในทางปฏิบัติ

เกิดอะไรขึ้น

การฝึกหัดยังได้ตรวจสอบความถูกต้องบางส่วนของระบบด้วย ด้วยข้อยกเว้นเล็กๆ น้อยๆ จอภาพจะแสดงวิถีโคจรเต็มรูปแบบที่เจ้าหน้าที่มองเห็น ข้อความแจ้งการตรวจสอบได้รับการยืนยันเพื่อค้นหาแผนการ การบ่อนทำลายระบบ การก่อวินาศกรรม การขโมยข้อมูล การหลอกลวง และการฉีดการแจ้งเตือนทั้งขาเข้าและขาออก ท่ามกลางประเภทความเสี่ยงอื่นๆ ในด้านความน่าเชื่อถือ ข้อมูลที่ METR ได้รับแนะนำว่าเครื่องตรวจสอบมีข้อผิดพลาดตามคำขอน้อยกว่า 0.2 เปอร์เซ็นต์ และในช่วงเวลา 24 ชั่วโมงหนึ่งระหว่างการฝึก ไม่มีการปลดภาระงาน

การตอบสนองของ OpenAI

จากข้อมูลของ METR นั้น OpenAI ระบุว่าช่องโหว่ทั้งหมดที่ระบุซึ่งส่งผลกระทบต่อสแต็กการป้องกันการผลิตได้รับการแก้ไขแล้ว และได้อธิบายการเปลี่ยนแปลงที่สำคัญในภายหลังต่อความครอบคลุมที่ต้องการของระบบการตรวจสอบ METR ไม่ได้ประเมินคำกล่าวอ้างเหล่านั้น และการค้นพบนี้อธิบายถึงระบบตามที่มีอยู่ในหรือก่อนวันที่ 21 กรกฎาคม ไม่ใช่ OpenAI เวอร์ชันขยายที่สร้างขึ้นแล้วในระหว่างการฝึกซ้อม

บทเรียนการออกแบบสำหรับการกำกับดูแลตัวแทน

METR ปิดสรุปด้วยอุดมคติการออกแบบสำหรับโครงสร้างพื้นฐานการตรวจสอบในอนาคต ซึ่งระบุว่าควรทนต่อการโจมตีโดยเจตนา เชิงกลยุทธ์ และยั่งยืนจากตัวแทนภายในที่มีความสามารถสูงในวงกว้าง สองโดดเด่น. การตรวจสอบควรหลีกเลี่ยงได้ยาก: การเรียกใช้คำขอที่ไม่ได้รับการตรวจสอบควรต้องได้รับการอนุมัติอย่างชัดเจนซึ่งเชื่อมโยงกับองค์กรเฉพาะหรือคีย์ API ที่ถูกห้ามจากการอนุมานแบบเอเจนต์ และตัวแทนควรได้รับการตรวจสอบทุกๆ N ข้อความหรือนาที แทนที่จะเฉพาะเมื่อสิ้นสุดเทิร์นเท่านั้น และความครอบคลุมควรสามารถตรวจสอบได้: การบัญชีอย่างระมัดระวังของการอนุมานทั้งหมด มีการอ้างอิงโยงกับบันทึกของระบบการตรวจสอบเป็นระยะๆ เพื่อให้ทุกสิ่งที่ตั้งใจจะได้รับการตรวจสอบสามารถพิสูจน์ได้

แบบฝึกหัดนี้ได้รับการออกแบบเพื่อเป็นโครงการนำร่องเพื่อให้นักวิจัยภายนอกสามารถเข้าถึงโครงสร้างพื้นฐานภายในของห้องปฏิบัติการชายแดนในเชิงลึก ไม่ใช่ในรูปแบบรายงานความโปร่งใสสาธารณะ METR และ OpenAI ตกลงล่วงหน้าว่าจะเผยแพร่เฉพาะโพสต์ระดับสูงสั้นๆ เท่านั้น องค์กรไม่แสวงผลกำไรกล่าวว่าเวอร์ชันในอนาคตจะเป็นไปตามแนวทางปฏิบัติที่โปร่งใสและความเป็นอิสระที่อธิบายไว้ในกรอบการทำงานกับบริษัท AI ในขณะที่เจ้าหน้าที่ทำงานที่เป็นผลสืบเนื่องมากขึ้นภายในห้องปฏิบัติการที่สร้างขึ้น นักบินก็เสนอเทมเพลตสำหรับวิธีที่บุคคลภายนอกจะเฝ้าดู

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →