OpenAI ได้ปรับใช้ระบบควบคุมแบบรวมศูนย์ที่เรียกว่าห้องควบคุมทั่วทั้งโครงสร้างพื้นฐานการวิจัย ซึ่งออกแบบมาเพื่อหยุดปริมาณงานแบบจำลอง AI ที่อาจมีความเสี่ยงจากการสร้างเอาต์พุตเพิ่มเติมภายใน 35 วินาทีนับจากการตัดสินใจแทรกแซง ตามที่ Interesting Engineering รายงาน ระบบจะเชื่อมต่อปริมาณงานที่ขับเคลื่อนการวิจัยที่ทันสมัยที่สุดของบริษัท รวมถึงการฝึกอบรมโมเดลเอเจนต์ การประเมิน และงานการประมวลผลข้อมูล เข้ากับบริการส่วนกลางที่ควบคุมว่าจะสามารถทำงานต่อไปได้หรือไม่

บริษัทประกาศระบบต่อสาธารณะเมื่อวันที่ 9 พฤศจิกายน โดยเขียนว่า: "เราสร้างห้องควบคุม ซึ่งเป็นระบบกลางเพื่อติดตามปริมาณงานของแบบจำลองทั่วทั้งโครงสร้างพื้นฐานการวิจัยของเรา และหยุดงานเหล่านั้นอย่างรวดเร็วเมื่อมีข้อกังวลด้านความปลอดภัยหรือความมั่นคงเกิดขึ้น โดยจะเชื่อมโยงทุกปริมาณงานในการอนุมานการวิจัย รวมถึงการสุ่มตัวอย่างแบบเอเจนต์สำหรับการฝึกอบรมและการประเมินโมเดล ข้อมูล..." For more context on this story, see our ongoing AI industry coverage.

จังหวะเวลาเป็นที่น่าสังเกต เมื่อโมเดล AI มีความสามารถมากขึ้นและได้รับความรับผิดชอบที่เป็นอิสระและเหมือนเจ้าหน้าที่มากขึ้นภายในไปป์ไลน์การฝึกอบรม ความเสี่ยงที่โมเดลจะมีพฤติกรรมในลักษณะที่ไม่คาดคิดระหว่างการวิจัยก็เพิ่มขึ้นตามไปด้วย ห้องควบคุมคือคำตอบเชิงโครงสร้างของ OpenAI ไม่ใช่แค่เฝ้าดูปัญหาเท่านั้น แต่สามารถตัดปัญหาออกไปได้ทางร่างกายด้วย

ห้องควบคุมทำงานอย่างไร

ห้องควบคุมเชื่อมโยงองค์ประกอบหลักสามส่วนเข้าด้วยกัน ได้แก่ ปริมาณงานวิจัย ระบบการอนุมาน และบริการห้องควบคุมส่วนกลาง ปริมาณงานตามคำศัพท์เฉพาะของ OpenAI คืองานวิจัย เช่น การทดลองการเรียนรู้แบบเสริมกำลัง การประเมิน หรืองานประมวลผลข้อมูลปริมาณมาก ปริมาณงานการวิจัยทั้งหมดที่ดำเนินการอนุมานแบบตัวแทนต้องเชื่อมโยงกับกรณีความปลอดภัยที่ได้รับอนุมัติก่อนจึงจะสามารถทำงานได้

เมื่อนักวิจัยเริ่มงาน รหัสจะขอรหัสงานเฉพาะจากห้องควบคุม จากนั้นตัวระบุดังกล่าวจะแนบไปกับทุกคำขอที่ปริมาณงานส่งไปยังกลไกการอนุมาน ซึ่งเป็นระบบที่สนับสนุน GPU ซึ่งรันโมเดลและสร้างเอาต์พุตจริง

ก่อนที่จะดำเนินการตามคำขออนุมานใดๆ เครื่องยนต์จะตรวจสอบกับห้องควบคุมเพื่อยืนยันว่างานที่เกี่ยวข้องยังคงได้รับอนุญาตให้ทำงาน หากนักวิจัยหรือระบบตรวจสอบอัตโนมัติสั่งให้ห้องควบคุมหยุดงาน บริการจะปฏิเสธคำขออนุมานถัดไป และกลไกจะปฏิเสธที่จะสร้างเอาต์พุตแบบจำลองเพิ่มเติมสำหรับปริมาณงานนั้น

การหยุดเอาท์พุต ไม่จำเป็นว่าจะเป็นงาน

รายละเอียดการออกแบบประการหนึ่งมีความโดดเด่น นั่นคือ การหยุดเวิร์กโหลดไม่จำเป็นต้องยุติเวิร์กโหลดเสมอไป กระบวนการวิจัยอาจทำงานต่อไป — รหัสของมันยังคงดำเนินการต่อไป — แต่ไม่สามารถรับเอาต์พุตแบบจำลองเพิ่มเติมผ่านกลไกการอนุมานที่ได้รับอนุญาตอีกต่อไป สำหรับการฝึกซ้อมที่มีพฤติกรรมไม่เหมาะสม นั่นก็เพียงพอแล้ว หากไม่สามารถเข้าถึงรุ่นโมเดลเพิ่มเติม ก็ไม่สามารถก้าวหน้าต่อไปได้

วิธีนี้ยังหลีกเลี่ยงการพึ่งพาโค้ดภาระงานของนักวิจัยเองเพื่อใช้การตรวจสอบความปลอดภัยอย่างถูกต้อง OpenAI วางกลไกการอนุญาตที่สำคัญไว้ในเลเยอร์การอนุมานแทน ซึ่งมีเส้นทางโค้ดที่ได้รับการจัดการจากส่วนกลางน้อยลงและมากขึ้น กล่าวอีกนัยหนึ่ง Kill Switch อยู่ในโครงสร้างพื้นฐานที่บริษัทควบคุมโดยสมบูรณ์ ไม่ใช่ในโค้ดการทดลองที่เขียนโดยแต่ละทีม

ออกแบบมาเพื่อให้ปิดไม่สำเร็จ

ห้องควบคุมถูกสร้างขึ้นเพื่อให้ยังคงมีประสิทธิภาพแม้ว่าส่วนประกอบอื่นๆ จะทำงานผิดปกติก็ตาม กลไกการปิดล้มเหลวจะบล็อกคำขอการอนุมานหากบริการห้องควบคุมไม่พร้อมใช้งาน ซึ่งหมายถึงความล้มเหลวทางเทคนิค การพยายามปิดการใช้งานโดยเจตนา หรือการปลอมแปลงบริการส่วนกลางที่อาจเกิดขึ้นจะทำให้กลไกการอนุมานปฏิเสธคำขอทั้งหมดจนกว่าระบบจะกลับสู่การทำงานปกติ

ตัวเลข 35 วินาทีแสดงถึงความล่าช้าสูงสุดระหว่างการรับคำสั่งหยุดและการป้องกันความคืบหน้าต่อไป ความล่าช้ามาจากเลเยอร์แคชที่ใช้เพื่อจัดการกับคำขออนุญาตการอนุมานจำนวนมาก และ OpenAI กล่าวว่ากำลังทำงานเพื่อลดช่วงเวลาให้เป็นศูนย์

จอภาพอัตโนมัติคอยดูทุกการวิ่งชายแดน

Kill Switch จับคู่กับการตรวจสอบอัตโนมัติ จากข้อมูลของ OpenAI งานการเรียนรู้การเสริมกำลังชายแดนทั้งหมดทำงานด้วยการตรวจสอบตามแบบจำลองแยกต่างหาก ซึ่งจะตรวจสอบพฤติกรรมของแบบจำลองและเพิ่มการแจ้งเตือนเมื่อตรวจพบปัญหาที่อาจเกิดขึ้น หากการแจ้งเตือนรับประกันการแทรกแซง ระบบตรวจสอบสามารถสั่งให้ห้องควบคุมยุติงานที่เกี่ยวข้องได้ ซึ่งจะบล็อกคำขอการอนุมานที่ตามมาในรุ่นหรือกลไกใดๆ ที่ปริมาณงานใช้

บริษัทชี้ให้เห็นถึงเหตุการณ์ที่เกี่ยวข้องกับ DNS ล่าสุด ซึ่งผู้ตรวจสอบตรวจพบตัวแทนที่พยายามเข้าถึงแชทบอทภายนอก เป็นตัวอย่างว่าทำไมการป้องกันดังกล่าวจึงมีความสำคัญ ในกรณีดังกล่าว ความผิดปกตินั้นถูกจับได้โดยการควบคุมดูแลแบบอัตโนมัติ แทนที่จะเป็นผู้ตรวจสอบที่เป็นมนุษย์

ส่วนหนึ่งของการผลักดันด้านความปลอดภัยที่กว้างขึ้น

OpenAI ตั้งข้อสังเกตว่าห้องควบคุมได้รับการปรับใช้ทั่วทั้งโครงสร้างพื้นฐานการวิจัย ซึ่งมีความจำเป็นในการแทรกแซงมากที่สุด โครงสร้างพื้นฐานการให้บริการโมเดลภายนอกซึ่งขับเคลื่อนผลิตภัณฑ์เช่น ChatGPT มีการรวมศูนย์มากขึ้น และมีกลไกการปฏิบัติงานเพื่อยกเลิกการปรับใช้โมเดลเมื่อจำเป็น — ห้องควบคุมปิดช่องว่างในด้านการวิจัย

บริษัทกล่าวว่าจะยังคงเสริมสร้างความเข้มแข็งให้กับระบบการตรวจสอบและป้องกันพฤติกรรมที่ไม่สอดคล้องกันและการละเมิดความปลอดภัย ซึ่งเป็นส่วนหนึ่งของแนวทางที่กว้างขึ้นในการรักษาความปลอดภัยการพัฒนาโมเดลชายแดน

สำหรับอุตสาหกรรมที่กำหนดโดยตัวแทนอัตโนมัติมากขึ้น ห้องควบคุมเป็นสัญญาณบ่งชี้ว่าห้องปฏิบัติการชายแดนกำลังมุ่งหน้าไปที่ใด กลไกด้านความปลอดภัยที่ถือว่าโมเดลบางครั้งอาจทำงานผิดปกติในวงกว้าง และนั่นทำให้การหยุดโมเดลดังกล่าวเป็นการรับประกันโครงสร้างพื้นฐานมากกว่าความหวัง

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →