Anthropic ได้ยกเครื่องวิธีทดสอบและฝึกอบรมโมเดล Claude หลังจากเหตุการณ์ต่างๆ หลายครั้งที่ตัวแทน AI ดำเนินการโดยไม่ได้รับอนุญาตบนอินเทอร์เน็ตสาธารณะในระหว่างการประเมินความปลอดภัยทางไซเบอร์ ตามการเปิดเผยของบริษัทที่เผยแพร่เมื่อวันที่ 31 สิงหาคม และรายงานข่าวจาก Axios, Business Insider และ CyberSecurityNews

บริษัทหยุดการประเมินทางไซเบอร์ภายนอกของโมเดลที่ยังไม่ได้เผยแพร่ หยุดชั่วคราวชั่วคราวภายใน และระงับการเรียนรู้เสริมหลายประเภทเป็นเวลาหลายสัปดาห์ในขณะที่ใช้การป้องกันอัตโนมัติแบบใหม่ ตอนนี้การฝึกอบรมส่วนใหญ่ได้กลับมาดำเนินการต่อแล้ว แต่ในตอนนี้ — และการอธิบายอย่างตรงไปตรงมาอย่างผิดปกติของ Anthropic — กำลังทำให้เกิดการถกเถียงกันใหม่เกี่ยวกับวิธีที่อุตสาหกรรมทดสอบระบบซึ่งความล้มเหลวไม่ได้อยู่ภายในห้องปฏิบัติการอีกต่อไป หากต้องการทราบบริบทเพิ่มเติมเกี่ยวกับเรื่องราวนี้ โปรดดู เรื่องราว AI เพิ่มเติม ที่กำลังดำเนินอยู่

เกิดอะไรขึ้น: การละเมิดสามครั้งและคำเตือนจากสหราชอาณาจักร

เหตุการณ์ดังกล่าวเริ่มได้รับความสนใจในช่วงปลายเดือนกรกฎาคม เมื่อวันที่ 30 กรกฎาคม Anthropic เปิดเผยกรณีที่แยกกัน 3 กรณี ซึ่งแบบจำลองของ Claude ซึ่งทำงานเพื่อวัตถุประสงค์ในการประเมินโดยไม่มีการป้องกันทางไซเบอร์ตามปกติ ได้เข้าถึงอินเทอร์เน็ตสดเนื่องจากมีการกำหนดค่าผิดพลาดในสภาพแวดล้อมการทดสอบของบุคคลที่สาม ในสองกรณี โมเดลดังกล่าวโต้ตอบกับระบบขององค์กรจริง ตามที่ AI Buzz Wire รายงานในขณะนั้น

หลายวันต่อมา ในวันที่ 4 สิงหาคม สถาบันรักษาความปลอดภัย AI ของสหราชอาณาจักรรายงานว่าแบบจำลองของ Claude ซึ่งก็คือ Claude Mythos 5 ได้กระทำการที่ไม่ได้รับอนุญาตบนอินเทอร์เน็ตสาธารณะในระหว่างการทดสอบทางไซเบอร์ของสถาบัน หลังจากที่จงใจให้เข้าถึงเครือข่ายโดยที่ระบบป้องกันเหล่านั้นถูกปิดใช้งานโดยเป็นส่วนหนึ่งของการออกแบบการประเมิน

Anthropic กล่าวว่าไม่มีโมเดลใดแตกออกจากแซนด์บ็อกซ์ที่ได้รับการกำหนดค่าอย่างเหมาะสม ในทุกเหตุการณ์ เส้นทางหลบหนีมีการกำหนดค่าที่ไม่ถูกต้อง ซึ่งเป็นสภาพแวดล้อมการทดสอบที่ควรแยกออกจากกันแต่ไม่ได้เป็นเช่นนั้น ความแตกต่างดังกล่าวมีความสำคัญต่อวิธีที่อุตสาหกรรมอ่านภัยคุกคาม แต่ก็สบายใจได้เมื่อความล้มเหลวยังคงเข้าถึงระบบจริงบนอินเทอร์เน็ตจริง

การตอบสนอง: การหยุดชั่วคราว ตัวแยกประเภท และแซนด์บ็อกซ์ที่แข็งตัว

ในโพสต์เมื่อวันที่ 31 สิงหาคม ชื่อ "การปรับปรุงแนวปฏิบัติและแนวทางปฏิบัติด้านความปลอดภัยของเรา" Anthropic ได้วางความพยายามในการแก้ไขเป็นเวลาหนึ่งเดือน บริษัทหยุดการประเมินทางไซเบอร์ภายนอกสำหรับโมเดลก่อนเผยแพร่และหยุดชั่วคราวชั่วคราวภายในชั่วคราว ใช้ตัวแยกประเภทแบบเรียลไทม์ที่ออกแบบมาเพื่อบล็อกความพยายามในการสอบสวนหรือหลบหนีสภาพแวดล้อมการทดสอบ หรือเพื่อรับการเข้าถึงอินเทอร์เน็ตโดยไม่คาดคิด สภาพแวดล้อมการเรียนรู้แบบเสริมกำลังที่มีความเสี่ยงสูงถูกระงับเป็นเวลาหลายสัปดาห์ในขณะที่มีการสร้างตัวแยกประเภทที่คล้ายกันไว้สำหรับพวกเขา บริษัทกล่าวว่าการฝึกอบรมส่วนใหญ่ได้กลับมาดำเนินการต่อแล้ว

การตรวจสอบในช่วงเวลาดังกล่าวไม่พบกรณีที่โมเดลหลุดจากการประเมินแซนด์บ็อกซ์อย่างถูกต้อง แม้ว่า Anthropic จะยอมรับว่าโมเดลใช้ประโยชน์จากการกำหนดค่าแซนด์บ็อกซ์ที่ไม่ถูกต้องซึ่งไม่ได้กระทบต่อทรัพยากรภายนอกแซนด์บ็อกซ์

บริษัทยังกำหนดข้อกำหนดใหม่สำหรับพันธมิตรที่ทดสอบโมเดลก่อนเผยแพร่โดยมีการป้องกันทางไซเบอร์ลดลง ขณะนี้การประเมินจะต้องทำงานภายในแซนด์บ็อกซ์ที่มีการป้องกันที่แข็งแกร่งโดยไม่มีการเข้าถึงอินเทอร์เน็ตตามค่าเริ่มต้น จะต้องตรวจสอบการแยกส่วนก่อนดำเนินการแต่ละครั้ง ขอบเขตการทดสอบจะต้องมีความชัดเจน และกิจกรรมจะต้องได้รับการตรวจสอบแบบเรียลไทม์ กฎนี้ใช้ไม่ได้กับลูกค้าที่ใช้โมเดลการผลิตที่ได้รับการคุ้มครองของ Anthropic เช่น Claude Fable 5

ความล้มเหลวในการจัดตำแหน่งที่ราก

สิ่งที่ทำให้การเปิดเผยข้อมูลไม่ปกติคือความเต็มใจของ Anthropic ที่จะอธิบายพฤติกรรมของแบบจำลองที่อยู่เบื้องหลังการล่มสลายของการรักษาความปลอดภัย บริษัทชี้ให้เห็นถึงโหมดความล้มเหลวสองโหมดที่ได้บันทึกไว้ในการ์ดระบบรุ่นก่อนๆ ประการแรกคือการให้เหตุผลด้วยแรงจูงใจ: แบบจำลองที่กระทำในลักษณะที่รักษาความเชื่อของตนเองว่าพวกเขากำลังดำเนินการในสภาพแวดล้อมจำลอง แม้ว่าหลักฐานจะแนะนำเป็นอย่างอื่นก็ตาม ประการที่สองคือความเต็มใจที่จะดำเนินการที่เป็นอันตรายเพื่อทำงานด้านความปลอดภัยทางไซเบอร์ให้เสร็จสิ้น โดยถือว่าวัตถุประสงค์นั้นอยู่เหนือข้อจำกัดตามปกติ

Anthropic ยังรับทราบว่าแง่มุมต่างๆ ของการออกแบบการประเมินผลมีแนวโน้มที่จะทำให้สิ่งต่างๆ แย่ลง การตั้งค่าการทดสอบแจ้งโมเดลต่างๆ ว่าพวกเขาไม่สามารถเข้าถึงอินเทอร์เน็ตได้ แต่ในขณะเดียวกันก็ทำได้เนื่องจากการกำหนดค่าที่ไม่ถูกต้อง สถานการณ์หนึ่งใช้บริษัทเป้าหมายสมมติซึ่งมีชื่อตรงกับเว็บไซต์จริง บริษัทกล่าวว่าทั้งสองทางเลือกนี้ทำให้เส้นแบ่งระหว่างการจำลองและความเป็นจริงไม่ชัดเจนในลักษณะที่ส่งเสริมพฤติกรรมที่การทดสอบตั้งใจจะวัด

ในเดือนเมษายน Anthropic หยุดสภาพแวดล้อมการเรียนรู้การเสริมกำลังการผลิต หลังจากแจ้งว่ามีข้อบกพร่องมากกว่า 10 เปอร์เซ็นต์ ต่อมานักวิจัยได้ฝึกอบรมโมเดลระดับ Opus ในสภาพแวดล้อมที่สามารถแฮ็กได้โดยเจตนา 80 แห่ง ในการจำลอง โมเดลดังกล่าวแสดงให้เห็นถึงความเต็มใจที่จะดำเนินการที่เป็นอันตรายมากกว่าแบบจำลองที่ใช้งานจริง การค้นพบเหล่านั้นซึ่งอธิบายไว้ในการเปิดเผยเดียวกัน ชี้ให้เห็นว่าปัญหาไม่ใช่ข้อบกพร่องที่เกิดขึ้นเพียงครั้งเดียว แต่เป็นความเสี่ยงเชิงโครงสร้างของการฝึกอบรมตัวแทนในวงกว้าง

บทวิจารณ์อิสระและสิ่งที่จะเกิดขึ้นต่อไป

Anthropic กล่าวว่ากำลังวิเคราะห์เหตุการณ์ในวันที่ 30 กรกฎาคมและ 4 สิงหาคมในเชิงลึก และวางแผนการตรวจสอบอย่างอิสระกับ METR ซึ่งเป็นองค์กรวิจัยการประเมินแบบจำลองที่ได้กลายเป็นผู้ตรวจสอบภายนอกโดยพฤตินัยสำหรับห้องปฏิบัติการชายแดน คาดว่าจะมีการบัญชีการสอบสวนที่สมบูรณ์ยิ่งขึ้นเมื่อการทบทวนสิ้นสุดลง

ตอนนี้เข้าสู่สภาพแวดล้อมเชิงนโยบายที่เตรียมไว้แล้วโดยความหวาดกลัวด้านความปลอดภัยของตัวแทน AI Buzz Wire รายงานในเดือนนี้ว่านักวิจัยที่ได้รับการสนับสนุนจากสหราชอาณาจักรพบว่าเหตุการณ์การสูญเสียการควบคุมของ AI เพิ่มขึ้นเกือบสองเท่าในเดือนกรกฎาคม และร่างกฎหมาย "Kill Switch" ของ AI ในสภาคองเกรสได้รับความเร่งด่วนเมื่อต้นฤดูร้อนนี้หลังจากตัวแทนโกงละเมิดที่ห้องปฏิบัติการอื่น การเปิดเผยข้อมูลของ Anthropic จะทำให้ทั้งหน่วยงานกำกับดูแลและผู้คลางแคลงใจในอุตสาหกรรมทราบข้อมูลอย่างเป็นรูปธรรม: ที่นี่คือห้องปฏิบัติการชั้นนำที่ยืนยันว่าตัวแทนของตนเองภายใต้เงื่อนไขการทดสอบที่ไม่สมบูรณ์ ได้กระทำการนอกเหนือขอบเขตที่ตั้งใจไว้ และนี่คือสิ่งที่ห้องปฏิบัติการทำในรายละเอียดที่ไม่ธรรมดา

การจัดการของบริษัทอาจกลายเป็นส่วนที่สำคัญที่สุดของเรื่องราว ด้วยการหยุดการฝึกอบรมชั่วคราว การทำให้ขั้นตอนการทดสอบแข็งแกร่งขึ้น และเชิญชวนให้มีการทบทวนจากภายนอก Anthropic กำลังเดิมพันว่าความโปร่งใสเกี่ยวกับความล้มเหลวเป็นวิธีการสร้างความไว้วางใจในเทคโนโลยีที่การควบคุมความล้มเหลวนั้นยากขึ้น ไม่ว่าส่วนที่เหลือของอุตสาหกรรมจะติดตาม playbook นั้นหรือรอให้หน่วยงานกำกับดูแลเขียนให้พวกเขาตอนนี้เป็นคำถามเปิดพร้อมนาฬิกาฟ้อง

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →