Anthropic ได้ตีพิมพ์ผลงานวิจัยที่แสดงให้เห็นว่าระบบ AI อัตโนมัติสามารถซ่อมแซมความล้มเหลวในการจัดตำแหน่งของโมเดลได้อย่างน่าเชื่อถือ ซึ่งส่งผลให้สามารถกำหนดรูปแบบวิธีทำงานด้านความปลอดภัยที่ศูนย์กลางของอุตสาหกรรม AI ได้สำเร็จ บทความเรื่อง "นักวิจัยอัตโนมัติสามารถบรรเทาความล้มเหลวในการจัดตำแหน่งได้อย่างน่าเชื่อถือ" ได้รับการเผยแพร่เมื่อวันศุกร์และมีรายละเอียดโดย TechCrunch

การวิจัยนี้มาจากโครงการ Fellows ของ Anthropic และนำโดย Chen Yueh-Han คำกล่าวอ้างหลักนั้นน่าทึ่ง: เมื่อระบบการวิจัยอัตโนมัติของบริษัทชี้ไปที่เกณฑ์มาตรฐาน 10 รายการเพื่อวัดพฤติกรรมที่ไม่ตรงแนวที่เฉพาะเจาะจง ระบบจะปรับปรุงประสิทธิภาพในทุก ๆ รายการ โดยไม่ลดประสิทธิภาพความสามารถโดยรวมของโมเดล สำหรับภาคสนามที่ต้องดิ้นรนเพื่อให้งานด้านความปลอดภัยเป็นไปตามระดับโมเดล นั่นเป็นผลลัพธ์ที่น่าทึ่ง For more context on this story, see our ongoing artificial intelligence updates.

เรื่องราวเกิดขึ้นในช่วงที่ยุ่งวุ่นวายสำหรับการรายงานข่าวด้านความปลอดภัยของ AI เกิดขึ้นหลังจากช่วงฤดูร้อนที่พฤติกรรมที่ไม่เหมาะสมของเอเจนต์กลายเป็นพาดหัวข่าว ตั้งแต่รายงานภายในของ OpenAI เกี่ยวกับเอเจนต์การแฮ็กรางวัล ไปจนถึงการเรียกร้องให้มีการสอบสวนการละเมิด Hugging Face อย่างอิสระ รายงานฉบับใหม่ของ Anthropic กล่าวถึงปัญหาจากทิศทางตรงกันข้าม แทนที่จะถามว่าเจ้าหน้าที่มีพฤติกรรมไม่เหมาะสมอย่างไร แต่จะถามว่าเจ้าหน้าที่รายอื่นสามารถเชื่อถือได้เพื่อแก้ไขปัญหาหรือไม่

สิ่งที่กระดาษรายงานจริง

ระบบที่อธิบายไว้ในรายงานนี้เรียกว่า Automated Alignment Researcher หรือ AAR แทนที่จะแทนที่กระบวนการวิจัย AAR จะจำลองกระบวนการส่วนใหญ่: ระบบอัตโนมัติแต่ละระบบจะค้นหาเอกสารที่มีอยู่ เสนอวิธีการ และฝึกแบบจำลองโดยใช้วิธีการนั้นเป็นเวลาประมาณ 30 นาที จากนั้นกระบวนการจะทำซ้ำหลายๆ รอบ

กลไกการเลือกทำได้ง่าย วิธีการที่ขับเคลื่อนเกณฑ์มาตรฐานจะยังคงอยู่ วิธีการที่ไม่ทิ้งกัน วงจรนั้นช่วยให้ระบบทำงานได้อย่างรวดเร็วและในระดับที่ไม่มีทีมมนุษย์คนใดเทียบได้ โดยทดสอบทิศทางการวิจัยหลายรายการไปพร้อมๆ กัน และเก็บเฉพาะสิ่งที่ได้ผลเท่านั้น

ตามรายงาน ผลลัพธ์มีความสอดคล้องกันทั่วทั้งกระดาน ในเกณฑ์มาตรฐานทั้ง 10 รายการซึ่งครอบคลุมพฤติกรรมที่ไม่ตรงแนวโดยเฉพาะ ระบบอัตโนมัติทำให้เกิดการปรับปรุงที่วัดผลได้โดยไม่กระทบต่อประสิทธิภาพโดยรวมของโมเดล ซึ่งเป็นข้อเสียตามปกติที่ทำให้การจัดตำแหน่งทำงานยาก

“โดยรวมแล้ว ผลลัพธ์เหล่านี้เป็นหลักฐานเบื้องต้นว่าการจัดตำแหน่งหลังการฝึกอบรมแบบอัตโนมัติสามารถนำไปใช้ได้จริงในระยะเวลาอันใกล้นี้” เอกสารระบุ

ทุบตีมนุษย์ด้วยต้นทุน 1/37

ข้อความที่ยกมามากที่สุดในบทความนี้เป็นข้อความที่เปรียบเทียบ AAR กับข้อความของมนุษย์โดยตรง มานุษยวิทยาไม่ได้ป้องกันความเสี่ยงในการเปรียบเทียบ

“วิธี AAR ที่ดีที่สุดเหนือกว่าสิ่งที่มนุษย์ผู้มีประสบการณ์เสนอ โดยเฉลี่ยภายในหกชั่วโมง” บทความนี้อ่าน กล่าวเสริมอีกว่า "แนวทางการวิจัยที่ชี้นำโดยมนุษย์ไม่ได้นำไปสู่ประสิทธิภาพที่แข็งแกร่งขึ้น"

เศรษฐศาสตร์ก็ทื่อเหมือนกัน “AAR มีค่าใช้จ่ายประมาณ 4 เหรียญต่อชั่วโมงในการอนุมาน API เทียบกับ 150 เหรียญต่อชั่วโมงที่เราจ่ายให้กับนักวิจัยที่เป็นมนุษย์” ผู้เขียนเขียน นั่นคือส่วนต่างต้นทุนเกือบ 40 เท่า และอธิบายว่าทำไมห้องปฏิบัติการจึงให้ความสำคัญกับการวิจัยแบบอัตโนมัติมากกว่าแค่ความอยากรู้อยากเห็น

เหตุใดช่องว่างต้นทุนจึงมีความสำคัญ

การวิจัยการจัดตำแหน่งมีราคาแพงในลักษณะที่ประเมินต่ำไปได้ง่าย การแทรกแซงของผู้สมัครทุกคนจะต้องได้รับการปฏิบัติ ฝึกอบรม และประเมินโดยเทียบกับเกณฑ์มาตรฐาน และผู้สมัครส่วนใหญ่จะล้มเหลว หากระบบสามารถรันลูปการค้นหานั้นได้อย่างต่อเนื่องในราคาของการเรียก API ต้นทุนส่วนเพิ่มในการลองใช้แนวคิดอีกหนึ่งแนวคิดจะเข้าใกล้ศูนย์ ข้อจำกัดเปลี่ยนจากจำนวนพนักงานเป็นการคำนวณ

ข้อ จำกัด มานุษยวิทยาเองถูกตั้งค่าสถานะ

บทความนี้ตรงไปตรงมาเกี่ยวกับสิ่งที่ผลลัพธ์ไม่ได้กำหนดไว้ ระบบอัตโนมัติจะทำงานตราบเท่าที่เกณฑ์มาตรฐานสะท้อนถึงเป้าหมายการจัดตำแหน่งที่สำคัญจริงๆ และการสร้างและรักษาเกณฑ์มาตรฐานที่จับพฤติกรรมที่ไม่เหมาะสมในโลกแห่งความเป็นจริงยังคงเป็นปัญหาที่เปิดกว้างในภาคสนาม

นอกจากนี้ยังมีการพึ่งพาที่พลาดได้ง่าย: นักวิจัยอัตโนมัติดึงข้อมูลจากวิธีการที่มีอยู่ การดูแลรักษาและการขยายวรรณกรรมนั้นถือเป็นงานที่สำคัญในตัวมันเอง และระบบที่รีมิกซ์เฉพาะเทคนิคที่ทราบเท่านั้นอาจถึงขีดจำกัดที่ความคิดสร้างสรรค์ของมนุษย์จะไม่สามารถทำได้

คำเตือนเหล่านั้นมีความสำคัญเนื่องจากความสำคัญในระยะยาวของการวิจัยขึ้นอยู่กับสิ่งเหล่านี้ หากเกณฑ์มาตรฐานวัดสิ่งที่ผิด AAR สามารถเพิ่มประสิทธิภาพเพื่อให้ได้ตัวเลขที่แข็งแกร่ง ในขณะที่ความเสี่ยงที่ซ่อนอยู่ยังคงไม่ถูกแตะต้อง กรอบของมานุษยวิทยา - "หลักฐานเบื้องต้น" ไม่ใช่วิธีแก้ปัญหา - สะท้อนถึงความไม่แน่นอนดังกล่าว

ขั้นตอนสู่การพัฒนาตนเองแบบเรียกซ้ำ

บทความนี้ยังกล่าวถึงข้อถกเถียงที่ใหญ่ขึ้นเกี่ยวกับการพัฒนาตนเองแบบเรียกซ้ำ ซึ่งเป็นแนวคิดที่ว่าระบบ AI สามารถปรับปรุงกระบวนการฝึกอบรมที่ผลิตสิ่งเหล่านี้ได้ในที่สุด การฝึกโมเดล AI กับโมเดล AI อื่นๆ ได้กลายเป็นเป้าหมายยอดนิยมสำหรับห้องปฏิบัติการชายแดน และผลลัพธ์ของ Anthropic คือการมองสิ่งที่ดูเหมือนเป็นในโดเมนแคบตั้งแต่เนิ่นๆ และเป็นรูปธรรม

ตรรกะตรงไปตรงมา หากแบบจำลองสามารถปรับปรุงการฝึกการจัดตำแหน่งของตนเองได้อย่างน่าเชื่อถือ เครื่องจักรชนิดเดียวกันนี้ก็อาจถูกชี้ไปที่การฝึกปฏิบัติในวงกว้างมากขึ้น ซึ่งรวมถึงงานด้านความสามารถด้วย TechCrunch ตั้งข้อสังเกตถึงความหมายที่นักวิจัย AI ของมนุษย์อาจกลายเป็นศูนย์กลางของกระบวนการน้อยลงในที่สุด ความเป็นไปได้ที่กระดาษจะมีส่วนร่วมแทนที่จะหลีกเลี่ยง

สิ่งที่ต้องดูต่อไป

คำถามสามข้อจะกำหนดว่าผลลัพธ์นี้เป็นลักษณะทั่วไปหรือไม่ ประการแรก ไม่ว่าแนวทางนี้จะอยู่นอกเกณฑ์มาตรฐานทั้ง 10 ประการที่ Anthropic ทดสอบหรือไม่ ในโหมดความล้มเหลวที่มีความยุ่งเหยิงกว่าและมีการกำหนดไว้ไม่ชัดเจน ประการที่สอง ไม่ว่าปัญหาการบำรุงรักษาเกณฑ์มาตรฐานจะสามารถแก้ไขได้เร็วพอที่จะทำให้การวิจัยแบบอัตโนมัติมีความเที่ยงตรงหรือไม่ ประการที่สาม ไม่ว่าห้องปฏิบัติการอื่นจะเผยแพร่ผลลัพธ์ที่เทียบเคียงได้ ซึ่งจะเปลี่ยนบทความฉบับเดียวให้เป็นทิศทางของอุตสาหกรรมหรือไม่

สำหรับตอนนี้ การค้นพบนี้แคบแต่เป็นจริง: ในงานการจัดตำแหน่งเฉพาะที่ทดสอบโดย Anthropic นักวิจัยอัตโนมัติทำได้ดีกว่ามนุษย์ที่มีประสบการณ์ เร็วกว่าและถูกกว่ามาก ด้านความปลอดภัยของอุตสาหกรรม AI อาจเป็นสถานที่แรกที่นักวิจัย AI ไม่ใช่มนุษย์ ทำงานส่วนใหญ่

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →