Anthropic เผยแพร่การตรวจวัด Frontier Lab Pace เผยตัวแทน AI 30,000 คนที่ทำงานภายในบริษัท

Anthropic เผยแพร่ชุดการวัดตนเองโดยละเอียดในวันเสาร์โดยมีจุดประสงค์เพื่อให้สาธารณชน นักข่าว และรัฐบาลติดตามว่า AI ระดับแนวหน้าได้รับการพัฒนาอย่างรวดเร็วเพียงใด รวมถึงดัชนีแรกที่ไม่ซ้ำใครที่แสดงให้เห็นว่าการวิจัยของบริษัทเองนั้นดำเนินการโดย AI มากเพียงใด และการเปิดเผยที่ตัวแทน AI ประมาณ 30,000 รายกำลังทำการวิจัยและงานวิศวกรรมภายในบริษัทในช่วงเวลาใดก็ตาม

โพสต์ชื่อ "การวัดเพื่อทำความเข้าใจการพัฒนา AI ภายในห้องปฏิบัติการชายแดน" มาถึงประเด็นถกเถียงที่เป็นผลสืบเนื่องมากที่สุดในอุตสาหกรรม: การพัฒนาชายแดนควรจงใจชะลอหรือไม่ Dario Amodei เรียกร้องให้มีการประสานงานเพื่อ "ก้าวข้ามพรมแดน" ซึ่งเป็นข้อเสนอที่ทำให้ตลาดสั่นสะเทือน ฟ้องร้องผู้บริโภคในข้อกล่าวหาว่ามีการสมรู้ร่วมคิดในการเว้นจังหวะระหว่างห้องปฏิบัติการใหญ่ ๆ และแจ้งให้ประธานาธิบดีทรัมป์ประกาศ "กองกำลัง AI" ที่อุทิศตนเพื่อป้องกันการชะลอตัวใด ๆ กรอบของ Anthropic มีความชัดเจนเกี่ยวกับบริบทดังกล่าว: "ในขณะที่โลกพิจารณาการชะลอการพัฒนา AI ในระดับแนวหน้า ประชาชนก็ต้องการข้อมูลเพิ่มเติม"

การวัดสามแบบสำหรับการติดตามความคืบหน้าของ AI

บริษัทได้กำหนดขอบเขตการวัด 3 ประการที่ระบุว่าห้องปฏิบัติการชายแดนสามารถเผยแพร่เป็นประจำได้:

1. AI เองดำเนินการด้านการวิจัยและพัฒนา AI มากเพียงใด Anthropic สร้างต้นแบบ "ดัชนีการทำงานอัตโนมัติด้านการวิจัยและพัฒนาด้านมนุษยธรรม" โดยการจัดทำรายการงานวิจัยและพัฒนา AI ทุกประเภทที่ทำในบริษัท ประเมินว่างานแต่ละอย่างในปัจจุบันเป็นไปโดยอัตโนมัติเพียงใด และรวบรวมผลลัพธ์ การให้คะแนนใช้ระดับ "ระดับอัตโนมัติ" สาธารณะของ Epoch AI ซึ่งเริ่มจาก AL0 (ไม่เกี่ยวข้องกับ AI) ถึง AL5 (AI ทำงานอัตโนมัติเต็มรูปแบบโดยไม่มีมนุษย์อยู่ในวง) ในระดับนี้ AL3 หมายถึง AI "ทำงานร่วมกัน" — ทำงานชิ้นใหญ่ภายใต้การดูแลอย่างใกล้ชิดของมนุษย์ — ในขณะที่ AL4 หมายถึง AI “เป็นผู้นำ” โดยทำงานส่วนใหญ่ตั้งแต่ต้นทางถึงปลายทางจากการแจ้งเตือนระดับสูงในขณะที่มนุษย์ควบคุมดูแล

ประเด็นของดัชนีคือการวัดว่าห้องปฏิบัติการใดเข้าใกล้การพัฒนาตนเองแบบเรียกซ้ำได้มากเพียงใด ซึ่งเป็นแบบจำลองที่สร้างตัวตายตัวแทนของตนเองโดยอิสระเต็มรูปแบบ Anthropic ตั้งข้อสังเกตว่าแบบจำลองที่เร่งการพัฒนา AI "อาจทำให้มนุษย์เข้าใจหรือควบคุมระบบเหล่านี้มีความท้าทายมากขึ้น"

2. มีการดูแลการกระทำของเจ้าหน้าที่ AI ได้ดีเพียงใด นี่คือจุดที่ตัวเลข 30,000 ปรากฏขึ้น ณ เดือนสิงหาคม 2569 มีตัวแทนประมาณ 30,000 รายทำการวิจัยและวิศวกรรมในแต่ละครั้งภายในแพลตฟอร์มภายในที่มีการใช้งานมากที่สุดของ Anthropic โดยมอบหมายงานให้กันและกัน และทำงานกึ่งอัตโนมัติเป็นระยะเวลานาน บริษัทวัดสามสิ่งเกี่ยวกับการกำกับดูแลตัวแทนเหล่านั้น: ความครอบคลุม (ส่วนแบ่งของการดำเนินการของตัวแทนที่ผ่านการตรวจสอบก่อนหรือหลังการดำเนินการ) ตรวจสอบเวลาแฝง (ความรวดเร็วในการตรวจสอบการดำเนินการที่ถูกตั้งค่าสถานะ อันดับแรกโดยการตรวจสอบอัตโนมัติและจากนั้นโดยมนุษย์) และอัตราการยกระดับ (ส่วนแบ่งของกิจกรรมที่ถูกบล็อก เปลี่ยนเส้นทาง หรือติดธงเพื่อตรวจสอบ)

ข้อมูลการติดตามของ Anthropic จนถึงขณะนี้ชี้ให้เห็นว่าตัวแทนแต่ละรายไม่ค่อยมีพฤติกรรมที่ไม่เหมาะสม แต่บริษัทเตือนว่า "เมื่อมีตัวแทนหลายล้านหรือพันล้านรายที่ดำเนินงานในระบบเศรษฐกิจ แม้แต่เหตุการณ์ที่เกิดขึ้นได้ยากก็สามารถเกิดขึ้นได้เป็นประจำ"

3. วิธีการจัดสรรการประมวลผล การวัดครั้งที่สามติดตามวิธีการกระจายทรัพยากรการประมวลผลของห้องปฏิบัติการ ซึ่งเป็นอินพุตดิบที่สัมพันธ์กับความสามารถของโมเดล เมื่อรวมกับการวัดอื่นๆ อีกสองรายการ Anthropic ให้เหตุผลว่าสิ่งนี้ทำให้บุคคลภายนอกมีวิธีเชื่อมโยงอินพุตโมเดลกับเอาท์พุตของโมเดล ซึ่งช่วยเสริมการประเมินความสามารถที่บริษัทเผยแพร่แล้วผ่านรายงานความเสี่ยงของ Responsible Scaling Policy

ตัวเลขจะเคลื่อนไหวภายใต้การชะลอตัว

บรรทัดที่ชี้ประเด็นทางการเมืองมากที่สุดในโพสต์มุ่งเป้าไปที่การอภิปรายเรื่องจังหวะโดยตรง: Anthropic กล่าวว่า "คาดว่าตัวเลขเหล่านี้จะเปลี่ยนไปหากมีการประสานงานในการเว้นจังหวะชายแดน ตามที่ Dario Amodei CEO ของ Anthropic เรียกร้อง" กล่าวอีกนัยหนึ่ง หากอุตสาหกรรมชะลอตัวอย่างแท้จริง ตัวชี้วัดเหล่านี้คือวิธีที่ประชาชนสามารถตรวจสอบได้ และหากบริษัทต่างๆ อ้างว่ากำลังก้าวไปในขณะที่ตัวเลขของพวกเขาเพิ่มขึ้นเรื่อยๆ การวัดผลก็จะเปิดเผยเช่นกัน

การตรวจสอบโดยอิสระคือส่วนที่ขาดหายไป

Anthropic รับทราบถึงจุดอ่อนหลักของตัวชี้วัดที่รายงานด้วยตนเอง นั่นคือใช้แบบจำลองของตนเองในการประเมินระบบของตนเอง ซึ่งหมายความว่าแบบจำลอง "ผู้พิพากษา" สามารถแบ่งปันจุดบอดของแบบจำลองที่กำลังตรวจสอบได้ บริษัทยังตั้งข้อสังเกตถึงการขาดวิธีการทั่วไปในห้องปฏิบัติการต่างๆ ซึ่งทำให้การเปรียบเทียบทำได้ยาก

วิธีแก้ไขที่นำเสนอคือการฝังผู้ประเมินบุคคลที่สามอิสระจากหลายองค์กรภายใน Anthropic ทำให้พวกเขาสามารถเข้าถึงกระบวนการ ระบบ และข้อมูลภายใน เทียบได้กับสิ่งที่ทีมประเมินความเสี่ยงภายในเห็น บุคคลที่สามเหล่านี้จะตรวจสอบแนวทางปฏิบัติด้านความปลอดภัย รายงานเหตุการณ์ และติดตามตัวชี้วัดใหม่ บริษัทกล่าวว่า METR ซึ่งเป็นองค์กรไม่แสวงผลกำไรในการประเมิน ก่อนหน้านี้ได้ร่วมทีมแพลตฟอร์มการตรวจสอบออฟไลน์โดยอิสระ และมีแผนจะเผยแพร่การวัดเหล่านี้เป็นประจำในรูปแบบที่ผู้อื่นสามารถตรวจสอบได้

การวัดผลดังกล่าวเชื่อมโยงกับข้อเสนอ Advanced AI Framework ที่กว้างขึ้นของ Anthropic ซึ่งวาง "กฎเกณฑ์" สำหรับการเผยแพร่โมเดลชายแดน รวมถึงพันธกรณีด้านความโปร่งใสที่รัฐบาลอาจต้องการ เช่น รายงานความเสี่ยงที่เป็นมาตรฐาน

การทดสอบสำหรับทั้งอุตสาหกรรม

ความสำคัญที่ลึกซึ้งของโพสต์อาจมีการแข่งขัน Anthropic กำลังท้าทายห้องปฏิบัติการชายแดนทุกแห่งในการเผยแพร่ตัวเลขเดียวกัน โดยอ้างว่า "นักพัฒนาชายแดนคนใดก็ตามสามารถเผยแพร่มาตรการเหล่านี้เป็นประจำ โดยใช้ระเบียบวิธีสาธารณะ" หากคู่แข่งลดลง ความแตกต่างจะกลายเป็นจุดข้อมูลของตัวเองในการอภิปรายเรื่องความปลอดภัย หากพวกเขาเห็นด้วย อุตสาหกรรมนี้จะได้รับมาตรฐานทั่วไปเป็นอันดับแรกสำหรับความรวดเร็วของ AI ที่ก้าวหน้าอย่างแท้จริง

ในตอนนี้ บริษัทจะรายงานตัวเลขด้วยตนเองซึ่งมีความสนใจอย่างชัดเจนในการสนทนาแบบเว้นจังหวะ แต่สิ่งเหล่านี้เป็นตัวแทนของบางสิ่งที่ยังขาดการถกเถียง นั่นคือ การวัดที่เป็นรูปธรรมและทำซ้ำได้ ที่จะแสดงให้เห็นว่าเขตแดนกำลังเร่งขึ้น มั่นคง หรือชะลอตัวลงจริงๆ

ก้าวนำหน้า AI

การเปิดเผยห้องปฏิบัติการชายแดนเช่นนี้จะเกิดขึ้นทุกสัปดาห์ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับการวิจัย AI และความครอบคลุมของอุตสาหกรรม โปรดติดตาม AI Buzz Wire

อ่านข่าว AI ล่าสุด →