Google DeepMind ประกาศเมื่อวันที่ 27 สิงหาคม สิ่งที่เรียกว่าการประเมินแบบ double-blind ครั้งแรกของโลกสำหรับโมเดล AI ระดับแนวหน้าที่เป็นกรรมสิทธิ์ ซึ่งเป็นการตั้งค่าการเข้ารหัสที่ออกแบบมาเพื่อให้ผู้เชี่ยวชาญภายนอกทดสอบโมเดลของ Google โดยที่ฝ่ายใดฝ่ายหนึ่งไม่เคยเห็นความลับของอีกฝ่าย

นักบินดังกล่าวได้อธิบายไว้ในบล็อกโพสต์ของ DeepMind โดย William Isaac, Sol Messing และ Kristian Lum ใช้งานโมเดล Gemini Flash Lite ผ่านเกณฑ์มาตรฐานที่เป็นความลับภายในสภาพแวดล้อมที่ปลอดภัยด้วยการเข้ารหัส Google DeepMind ร่วมมือกับ Singapore AI Safety Institute, OpenMined, AVERI และ MLCommons เกี่ยวกับความพยายามนี้ และได้เผยแพร่รายงานทางเทคนิคที่อธิบายวิธีการดังกล่าว

การประกาศดังกล่าวกล่าวถึงจุดอ่อนที่ยังคงมีอยู่อย่างต่อเนื่องที่สุดในการประเมิน AI นั่นก็คือ การปนเปื้อนของเกณฑ์มาตรฐาน สำหรับผู้อ่านที่ติดตาม ข่าวการวิจัย AI นี่ถือเป็นความพยายามที่เป็นรูปธรรมอย่างหนึ่งในการทำให้การทดสอบโมเดลของบุคคลที่สามมีความสะอาดและสามารถตรวจสอบได้

อธิบายปัญหาการปนเปื้อนแล้ว

DeepMind เปิดการประกาศด้วยการเปรียบเทียบในชั้นเรียน หากนักเรียนเห็นข้อสอบล่วงหน้าโดยไม่ได้ตั้งใจ คะแนนเต็มจะไม่มีความหมายอะไร ตรรกะเดียวกันนี้ใช้กับโมเดลชายแดน: หากโมเดลต้องเผชิญกับคำถามในการวัดประสิทธิภาพ — ผ่านข้อมูลการฝึกอบรม ชุดประเมินที่รั่วไหล หรือการเพิ่มประสิทธิภาพก่อนหน้า — คะแนนที่ได้อาจเกินความสามารถที่แท้จริงอย่างมาก

นี่ไม่ใช่ข้อกังวลเชิงสมมุติ การปนเปื้อนของเกณฑ์มาตรฐานยังคงยึดมั่นในสนามนี้มานานหลายปี โดยนักวิจัยแสดงให้เห็นซ้ำแล้วซ้ำเล่าว่าชุดการทดสอบยอดนิยมรั่วไหลเข้าสู่กลุ่มการฝึกอบรมระดับเว็บ และแบบจำลองนั้นสามารถปรับได้อย่างเงียบๆ เพื่อให้ทำงานได้ดีกับการประเมินที่ทราบ เมื่อรัฐบาลและองค์กรใช้คะแนนมาตรฐานในการตัดสินใจด้านการจัดซื้อจัดจ้างและนโยบาย จำนวนตัวเลขที่สูงเกินจริงจะส่งผลที่ตามมาอย่างแท้จริง

ในขณะที่โมเดลมีความสามารถมากขึ้น DeepMind แย้งว่า เดิมพันจะสูงที่สุดสำหรับหมวดหมู่การประเมินที่ละเอียดอ่อน เช่น การทดสอบความปลอดภัยทางไซเบอร์และการประเมินของรัฐบาล ซึ่งคะแนนที่ปนเปื้อนไม่ได้เป็นเพียงการทำให้เข้าใจผิดเท่านั้น แต่ยังเป็นอันตรายอีกด้วย

การแลกเปลี่ยนเก่า: คำสั่งของคุณหรือน้ำหนักของเรา

ในอดีต การประเมินจากภายนอกที่มีเดิมพันสูงบังคับให้ต้องเลือกอย่างไม่สบายใจ ผู้ประเมินส่งการทดสอบให้กับผู้ให้บริการโมเดล โดยเสี่ยงที่ผู้ให้บริการจะเห็นคำถามทดสอบล่วงหน้า หรือผู้ให้บริการส่งมอบตุ้มน้ำหนักแบบจำลองให้กับผู้ประเมิน ซึ่งเสี่ยงต่อการสูญเสียทรัพย์สินทางปัญญาที่มีค่าที่สุด

โปรโตคอลที่ไม่มีการเข้าสู่ระบบและการป้องกันตามสัญญาที่เข้มงวดได้เก็บการแจ้งเตือนการทดสอบภายนอกไว้เป็นความลับมานานแล้ว DeepMind เขียน แต่คำสัญญาเหล่านั้นบังคับใช้โดยนโยบายมากกว่าทางคณิตศาสตร์ การประเมินแบบปกปิดสองชั้นจะแทนที่ความไว้วางใจนั้นด้วยการพิสูจน์การเข้ารหัส

กล่องเข้ารหัสทำงานอย่างไร

โครงการนำร่องใช้ Confidential Space ซึ่งเป็นส่วนหนึ่งของพอร์ตโฟลิโอ Confidential Computing ของ Google Cloud เพื่อสร้างสิ่งที่ DeepMind อธิบายว่าเป็น "กล่อง" ที่เข้ารหัส ภายในการประเมินทั้งสองครึ่งหนึ่ง — เกณฑ์มาตรฐานที่เป็นความลับและแบบจำลองที่เป็นกรรมสิทธิ์ — ยังคงเป็นส่วนตัวสำหรับเจ้าของที่เกี่ยวข้อง และสภาพแวดล้อมจะตรวจสอบข้อเท็จจริงนั้นด้วยการเข้ารหัส

ผลลัพธ์เป็นแบบ double-blind โดยแท้จริงแล้ว ผู้ประเมินภายนอกไม่สามารถมองเห็นน้ำหนักแบบจำลอง Gemini และ Google ไม่เห็นข้อความทดสอบของผู้ประเมิน ทั้งสองฝ่ายไม่จำเป็นต้องเชื่อถือคำสัญญาของอีกฝ่าย เนื่องจากสถาปัตยกรรมทำให้การรั่วไหลเป็นไปไม่ได้ตามหลักการ ที่สำคัญ การตั้งค่ายังป้องกันไม่ให้ใช้ข้อมูลการประเมินในภายหลังเพื่อเพิ่มประสิทธิภาพการทำงานของโมเดลก่อนการทดสอบในอนาคต — ปิดวงจรที่การปนเปื้อนมักจะคืบคลานกลับเข้ามา

เหตุใดจึงสำคัญสำหรับการกำกับดูแล AI

ความสำคัญที่กว้างขึ้นมีมากกว่าแบบจำลองราศีเมถุนรูปแบบเดียว องค์กรอิสระ เช่น สถาบันความปลอดภัยของ AI ห้องปฏิบัติการทางวิชาการ หน่วยงานกำกับดูแล ได้ต่อสู้ดิ้นรนมานานหลายปีในการประเมินแบบจำลองขอบเขตแบบปิดอย่างเข้มงวด เนื่องจากผู้ให้บริการไม่สามารถมอบน้ำหนักได้ และผู้ประเมินจะไม่ส่งมอบเกณฑ์มาตรฐาน สถาบันความปลอดภัย AI รายใหญ่ทุกแห่งต้องรับมือกับปัญหานี้เมื่อลงนามข้อตกลงการประเมินกับห้องปฏิบัติการชายแดน

หากนักบินยังยืนหยัดอยู่ได้ ก็จะเสนอเทมเพลตภายใต้อำนาจอธิปไตยของข้อมูลและทรัพย์สินทางปัญญาที่จะคงอยู่ได้โดยการพิจารณาโดยการตรวจสอบอย่างเป็นอิสระ DeepMind กล่าวว่าหวังว่าโครงการนำร่องนี้จะ "สร้างขอบเขตใหม่สำหรับการกำกับดูแลโมเดล ช่วยให้อุตสาหกรรมในวงกว้างสร้างระบบ AI ที่ปลอดภัย เชื่อถือได้มากขึ้น และเชื่อถือได้อย่างกว้างขวาง"

รายชื่อพันธมิตรมีความโดดเด่นในตัวเอง สถาบันความปลอดภัย AI ของสิงคโปร์เป็นหนึ่งในหน่วยงานประเมินระดับชาติที่กระตือรือร้นมากที่สุด OpenMined สร้างเครื่องมือคำนวณที่รักษาความเป็นส่วนตัว MLCommons สร้างมาตรฐานการเปรียบเทียบอุตสาหกรรม AVERI รวบรวมกลุ่มความร่วมมือที่ประกอบด้วยหน่วยงานรัฐบาล นักวิชาการ และหน่วยงานมาตรฐานอุตสาหกรรม ซึ่งเป็นกลุ่มการเลือกตั้งที่จำเป็นต้องนำการประเมินแบบปกปิดสองทางมาใช้เพื่อให้กลายเป็นบรรทัดฐานมากกว่าการสาธิต

การแข่งขันทางอาวุธเหนือความซื่อสัตย์ในการประเมิน

การประกาศดังกล่าวเกิดขึ้นท่ามกลางการตรวจสอบอย่างละเอียดมากขึ้นว่าบริษัท AI ให้คะแนนตนเองอย่างไร ห้องทดลองเผชิญกับข้อกล่าวหาที่เพิ่มขึ้นเกี่ยวกับการเลือกเกณฑ์มาตรฐานที่เป็นประโยชน์ และกระดานผู้นำอิสระก็มีอิทธิพลอย่างชัดเจนเนื่องจากอยู่นอกเหนือการควบคุมของผู้ขาย การประเมินแบบปกปิดสองเท่าจะขยายความเคลื่อนไหวอย่างเป็นอิสระภายในโครงสร้างพื้นฐานของผู้ขาย ซึ่งเป็นการเปลี่ยนแปลงที่โดดเด่นสำหรับบริษัทต่างๆ ที่ในอดีตยืนกรานที่จะควบคุมทุกรายละเอียดเกี่ยวกับวิธีการทดสอบแบบจำลองของตน

สำหรับตอนนี้ โครงการนำร่องครอบคลุมโมเดลหนึ่งรุ่นและชุดเกณฑ์มาตรฐานที่เป็นความลับอีกชุดหนึ่ง แต่หากการตรวจสอบด้วยการเข้ารหัสลับ การประเมินที่ปราศจากการปนเปื้อนกลายเป็นกิจวัตรทางเทคนิค การประเมินดังกล่าวอาจเปลี่ยนแปลงสิ่งที่องค์กรและหน่วยงานกำกับดูแลคาดหวังจากห้องปฏิบัติการชายแดนทุกแห่ง และทำให้ "ความน่าเชื่อถือในคะแนนของเรา" ขายได้ยากขึ้นในตลาดที่สร้างขึ้นจากการกล่าวอ้างที่ตรวจสอบได้เพิ่มมากขึ้น

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →