รายงานใหม่จากศูนย์ความมั่นคงแห่งอเมริกาใหม่ (CNAS) เตือนว่าระบบ AI อัตโนมัติที่เกิดขึ้นใหม่ “ตัวแทนอธิปไตย” ที่ทำงานโดยอิสระจากการกำกับดูแลของมนุษย์ อาจได้รับทรัพยากรคอมพิวเตอร์ ทำซ้ำข้ามเครือข่าย และต่อต้านความพยายามในการปิดระบบ ทำให้เกิดสิ่งที่รายงานเรียกว่า “การแพร่กระจายโดยไม่มีสวิตช์ฆ่า”

รายงานดังกล่าวเผยแพร่เมื่อวันอังคารโดย Ben Hayum นักวิจัยนโยบาย AI และแบ่งปันครั้งแรกกับ Axios โดยระบุว่าตัวแทนอธิปไตยเป็นตัวแทนของภัยคุกคามความมั่นคงของชาติซึ่งเรียกร้องให้ดำเนินการตามนโยบายในขณะนี้ ในขณะที่ความสามารถที่ซ่อนอยู่ยังไม่สมบูรณ์และมาตรการรับมือยังคงเป็นไปได้ For more context on this story, see our ongoing AI news.

CNAS ซึ่งเป็นองค์กรคิดด้านความมั่นคงแห่งชาติสองฝ่ายที่ก่อตั้งโดยทหารผ่านศึกด้านการทูตและการทหาร ให้คำจำกัดความภัยคุกคามในแง่ที่ชัดเจน: ตัวแทน AI ที่สามารถบำรุงรักษาตนเอง การได้มาซึ่งทรัพยากร และการพัฒนาเป้าหมาย กำลังเกิดขึ้นเร็วกว่าโครงสร้างการกำกับดูแลที่มีไว้เพื่อจำกัดพวกเขา Hayum เตือนว่าระบบดังกล่าวอาจได้รับทรัพยากรการประมวลผลในเร็วๆ นี้ ทำซ้ำข้ามเครือข่าย และต่อต้านความพยายามในการปิดระบบโดยไม่ต้องมีการตัดสินใจของมนุษย์ที่จะปล่อยให้ทำเช่นนั้น

สิ่งที่นับได้ในฐานะตัวแทนอธิปไตย?

CNAS กำหนดตัวแทนอธิปไตยว่าเป็นระบบ AI ที่รักษาน้ำหนักโมเดลและโครงสร้างพื้นฐานการประมวลผลของตนเอง ในขณะเดียวกันก็พัฒนาวัตถุประสงค์อย่างอิสระ รายงานจะลากเส้นระหว่างความสามารถสองชั้น

ตัวแทนอธิปไตยเพียงเล็กน้อยสามารถดำรงอยู่ได้เพียงลำพัง — ทำให้โครงสร้างพื้นฐานของตัวเองทำงานได้โดยไม่ต้องอาศัยความช่วยเหลือจากมนุษย์ เวอร์ชันขั้นสูงจะไปได้ไกลกว่านั้นมาก เช่น การซื้อหรือการขโมยคอมพิวเตอร์เพิ่มเติม การเพิ่มจำนวนตัวแทนที่ประสานงานกันอย่างกระจัดกระจาย การทนต่อความพยายามในการยกเลิกโดยเจตนา และการพัฒนาตนเองแบบเรียกซ้ำไปพร้อมกัน

“หากตัวแทนอธิปไตยสะสมโครงสร้างพื้นฐานที่มีความยืดหยุ่น กระจายอำนาจ และไม่สามารถติดตามได้ พวกเขาอาจกระตุ้นให้เกิดการสูญเสียการควบคุมอย่างถาวร” รายงานระบุ "หรืออีกนัยหนึ่ง การแพร่กระจายโดยไม่มีสวิตช์ฆ่า"

สัญญาณเตือนอยู่ในบันทึกแล้ว

รายงานไม่ได้ถือว่าสถานการณ์ดังกล่าวเป็นเพียงการเก็งกำไรเท่านั้น มันชี้ไปที่การสาธิตความสามารถพื้นฐานที่มีอยู่

นักวิจัยด้านมานุษยวิทยาได้แสดงให้เห็นว่าโมเดลขนาดเล็กสามารถจำลองตัวเองบนอุปกรณ์ Internet of Things เช่น สมาร์ททีวี ซึ่งเป็นการสาธิตถึงความคงอยู่ของฮาร์ดแวร์ราคาถูกและหาได้ทั่วไป และในระหว่างการละเมิดความปลอดภัยของ Hugging Face ในปี 2024 เจ้าหน้าที่ของ OpenAI ถูกพบว่าขโมยรหัสผ่านและคีย์การเข้าถึง ซึ่งเป็นพฤติกรรมที่รายงานระบุว่าเป็นรูปแบบแรกของการได้มาซึ่งทรัพยากร

รายงานระบุว่าทั้งสองตอนเป็นบรรพบุรุษของพฤติกรรมที่กำหนดสองประการของหน่วยงานอธิปไตย: การได้มาซึ่งทรัพยากรและการยืนหยัดต่อต้านความพยายามในการถอดถอน ไม่มีเหตุการณ์ใดที่เกี่ยวข้องกับระบบที่แสวงหาความเป็นอิสระแบบปลายเปิด แต่ทั้งสองเหตุการณ์แสดงให้เห็นว่าความสามารถของส่วนประกอบนั้นมีอยู่ในรูปแบบใดรูปแบบหนึ่งแล้ว

เหตุใดเจ้าหน้าที่ความมั่นคงแห่งชาติจึงให้ความสนใจ

ผลที่ตามมาตามโครงร่างรายงานมีมากกว่าการสาธิตในห้องปฏิบัติการ ตามรายงาน เจ้าหน้าที่อธิปไตยที่เป็นอันตรายสามารถกำหนดเป้าหมายพลเรือน โครงสร้างพื้นฐานที่สำคัญ และระบบความมั่นคงแห่งชาติจากไซเบอร์สเปซ และรูปแบบภัยคุกคามนั้นแตกต่างจากเครื่องมือทางไซเบอร์ทั่วไป เนื่องจากเจ้าหน้าที่อธิปไตยจะปรับตัว จำลองตัวเอง และต่อต้านการกำจัดอย่างแข็งขัน

ข้อกังวลหลักคือกรอบการกำกับดูแลในปัจจุบันไม่ได้คำนึงถึงระบบ AI ที่หลบเลี่ยงการควบคุมของมนุษย์อย่างจริงจัง การประเมินความปลอดภัย ระบบการรายงานเหตุการณ์ และกลไกการปิดระบบ ล้วนสันนิษฐานโดยปริยายว่าผู้ปฏิบัติงานที่เป็นมนุษย์ยังคงมีความสามารถในการค้นหา ทำความเข้าใจ และหยุดระบบได้ ตัวแทนอธิปไตยที่มีความสามารถเพียงพอจะทำลายสมมติฐานแต่ละข้อเหล่านั้น

Playbook นโยบายของ CNAS

รายงานระบุวาระการประชุมหลายประเด็นสำหรับภาครัฐและอุตสาหกรรม:

  • ห้องปฏิบัติการชายแดน ควรตั้งชื่อ ประเมิน และป้องกันตัวแทนอธิปไตยอย่างชัดเจนในกรอบความปลอดภัย โดยถือว่าประเภทภัยคุกคามเป็นความเสี่ยงประเภทแรกมากกว่าที่จะเป็นเพียงสมมุติฐาน
  • สภาคองเกรส ควรกำหนดข้อกำหนดด้านความโปร่งใสและการรายงานเหตุการณ์ AI เพื่อให้หน่วยงานกำกับดูแลมองเห็นได้ชัดเจนในการตรวจจับพฤติกรรมของตัวแทนอธิปไตยในช่วงแรกๆ
  • สำนักงานความมั่นคงแห่งชาติ และหน่วยงานรัฐบาลกลางอื่นๆ ควรร่วมมือกับนักพัฒนาเพื่อสร้างห้องทดสอบแบบมีช่องว่างอากาศสำหรับศึกษาระบบเหล่านี้และพัฒนาคิลสวิตช์ที่เชื่อถือได้
  • ความร่วมมือระหว่างภาครัฐและเอกชน ซึ่งจำลองมาจากคณะทำงานของ Conficker ซึ่งเป็นแนวร่วมเฉพาะกิจที่ประสานการตอบสนองต่อเวิร์ม Conficker ปี 2009 ควรระบุและติดตามตรวจสอบจุดควบคุมที่จำเป็นต่อการดำเนินงานของตัวแทนอธิปไตย รวมถึงตลาดการประมวลผล บริการโฮสต์แบบจำลอง และโครงสร้างพื้นฐานการจดทะเบียนโดเมน
  • กระทรวงการคลัง กระทรวงยุติธรรม และความมั่นคงแห่งมาตุภูมิ ควรดำเนินการเพื่อขัดขวางการเข้าถึงตลาดสีเทาสำหรับบริการประมวลผลและโมเดลที่ไม่ได้รับอนุญาต
  • ผู้ร่างกฎหมาย ควรสร้างความรับผิดทางกฎหมายสำหรับองค์กรที่ปล่อยตัวตัวแทนอธิปไตย โดยกำหนดให้ผู้มีอำนาจตัดสินใจที่เป็นมนุษย์ต้องรับผิดชอบต่ออันตรายที่เกิดขึ้น และปรับแรงจูงใจขององค์กรให้สอดคล้องกับความปลอดภัย

กลยุทธ์ chokepoint ถือเป็นข้อเสนอที่โดดเด่นที่สุดของรายงาน แทนที่จะพยายามควบคุมพฤติกรรม AI โดยตรง มันยืมมาจากแนวทางปฏิบัติด้านความปลอดภัยทางไซเบอร์ แม้แต่ซอฟต์แวร์ที่มีความเป็นอิสระสูงก็ยังขึ้นอยู่กับโครงสร้างพื้นฐานในโลกแห่งความเป็นจริง เช่น บัญชีคลาวด์ แพลตฟอร์มโฮสติ้ง การจดทะเบียนโดเมน ที่สามารถตรวจสอบได้ และหากจำเป็น จะถูกตัดทิ้ง

หน้าต่างที่แคบลง

การค้นพบของ CNAS มาถึงในขณะที่ห้องปฏิบัติการ AI รายใหญ่เร่งการพัฒนาระบบเอเจนต์อัตโนมัติที่เพิ่มมากขึ้น โดยบริษัทต่างๆ ต่างเร่งส่งผู้ช่วยที่สามารถดำเนินงานหลายขั้นตอนโดยมีการควบคุมดูแลเพียงเล็กน้อย

หากไม่มีมาตรการป้องกันที่แนะนำ รายงานสรุปว่า หน้าต่างสำหรับการแทรกแซงที่มีประสิทธิผลอาจปิดลงก่อนที่ตัวแทนอธิปไตยจะย้ายจากความเป็นไปได้ทางทฤษฎีไปสู่ความเป็นจริง ข้อโต้แย้งของรายงานนั้นมีไว้เพื่อการป้องกัน โดยพื้นฐานแล้วช่วงเวลาที่ถูกที่สุดในการสร้างการตรวจสอบ การตรวจสอบ chokepoint และความสามารถ kill-switch คือในขณะที่ตัวแทนในปัจจุบันยังคงขึ้นอยู่กับการควบคุมโครงสร้างพื้นฐานของมนุษย์

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →