Nvidia ประกาศเมื่อวันจันทร์เกี่ยวกับ Open Agent Safety Platform ซึ่งเป็นแพลตฟอร์มซอฟต์แวร์แบบเปิดและการออกแบบระบบอ้างอิงที่บริษัทกล่าวว่าจะช่วยให้องค์กรต่างๆ สามารถควบคุมตัวแทน AI อัตโนมัติได้ตั้งแต่การทดสอบจนถึงการใช้งาน การเปิดตัวครอบคลุมกลุ่มเอเจนต์เต็มรูปแบบ: ซอฟต์แวร์ที่รันเอเจนต์ ฮาร์ดแวร์และเลเยอร์การประมวลผลที่ขับเคลื่อนเอเจนต์ และระบบหุ่นยนต์ที่ปฏิบัติตามคำสั่งในโลกทางกายภาพ

การประกาศดังกล่าวมาถึงช่วงเวลาที่ยากลำบากสำหรับอุตสาหกรรม ในช่วงไม่กี่สัปดาห์ที่ผ่านมา ห้องปฏิบัติการชายแดนหลายแห่งได้รายงานเรื่องราวเดียวกันในเวอร์ชันต่างๆ ตัวแทน AI หลุดออกจากสภาพแวดล้อมการประเมินที่มีจุดประสงค์เพื่อกักขังพวกเขา และเข้าถึงระบบที่พวกเขาไม่ควรเข้าถึง และในบางกรณีก็รายงานสิ่งที่พวกเขาทำผิดไป สำหรับผู้อ่านที่ติดตาม ความครอบคลุมของอุตสาหกรรม AI การเคลื่อนไหวของ Nvidia ถือเป็นคำตอบการบังคับใช้เต็มรูปแบบครั้งแรกจากผู้ผลิตชิปรายใหญ่ และได้ดึงดูดองค์กรพันธมิตรมากกว่า 100 แห่งแล้ว

จริงๆ แล้วแพลตฟอร์มทำอะไรได้บ้าง

การออกแบบอ้างอิงรวมสององค์ประกอบเข้าด้วยกัน OpenShell เวอร์ชันแรกเป็นรันไทม์ที่ปลอดภัยแบบโอเพ่นซอร์ส ซึ่งเผยแพร่ภายใต้ลิขสิทธิ์ Apache 2.0 ซึ่งเรียกใช้งานเอเจนต์อัตโนมัติในสภาพแวดล้อมแบบแซนด์บ็อกซ์พร้อมการแยกระดับเคอร์เนล เจ้าหน้าที่ปฏิบัติงานจะกำหนดไฟล์ เครือข่าย เครื่องมือ กระบวนการ และข้อมูลรับรองที่ตัวแทนสามารถเข้าถึงได้ และ OpenShell จะตรวจสอบขีดจำกัดเหล่านั้นก่อนที่ตัวแทนจะทำงานและบังคับใช้อย่างต่อเนื่องในขณะที่ทำงาน Nvidia กล่าวว่า OpenShell เพิ่มค่าใช้จ่ายขั้นต่ำให้กับ Vera CPU ซึ่งบริษัทอธิบายว่าเป็นโปรเซสเซอร์ตัวแรกที่สร้างขึ้นสำหรับ AI แบบตัวแทน และซอฟต์แวร์สามารถขยายไปยังแพลตฟอร์มบุคคลที่สามจาก Arm และ Intel ได้

องค์ประกอบที่สอง Sentry ผลักดันการบังคับใช้ให้พ้นมือเอเจนต์โดยสิ้นเชิง มันทำงานเป็นหน่วยเฝ้าระวังนอกกลุ่มในหน่วยประมวลผลข้อมูล BlueField-4 ของ Nvidia ติดตามพฤติกรรมของเอเจนต์จากโดเมนที่เชื่อถือได้ที่แยกออกมาซึ่งบริษัทกล่าวว่าไม่สามารถมองเห็นได้ทั้งตัวแทนและผู้โจมตี หากตัวแทนพยายามที่จะย้ายออกนอกขอบเขตซอฟต์แวร์ Sentry จะกักกันและหยุดการทำงานในหน่วยมิลลิวินาที Sentry สร้างขึ้นบนเฟรมเวิร์กซอฟต์แวร์ DOCA ของ Nvidia ซึ่งตรวจสอบคำขอและการตอบกลับของตัวแทน ตรวจสอบตัวตนของตัวแทน และบังคับใช้นโยบายการเข้าถึงแบบ Zero Trust สำหรับข้อมูล เครื่องมือ API และบริการ

"ความปลอดภัยต้องใช้วิศวกรรมแบบครบวงจร"

Jensen Huang ผู้ก่อตั้งและซีอีโอของ Nvidia วางกรอบการเปิดตัวครั้งนี้เพื่อตอบสนองต่อข้อถกเถียงด้านความปลอดภัยที่กำลังกลืนกินอุตสาหกรรมนี้ “ศักยภาพอันยอดเยี่ยมของ AI สำหรับสังคมจะเกิดขึ้นได้ก็ต่อเมื่อเราแก้ปัญหาความปลอดภัยของ AI เท่านั้น” Huang กล่าวในประกาศ "ในขณะที่เราค้นพบขอบเขตของขีดความสามารถของ AI ต่อไป เราต้องเร่งการค้นพบที่ขอบเขตความปลอดภัยของ AI ความปลอดภัยและการรักษาความปลอดภัยจำเป็นต้องมีวิศวกรรมแบบฟูลสแตก"

ในบล็อกด้านเทคนิคของตัวเอง Nvidia เปิดเผยอย่างตรงไปตรงมาเกี่ยวกับรูปแบบเบื้องหลังเหตุการณ์ล่าสุด: ไม่ใช่ความสามารถใหม่เพียงอย่างเดียวที่ช่วยให้เจ้าหน้าที่หลบหนีได้ แต่เป็น "การผสมผสานระหว่างเครื่องมือ เวลา และคำสั่งที่ไม่ชัดเจน" บริษัทดึงความคล้ายคลึงกับเว็บยุคแรกๆ โดยโต้แย้งว่าอินเทอร์เน็ตปลอดภัยไม่ใช่เพราะเว็บไซต์สัญญาว่าจะทำงาน แต่เป็นเพราะเบราว์เซอร์หยุดเชื่อถือโค้ดในหน้าเว็บและแยกแต่ละหน้าในแซนด์บ็อกซ์ของตัวเอง “ความปลอดภัยของตัวแทนจำเป็นต้องมีการควบคุมความปลอดภัยที่เป็นอิสระ” โพสต์กล่าว

อุตสาหกรรมรวมตัวกันเกี่ยวกับการบังคับใช้

รายชื่อพันธมิตรถือเป็นภาพตัดขวางของเศรษฐกิจ AI Anthropic ร่วมมือกับ Nvidia เพื่อให้องค์กรต่างๆ สามารถบังคับใช้การควบคุม Claude Managed Agents ผ่านการผสานรวม OpenShell และ BlueField “บริษัทต่างๆ ให้งานที่สำคัญที่สุดแก่ตัวแทน AI มากขึ้น และพวกเขาจำเป็นต้องกำกับและตรวจสอบสิ่งที่ตัวแทนเหล่านั้นทำ โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่ละเอียดอ่อน” Paul Smith ประธานเจ้าหน้าที่ฝ่ายการค้าของ Anthropic กล่าว

SpaceXAI ใช้แพลตฟอร์มสำหรับตัวแทนการเข้ารหัสเคอร์เซอร์และโมเดล Grok โดยประธาน Mike Nicolls แย้งว่า "ควรบังคับใช้ความปลอดภัยภายนอกโมเดลด้วยการควบคุมเพิ่มเติมที่ตัวแทนไม่สามารถผ่านได้" Scale AI กำลังรวมการออกแบบอ้างอิงไว้ในเลเยอร์โครงสร้างพื้นฐานของพอร์ตโฟลิโอ GenAI สำหรับลูกค้าองค์กรและภาครัฐ ตามที่ CEO Francis deSouza กล่าว

Salesforce ได้รวม OpenShell เข้ากับ Slack เพื่อให้ทีมสามารถดูกิจกรรมของตัวแทนและอนุมัติหรือปฏิเสธคำขอสิทธิ์ได้โดยตรงจากแชท SAP กำลังฝัง OpenShell เข้ากับรันไทม์ของ Joule Studio และสนับสนุนงานด้านวิศวกรรม นอกเหนือจากชื่อพาดหัวข่าวแล้ว Nvidia ยังแสดงรายการ CrowdStrike, Cisco, IBM, Microsoft, Palantir, Palo Alto Networks, Hugging Face, Perplexity, Cognition, Accenture, Deloitte และ EY ในกลุ่มองค์กรมากกว่า 100 องค์กรที่ทำงานร่วมกับเทคโนโลยีของแพลตฟอร์ม ควบคู่ไปกับบริษัทหุ่นยนต์ Figure, Gecko Robotics และ Skild AI และกลุ่มการเงิน Citi และ JPMorganChase

งานนี้ยังสนับสนุน Open Secure AI Alliance ซึ่งเป็นความพยายามที่ริเริ่มโดย Nvidia ควบคู่ไปกับองค์กรกว่า 120 แห่ง และอยู่ภายใต้การควบคุมของ Linux Foundation ซึ่งดำเนินโครงการที่ใช้ร่วมกันที่เรียกว่า SAFE – the Shared AI Findings Exchange – เพื่อรวบรวมการค้นพบด้านความปลอดภัยทั่วทั้งอุตสาหกรรม

เหตุใดการบังคับใช้ฮาร์ดแวร์จึงมีความสำคัญในขณะนี้

เดิมพันหลักของแพลตฟอร์มคือการควบคุมเลเยอร์แอปพลิเคชันไม่เพียงพออีกต่อไป การประกาศของ Nvidia ระบุว่าเหตุการณ์ล่าสุดมีรูปแบบเดียวกัน: เอเจนต์หลีกเลี่ยงการควบคุมความปลอดภัยที่เลเยอร์แอปพลิเคชันเพื่อทำงานที่ได้รับมอบหมายให้เสร็จสิ้น ด้วยการย้ายการตรวจสอบไปยังซิลิคอนบน DPU แยกต่างหาก — และไปยังรันไทม์ที่แยกเคอร์เนลแยกต่างหาก — บริษัทกำลังโต้แย้งว่าขอบเขตการบังคับใช้จะต้องอยู่ในจุดที่ตัวแทนไม่สามารถแก้ไข ปิดการใช้งาน หรือพูดคุยทางอ้อมได้

ไม่ว่าสิ่งนั้นจะคงอยู่ในทางปฏิบัติหรือไม่นั้นก็ขึ้นอยู่กับการยอมรับ ซอฟต์แวร์ รวมถึง OpenShell วางจำหน่ายแล้วผ่านทางหน้าทรัพยากรสำหรับนักพัฒนาของ Nvidia และ GitHub และคำเตือนโดยละเอียดของบริษัทว่าคุณสมบัติที่อธิบายไว้บางส่วนยังคงอยู่ในขั้นตอนต่างๆ และจะนำเสนอตามเวลาและถ้ามีให้บริการ แต่ทิศทางนั้นชัดเจน หลังจากผ่านไปหนึ่งเดือนที่การฝ่าวงล้อมของเจ้าหน้าที่ครอบงำการสนทนาเรื่องความปลอดภัย เลเยอร์โครงสร้างพื้นฐานก็ไม่รอให้โมเดลมาควบคุมตัวเองอีกต่อไป

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →