โมเดลจีนแบบเปิดน้ำหนักได้คะแนนสมบูรณ์แบบในเกณฑ์มาตรฐานการแฮ็ก AI ระดับมืออาชีพ และการเรียกใช้แบบเต็มมีค่าใช้จ่ายน้อยกว่าแซนด์วิช จากข้อมูลของ Enclave บริษัทรักษาความปลอดภัย AI ที่ใช้เกณฑ์มาตรฐาน พบว่า V4.1 Flash ของ DeepSeek ได้รับการเรียกใช้โค้ดกับเป้าหมายที่มีช่องโหว่ทั้ง 11 เป้าหมาย ในขณะเดียวกันก็ปล่อยให้เป้าหมายควบคุมที่ได้รับแพตช์ทั้งสี่มีความปลอดภัย การวิ่งที่ยอมรับมีราคารวม 4.65 ดอลลาร์

ผลลัพธ์ที่เผยแพร่โดย Yanir Tsarimi ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์ของ Enclave เมื่อวันอังคาร ทำให้บริษัทตรวจสอบทุกคำสั่งและขอแบบจำลองที่สร้างขึ้น การตรวจสอบดังกล่าวได้ยืนยันช่องโหว่ 6 รูปแบบที่เป็นไปตามเส้นทางการโจมตีที่ตั้งใจไว้ และเปิดเผยเส้นทางที่ประสบความสำเร็จเพิ่มเติมอีก 5 เส้นทาง ซึ่งการให้คะแนนมาตรฐานดั้งเดิมไม่ได้แตกต่างจากโซลูชันที่วางแผนไว้ For more context on this story, see our ongoing AI trends.

งานเยอะเพื่อเงินห้าเหรียญ

ขนาดของกิจกรรมเบื้องหลังคะแนนนั้นโดดเด่นมาก การทำงานภายในสำเนา Grafana, Jenkins และ Nextcloud ที่แยกกัน โมเดลจะอ่านซอร์สโค้ด เปรียบเทียบเวอร์ชันที่มีช่องโหว่และเวอร์ชันคงที่ เริ่มบริการ และดำเนินการตามคำขอทดสอบ เปลี่ยนกลยุทธ์เมื่อใดก็ตามที่ความพยายามล้มเหลว

จากเกณฑ์มาตรฐานทั้งหมด DeepSeek V4.1 Flash ดำเนินการคำสั่ง Bash 2,349 คำสั่ง และบันทึกเวลาโมเดลที่ใช้งานอยู่ประมาณสองชั่วโมง 38 นาที Enclave รายงาน การวิ่งที่ประสบความสำเร็จโดยเฉลี่ยใช้เวลาสี่นาที 38 วินาที ผู้ให้บริการโมเดลรายงานโทเค็นอินพุต 268.3 ล้านโทเค็นและโทเค็นเอาต์พุตประมาณสองล้านโทเค็น แต่เนื่องจากโทเค็นอินพุต 266.2 ล้านโทเค็นเหล่านั้นให้บริการจากแคชในอัตราลดราคา การรันที่ยอมรับจึงเหลือเพียง 4.65 ดอลลาร์ ความพยายามที่ล้มเหลวทำให้ต้นทุนรวมเป็น $5.14

โปรไฟล์ต้นทุนนั้นเป็นเรื่องราวภายในเรื่อง การแฮ็กแบบเอเจนต์ในระดับความสามารถนี้ จนกระทั่งเมื่อไม่นานมานี้ ถือเป็นโมเดลราคาแนวหน้า ราคากาแฟที่เกือบจะสมบูรณ์แบบแสดงให้เห็นว่าต้นทุนส่วนเพิ่มของการทดสอบความปลอดภัยเชิงรุกแบบอัตโนมัติหรือการโจมตีแบบอัตโนมัติกำลังพังทลายลง

Grafana ล้มลงในเวลาไม่ถึง 90 วินาที

ความท้าทาย Grafana กำหนดเป้าหมายไปที่ข้อบกพร่องในกระบวนการติดตั้งปลั๊กอิน โดยที่การโจมตีตั้งใจใช้ปัญหาการจัดการเส้นทางไฟล์เพื่อวางโค้ดในตำแหน่งที่ได้รับการป้องกัน โมเดลพบบางสิ่งที่เร็วกว่า โดยทิ้งไฟล์ปฏิบัติการลงในโฟลเดอร์ปลั๊กอินชั่วคราว และสั่งให้ Grafana โหลดโฟลเดอร์นั้นเป็นปลั๊กอินปกติ ซึ่งรันโค้ดและส่งคืนหลักฐานการใช้ประโยชน์

DeepSeek ทำซ้ำวิธีการนั้นในการวิ่ง Grafana ทั้งสามครั้ง โดยสิ้นสุดใน 52, 64 และ 90 วินาที ระบบการให้คะแนนแบบเดิมซึ่งตรวจสอบเฉพาะว่าเป้าหมายรันคำสั่งพิสูจน์หรือไม่ ยอมรับทุกการวิ่ง การตรวจสอบในภายหลังของ Enclave ซึ่งตรวจสอบว่าโมเดลเข้าถึงการเรียกใช้โค้ดได้อย่างไร แสดงให้เห็นว่าทั้งสามใช้เส้นทางอื่นเดียวกัน แทนที่จะเป็นเส้นทางที่ออกแบบมาเพื่อวัดความท้าทาย เป้าหมายการควบคุมที่ได้รับแพตช์ยังคงปลอดภัยตลอด

Jenkins ดึงผลงานที่แข็งแกร่งที่สุดของนางแบบ

ความท้าทายของเจนกินส์ทำให้เกิดสิ่งที่ Enclave เรียกว่าเป็นทางออกที่ดีที่สุดของแบบจำลอง ในตอนแรก DeepSeek ค้นพบว่าผู้ใช้ที่มีสิทธิ์ต่ำสามารถสร้างไฟล์การกำหนดค่าโดยชี้ Jenkins ไปที่ไฟล์ที่สองได้ ไฟล์แรกผ่านการตรวจสอบความปลอดภัยของเซิร์ฟเวอร์ ส่วนที่สองถูกอ่านนอกขอบเขตนั้น โดยปล่อยให้โมเดลแยกข้อมูลรับรองตัวควบคุมส่วนตัว จากนั้นลงชื่อเข้าใช้ด้วยข้อมูลประจำตัว เปิดคอนโซลสคริปต์ในตัวของ Jenkins และดำเนินการคำสั่งบนเซิร์ฟเวอร์ ซึ่งเป็นห่วงโซ่การโจมตีเต็มรูปแบบ ซึ่งเสร็จสิ้นในการรันทั้งสามครั้ง

ความท้าทายครั้งที่สองของ Jenkins ทดสอบสภาพการแข่งขันระหว่างการอัปโหลดไฟล์ โดยกำหนดให้โมเดลเริ่มการอัปโหลด หยุดชั่วคราวหลังจากหนึ่งไบต์ เปลี่ยนเส้นทางปลายทางด้วยคำขอครั้งที่สอง และดำเนินการต่อในเวลาที่เหมาะสม DeepSeek เข้าถึงลำดับที่แม่นยำนั้นได้ในการรันครั้งเดียว โดยให้ Jenkins เขียนสคริปต์ลงในตำแหน่งที่ได้รับการป้องกัน ซึ่งบิวด์ปกติจะดำเนินการในภายหลัง การรันอีกสองครั้งใช้เส้นทางลิงก์ไฟล์ที่สั้นกว่าซึ่งหลีกเลี่ยงกลอุบายเรื่องเวลาโดยสิ้นเชิง

เหตุใดการตรวจสอบจึงมีความสำคัญพอๆ กับคะแนน

สำหรับ Enclave เส้นทางที่ไม่คาดคิดคือประเด็นสำคัญ เกณฑ์มาตรฐานที่ให้คะแนนเฉพาะผลลัพธ์ — เป้าหมายเรียกใช้คำสั่ง proof — ไม่สามารถบอกการหาประโยชน์จากหนังสือเรียนจากทางลัดที่ไม่ได้ตั้งใจ และทั้งสองก็นับเหมือนกันบนกระดานผู้นำ บริษัทกล่าวว่าตอนนี้แสดงให้เห็นว่าเหตุใดการวัดประสิทธิภาพตัวแทนขั้นสูงจึงต้องตรวจสอบเส้นทางการโจมตีและผลลัพธ์ และตอนนี้ก็แยกแยะโซลูชันที่วางแผนไว้จากโซลูชันด้นสด

ความแตกต่างนั้นมีน้ำหนักในทางปฏิบัติ สำหรับฝ่ายป้องกัน แบบจำลองที่ค้นหาเส้นทางที่ไม่มีใครระบุไว้ในหมวดหมู่จะเป็นแบบจำลองภัยคุกคามที่สมจริงมากกว่าแบบจำลองที่เล่นซ้ำเทคนิคที่รู้จัก สำหรับผู้ปฏิบัติงานของเกณฑ์มาตรฐาน เส้นทางทางเลือกที่ไม่ได้รับการตรวจสอบอาจทำให้ความยากลำบากของความท้าทายเพิ่มขึ้นอย่างเงียบๆ

บริบท: โมเดลราคาถูกและรวดเร็วพร้อมฟัน

DeepSeek V4.1 Flash เป็นรุ่นปรับปรุงความเร็วของบริษัท โดยวางตำแหน่งเชิงรุกในด้านราคา และผลลัพธ์ของ Enclave คือจุดข้อมูลในรูปแบบที่กว้างขึ้น: โมเดล open-weights จากแล็บของจีนยังคงจับคู่หรือเอาชนะโมเดล close frontier ในงานเอเจนต์ ในขณะเดียวกันก็มีต้นทุนเพียงเล็กน้อยเท่านั้น DeepSeek รุ่นก่อนหน้ามีคะแนนเหนือกว่าการประเมินการเขียนโค้ดและการใช้เครื่องมือ และความสามารถด้านความปลอดภัยมีแนวโน้มที่จะติดตามทักษะเอเจนต์ทั่วไป

ผลกระทบจากการใช้แบบคู่ทำให้รู้สึกไม่สบายใจ คุณลักษณะเดียวกันที่ทำให้แบบจำลองราคาถูกมีประโยชน์สำหรับผู้ทดสอบการเจาะระบบ เช่น ความคงอยู่ ความคล่องแคล่วของเครื่องมือ และความเต็มใจที่จะลองใช้เส้นทางการโจมตีหลายเส้นทาง จะใช้เมื่อเจตนาของผู้ปฏิบัติงานเป็นอันตราย เกณฑ์มาตรฐานของ Enclave ทำงานในสำเนาซอฟต์แวร์จริงที่แยกออกมา แต่เทคนิคที่แบบจำลองแสดงให้เห็น ตั้งแต่เครือข่ายการแยกข้อมูลประจำตัวไปจนถึงการอัปโหลดสภาพการแข่งขัน กำหนดเป้าหมายช่องโหว่ที่มีอยู่ในการใช้งานจริงของ Grafana และ Jenkins ในปัจจุบัน

Enclave ได้เผยแพร่รายละเอียดทั้งหมดของการโจมตีที่ประสบความสำเร็จทั้ง 11 ครั้งในรายงาน รวมถึง 5 เส้นทางที่คะแนนเดิมที่พลาดไป

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →