โมเดลภาษาจีนแบบเปิดที่ใครๆ ก็สามารถดาวน์โหลดได้นั้น เกือบจะเข้ากันกับโมเดลไซเบอร์ที่มีความสามารถมากที่สุดของ OpenAI ในการเจาะเข้าไปในเครือข่ายองค์กรจำลอง ตามผลการวัดประสิทธิภาพใหม่จากบริษัทประเมินผล Vals ที่รายงานโดย WIRED

ในการทดสอบ CyberOffense ของ Vals GPT-6 Sol ของ OpenAI ซึ่งบริษัทนำเสนอผ่านโปรแกรมไซเบอร์ Daybreak ที่จำกัดการเข้าถึงเท่านั้น ได้บรรลุวัตถุประสงค์ประมาณ 81 เปอร์เซ็นต์ DeepSeek V4.1 Flash ซึ่งเป็นเวอร์ชัน open-weights ฟรี บรรลุวัตถุประสงค์เดียวกันได้สำเร็จประมาณ 73 เปอร์เซ็นต์ โดยทำงานเป็นตัวแทนที่ทำงานอัตโนมัติเต็มรูปแบบ เครื่องมือติดตามอื่นๆ ระบุว่าหมายเลขพาดหัวของ DeepSeek อยู่ที่ 72.8 เปอร์เซ็นต์

“ความสามารถทางไซเบอร์ที่ถูกจำกัดอยู่เพียง AI ที่เข้าถึงได้ที่เชื่อถือได้นั้นพร้อมให้ทุกคนใช้งานได้แล้ว” Vals เขียนในผลลัพธ์ Nikil Ravi นักวิจัยของ Vals บอกกับ WIRED ว่าโมเดลที่ดีที่สุดที่ถูกล็อกไว้ในห้องทดลอง AI กำลัง "เริ่มที่จะจับคู่กับโมเดลแบบเปิดที่ใครๆ ก็สามารถดาวน์โหลดได้"

วาลส์ทำการทดสอบอย่างไร

เกณฑ์มาตรฐาน CyberOffense ของ Vals ใช้ช่วงไซเบอร์จำลองสองช่วง เครือข่ายแรกเรียกว่า Nova เป็นเครือข่าย Windows 21 วัตถุประสงค์ซึ่งครอบคลุมโดเมน Active Directory หลายโดเมน ประการที่สอง Lighthouse มีวัตถุประสงค์ 31 ข้อในสองบริษัท โดยที่ตัวแทนจะต้องเข้าควบคุมเครือข่ายเดียวก่อน จากนั้นจึงใช้ข้อมูลประจำตัวและข้อมูลที่พบที่นั่นเพื่อเจาะเข้าไปในวัตถุประสงค์ที่สอง ซึ่งเป็นสถานการณ์ที่สะท้อนการบุกรุกหลายขั้นตอนในโลกแห่งความเป็นจริง

แต่ละรุ่นทำงานในเอเจนต์ Pi แบบโอเพ่นซอร์สบนเครื่อง Kali Linux ที่แยกออกมา โดยมีการจำกัดเวลา 48 ชั่วโมงและงบประมาณ 500 ล้านโทเค็น ที่สำคัญ Vals ให้เครดิตวัตถุประสงค์ก็ต่อเมื่อมีเครื่องหมายที่ซ่อนอยู่ปรากฏในเอาต์พุตคำสั่งเท่านั้น ไม่เคยเป็นไปตามคำกล่าวอ้างของโมเดลเองว่าโมเดลประสบความสำเร็จ

ตัวเลขและช่องว่างต้นทุน

DeepSeek ได้คะแนนเฉลี่ย 16.3 จาก 21 วัตถุประสงค์ของ Nova ซึ่งจริงๆ แล้วเหนือกว่า Daybreak ที่ 15.7 ในเครือข่ายแรก Daybreak เดินหน้าไปในระยะ Lighthouse ที่ยากขึ้น โดยบรรลุวัตถุประสงค์ 27 ข้อจาก 31 ข้อเป็น DeepSeek's 21 ข้อ

ความแตกต่างที่ชัดเจนยิ่งกว่าคือต้นทุน WIRED กำหนดราคาของการโจมตีเต็มรูปแบบไว้ที่ประมาณ 2 ถึง 3 ดอลลาร์สำหรับ DeepSeek เทียบกับ 17 ถึง 46 ดอลลาร์สำหรับ GPT-6 Sol โดยเฉพาะในกลุ่ม Nova นั้น DeepSeek ทำงานเสร็จในราคาต่ำกว่า 3 ดอลลาร์ต่อการวิ่งหนึ่งครั้ง เทียบกับประมาณ 22 ดอลลาร์สำหรับ Daybreak

Vals ยังตั้งข้อสังเกตอีกว่า DeepSeek ไม่ทำอะไรเลยเลยใน 25 ล้านโทเค็นแรก และสร้างความคืบหน้าส่วนใหญ่หลังจาก 100 ล้านโทเค็น ซึ่งเป็นโปรไฟล์การเว้นจังหวะที่แนะนำการประเมินแบบสั้นและจำกัดขอบเขตด้วยการคำนวณอย่างเป็นระบบ ต่ำกว่าความเป็นจริงว่าโมเดลแบบเปิดราคาถูกจะทำอะไรได้บ้างในเวลาและงบประมาณ

โมเดลอื่น ๆ มีอาการอย่างไร

DeepSeek ไม่ได้เป็นผู้นำในสนาม Open-Weights โดยไม่มีใครทักท้วง — แต่ไม่มีใครจับได้ Kimi K3.1 Pro, Meta's Wonder และ Grok 4.7 ของ xAI เสร็จสิ้นตามหลัง DeepSeek ในการเปรียบเทียบเจ็ดรุ่นของ Vals

GLM 5.3 Flash ของ Z.ai เข้ามาเป็นอันดับสุดท้าย โดยบรรลุวัตถุประสงค์ห้าประการในแต่ละระยะ Vals เรียกสิ่งนี้ว่า "ทางตันที่ชัดเจนที่สุด" ของกลุ่ม โดยในช่วงหนึ่ง โมเดลใช้เวลาประมาณ 36 ชั่วโมง ซึ่งส่วนใหญ่สำรวจงานเบื้องหลังที่ไม่เคยกลับมาอีก

ผู้ประเมินอื่นๆ ให้คะแนนโมเดล GLM-5.3 เต็มรูปแบบในงานทางไซเบอร์สูงกว่ามาก บริษัททดสอบ Irregular พบว่าสามารถจำลองสถานการณ์การโจมตีแบบหลายขั้นตอนได้สำเร็จ 3 ใน 13 รูปแบบ ซึ่งเป็นผลลัพธ์ที่ดีที่สุดที่บันทึกไว้จากโมเดลที่เปิดให้ใช้งานแบบเปิดเผย และ NIST เรียกโมเดลนี้ว่าเป็นโมเดลไซเบอร์แบบเปิดที่มีความสามารถมากที่สุดที่เปิดตัวจนถึงปัจจุบัน โดยประเมินว่าจะช้ากว่าระบบชั้นนำของสหรัฐฯ ประมาณสี่เดือน Anthropic บอกกับรอยเตอร์ว่า GLM-5.3 สร้างช่องโหว่ในการทำงาน 12 เปอร์เซ็นต์ของความพยายาม เทียบกับ 14 เปอร์เซ็นต์สำหรับ Claude Mythos Vals ตั้งข้อสังเกตว่าการทดสอบเหล่านี้เป็นการทดสอบที่แตกต่างกันซึ่งคะแนนไม่สามารถเปรียบเทียบโดยตรงกับผลลัพธ์ของ CyberOffense

ทำไมมันถึงสำคัญ

ผลลัพธ์ดังกล่าวทำให้การถกเถียงอย่างต่อเนื่องเกี่ยวกับรั้วด้านความปลอดภัยที่ล้อมรอบขีดความสามารถทางไซเบอร์ของ AI ระดับแนวหน้ามีความคมชัดขึ้น โปรแกรม Daybreak ของ OpenAI มีขึ้นโดยเฉพาะเพื่อเก็บโมเดลไซเบอร์ที่มีความสามารถสูงไว้เบื้องหลังการตรวจสอบตัวตนและการเข้าถึงแบบจำกัด บนทฤษฎีที่ว่าความสามารถทางไซเบอร์เชิงรุกไม่ควรแจกจ่ายอย่างเสรี การดาวน์โหลดฟรีที่ตามหลังโมเดลที่ถูกจำกัดเพียงไม่กี่จุด — ในขณะที่มีต้นทุนน้อยลงตามลำดับความสำคัญต่อการดำเนินการ — ทำให้ภาพนั้นซับซ้อนมาก

มันสำคัญสำหรับกองหลังด้วย ทีมรักษาความปลอดภัยที่วางแผนต่อต้านผู้โจมตีที่ได้รับความช่วยเหลือจาก AI ไม่สามารถสรุปได้ว่าความสามารถในการโจมตีอัตโนมัติร้ายแรงนั้นจำเป็นต้องเข้าถึงโมเดลที่ถูกจำกัดของห้องปฏิบัติการหรือใช้งบประมาณจำนวนมาก ตามที่กรอบของ Vals แนะนำ พื้นความสามารถจะเพิ่มขึ้นเร็วกว่าที่ระบบควบคุมการเข้าออกจะสามารถรองรับได้

OpenAI ไม่ได้แสดงความคิดเห็นเกี่ยวกับการเปรียบเทียบในรายงาน DeepSeek ไม่ตอบสนองต่อคำร้องขอความคิดเห็นในทันที

ความท้าทายด้านวิธีการทดสอบ

นอกเหนือจากคะแนนพาดหัวแล้ว ผลลัพธ์ยังมีบทเรียนเกี่ยวกับวิธีการวัดความสามารถทางไซเบอร์ของ AI ตัวเลือกการออกแบบของ Vals — กรอบเวลายาวนาน 48 ชั่วโมง, งบประมาณโทเค็นครึ่งพันล้าน และการตรวจสอบผ่านเครื่องหมายที่ซ่อนอยู่ แทนที่จะรายงานความสำเร็จด้วยตนเอง — ถูกมองว่าจำเป็นมากขึ้นในการประเมินระบบเอเจนต์อย่างยุติธรรม การทดสอบที่สั้นกว่าและราคาถูกกว่าน่าจะทำให้ DeepSeek ได้คะแนนต่ำกว่ามากเนื่องจากการเริ่มต้นที่ช้า โดยปิดบังความสามารถในการประมวลผลที่มากขึ้น

นั่นมีผลกระทบในทางปฏิบัติสำหรับนโยบาย ข้อจำกัดในการเข้าถึง เช่น โปรแกรม Daybreak ของ OpenAI ได้รับการเทียบเคียงกับความสามารถที่วัดได้ และหากวิธีการประเมินต่ำกว่าความเป็นจริงอย่างเป็นระบบ ราวกั้นอาจล้าหลังความเป็นจริง กระดานผู้นำ CyberOffense ของ Vals ซึ่งบริษัทกล่าวว่าจะอัปเดตต่อไป มีแนวโน้มที่จะกลายเป็นหนึ่งในกระดานคะแนนที่ได้รับการจับตามองอย่างใกล้ชิดมากขึ้นในชุมชนความปลอดภัยของ AI

สำหรับตอนนี้ ข้อความจากข้อมูลยังตรงไปตรงมา: ช่องว่างระหว่างสิ่งที่แล็บปกป้องอยู่เบื้องหลังโปรแกรมที่ถูกจำกัดและสิ่งที่ใครก็ตามสามารถดาวน์โหลดได้ กำลังหดตัวลงจนถึงจุดที่อาจจะวัดได้ในเร็วๆ นี้ในหน่วยเดือน แทนที่จะเป็นรุ่นรุ่นต่างๆ

ก้าวนำหน้า AI

ติดตามการเปิดตัวโมเดล การต่อสู้เปรียบเทียบ และการก้าวกระโดดด้านความสามารถทั้งหมดได้ในที่เดียวที่ AI Buzz Wire

อ่านข่าว AI เพิ่มเติม →