Theo kết quả điểm chuẩn mới từ công ty đánh giá Vals do WIRED báo cáo, một mô hình mở của Trung Quốc mà bất kỳ ai cũng có thể tải xuống gần như phù hợp với mô hình mạng có khả năng nhất của OpenAI trong việc xâm nhập vào các mạng công ty mô phỏng.

Trong thử nghiệm CyberOffense của Vals, GPT-6 Sol của OpenAI — mà công ty chỉ cung cấp thông qua chương trình mạng Daybreak có quyền truy cập hạn chế — đã hoàn thành khoảng 81% mục tiêu. DeepSeek V4.1 Flash, một bản phát hành trọng lượng mở miễn phí, đã hoàn thành khoảng 73% các mục tiêu tương tự, hoạt động như một tác nhân hoàn toàn tự chủ. Những người theo dõi khác đưa ra con số tiêu đề của DeepSeek là 72,8%.

Vals viết trong kết quả của mình: “Khả năng mạng bị giới hạn ở AI truy cập đáng tin cậy hiện có sẵn cho bất kỳ ai”. Nhà nghiên cứu Nikil Ravi của Vals nói với WIRED rằng các mô hình tốt nhất được khóa trong phòng thí nghiệm AI đang "bắt đầu được so sánh với các mô hình mở mà bất kỳ ai cũng có thể tải xuống".

Vals thực hiện bài kiểm tra như thế nào

Điểm chuẩn CyberOffense của Vals sử dụng hai phạm vi mạng mô phỏng. Đầu tiên, được gọi là Nova, là mạng Windows gồm 21 mục tiêu trải rộng trên một số miền Active Directory. Mục tiêu thứ hai, Lighthouse, bao gồm 31 mục tiêu của hai công ty, trong đó tác nhân trước tiên phải tiếp quản một mạng, sau đó sử dụng thông tin xác thực và thông tin tìm thấy ở đó để đột nhập vào mạng thứ hai – một kịch bản phản ánh các cuộc xâm nhập nhiều giai đoạn trong thế giới thực.

Mỗi mô hình chạy trong tác nhân Pi nguồn mở trên máy Kali Linux biệt lập, với giới hạn thời gian 48 giờ và ngân sách 500 triệu mã thông báo. Điều quan trọng là Vals chỉ ghi nhận mục tiêu khi các điểm đánh dấu ẩn xuất hiện trong đầu ra lệnh - không bao giờ khẳng định rằng mô hình đã thành công.

Những con số và khoảng cách chi phí

DeepSeek đạt trung bình 16,3 trong số 21 mục tiêu của Nova, thực sự vượt qua 15,7 của Daybreak trên mạng đầu tiên. Daybreak đã vượt lên dẫn trước ở phạm vi Lighthouse khó hơn, hoàn thành 27 trong số 31 mục tiêu so với 21 mục tiêu của DeepSeek.

Sự khác biệt nổi bật hơn là chi phí. WIRED đặt giá cho một cuộc tấn công toàn diện vào khoảng từ 2 đến 3 USD cho DeepSeek, so với 17 đến 46 USD cho GPT-6 Sol. Cụ thể là trên dòng Nova, DeepSeek đã hoàn thành công việc của mình với giá dưới 3 đô la mỗi lần chạy so với khoảng 22 đô la cho Daybreak.

Vals cũng quan sát thấy rằng DeepSeek không hoàn thành được gì trong 25 triệu token đầu tiên và đạt được phần lớn tiến bộ sau 100 triệu – một hồ sơ tốc độ gợi ý các đánh giá ngắn, có giới hạn tính toán nhằm thể hiện một cách có hệ thống những gì các mô hình mở giá rẻ có thể làm trong thời gian và ngân sách nhất định.

Các mô hình khác hoạt động như thế nào

DeepSeek đã không dẫn đầu lĩnh vực trọng lượng mở một cách không bị thách thức - nhưng không ai khác bắt được nó. Kimi K3.1 Pro, Meta's Wonder và xAI's Grok 4.7 đều xếp sau DeepSeek trong so sánh bảy mô hình của Vals.

Flash GLM 5.3 của Z.ai đứng cuối cùng, hoàn thành năm mục tiêu trên mỗi phạm vi. Vals gọi đó là "ngõ cụt rõ ràng nhất" của nhóm: trên một phạm vi, mô hình đã dành khoảng 36 giờ - phần lớn trong số đó là thăm dò một công việc nền không bao giờ quay trở lại.

Những người đánh giá khác đánh giá mô hình GLM-5.3 đầy đủ cao hơn đáng kể trong các tác vụ mạng. Công ty thử nghiệm Irregular nhận thấy nó đã hoàn thành 3 trong số 13 kịch bản tấn công nhiều giai đoạn — kết quả tốt nhất mà nó ghi nhận được từ một mô hình có sẵn công khai — và NIST gọi đây là mô hình không gian mạng có trọng lượng mở có khả năng nhất được phát hành cho đến nay, ước tính nó chậm hơn các hệ thống hàng đầu của Hoa Kỳ khoảng bốn tháng. Anthropic nói riêng với Reuters rằng GLM-5.3 đã thực hiện thành công các hoạt động khai thác trong 12% số lần thử, so với 14% của Claude Mythos. Vals lưu ý rằng đây là những bài kiểm tra khác nhau mà điểm số không thể so sánh trực tiếp với kết quả của CyberOffense.

Tại sao nó lại quan trọng

Các kết quả đã làm sâu sắc thêm cuộc tranh luận đang diễn ra về các biện pháp bảo vệ an toàn xung quanh khả năng mạng AI tiên phong. Chương trình Daybreak của OpenAI tồn tại đặc biệt để kiểm soát các mô hình mạng có năng lực cao và hạn chế quyền truy cập, trên lý thuyết rằng khả năng tấn công mạng không nên được phân phối tự do. Tải xuống miễn phí chỉ kém một mô hình bị hạn chế một vài điểm - trong khi chi phí cho mỗi hoạt động ít hơn rất nhiều - làm cho bức tranh đó trở nên phức tạp đáng kể.

Nó cũng quan trọng đối với các hậu vệ. Các nhóm bảo mật lập kế hoạch chống lại những kẻ tấn công được hỗ trợ bởi AI không còn có thể cho rằng khả năng tấn công tự động nghiêm trọng đòi hỏi quyền truy cập vào các mô hình hạn chế của phòng thí nghiệm hoặc ngân sách lớn. Như cách đóng khung của chính Vals gợi ý, tầng năng lực đang tăng nhanh hơn mức mà các biện pháp kiểm soát truy cập có thể chứa được.

OpenAI không bình luận về sự so sánh trong các báo cáo. DeepSeek đã không trả lời ngay lập tức yêu cầu bình luận.

Thử thách về phương pháp thử nghiệm

Ngoài những điểm số tiêu đề, các kết quả còn mang đến một bài học về cách đo lường khả năng điều khiển mạng của AI. Các lựa chọn thiết kế của Vals — thời lượng dài 48 giờ, ngân sách nửa tỷ mã thông báo và xác minh thông qua các điểm đánh dấu ẩn thay vì thành công tự báo cáo — ngày càng được coi là cần thiết để đánh giá các hệ thống đại lý một cách công bằng. Các lần chạy thử nghiệm ngắn hơn, rẻ hơn có thể sẽ khiến DeepSeek đạt điểm thấp hơn nhiều do khởi đầu chậm chạp, che giấu các khả năng xuất hiện với nhiều tính toán hơn.

Điều đó có những hậu quả thực tế đối với chính sách. Các hạn chế truy cập như chương trình Daybreak của OpenAI được hiệu chỉnh theo khả năng đo lường và nếu các phương pháp đánh giá đánh giá thấp một cách có hệ thống những gì các mô hình mở có thể làm, thì các rào chắn có thể bị tụt hậu so với thực tế. Bảng xếp hạng CyberOffense của Vals, mà công ty cho biết họ sẽ tiếp tục cập nhật, do đó có thể sẽ trở thành một trong những bảng điểm được theo dõi chặt chẽ hơn trong cộng đồng bảo mật AI.

Hiện tại, thông điệp từ dữ liệu rất rõ ràng: khoảng cách giữa những gì các phòng thí nghiệm bảo vệ đằng sau các chương trình bị hạn chế và những gì bất kỳ ai có thể tải xuống đang thu hẹp lại đến mức có thể sớm được đo bằng tháng thay vì theo thế hệ mô hình.

Đi trước AI

Theo dõi mọi bản phát hành mô hình, cuộc chiến điểm chuẩn và bước nhảy vọt về khả năng ở một nơi tại AI Buzz Wire.

Đọc thêm tin tức về AI →