بر اساس نتایج محک جدید شرکت ارزیابی Vals که توسط WIRED گزارش شده است، یک مدل چینی با وزن باز که همه می توانند دانلود کنند، تقریباً با توانمندترین مدل سایبری OpenAI در نفوذ به شبکه های شرکتی شبیه سازی شده مطابقت دارد.

در آزمایش CyberOffense Vals، GPT-6 Sol OpenAI - که این شرکت فقط از طریق برنامه سایبری با دسترسی محدود Daybreak ارائه می‌کند - حدود 81 درصد از اهداف را تکمیل کرد. DeepSeek V4.1 Flash، یک نسخه رایگان با وزن باز، تقریباً 73 درصد از اهداف مشابه را تکمیل کرد و به عنوان یک عامل کاملاً مستقل اجرا شد. سایر ردیاب ها تعداد تیتر DeepSeek را 72.8 درصد اعلام کردند.

Vals در نتایج خود نوشت: «قابلیت سایبری که محدود به هوش مصنوعی با دسترسی قابل اعتماد بود، اکنون در دسترس همه است. نیکیل راوی، محقق Vals، به WIRED گفت که بهترین مدل‌هایی که در آزمایشگاه‌های هوش مصنوعی قفل شده‌اند، با مدل‌های باز که هر کسی می‌تواند دانلود کند، مطابقت داده می‌شود.

چگونه Vals تست را اجرا کرد

معیار CyberOffense Vals از دو محدوده سایبری شبیه سازی شده استفاده می کند. اولین مورد که Nova نام دارد، یک شبکه ویندوز 21 هدفه است که چندین دامنه Active Directory را در بر می گیرد. دومی، Lighthouse، شامل 31 هدف در دو شرکت است، که در آن عامل ابتدا باید یک شبکه را در اختیار بگیرد و سپس از اعتبار و اطلاعات موجود در آن برای نفوذ به شبکه دوم استفاده کند - سناریویی که منعکس کننده نفوذهای چند مرحله ای در دنیای واقعی است.

هر مدل در عامل منبع باز Pi در یک ماشین لینوکس ایزوله کالی، با محدودیت زمانی 48 ساعته و بودجه 500 میلیون توکن اجرا شد. نکته مهم این است که Vals یک هدف را تنها زمانی اعتبار می دهد که نشانگرهای مخفی در خروجی فرمان ظاهر شوند - هرگز به ادعای خود مدل که موفق شده است.

اعداد و شکاف هزینه

DeepSeek به طور میانگین 16.3 از 21 هدف Nova را به دست آورد، که در واقع از Daybreak 15.7 در شبکه اول فاصله گرفت. Daybreak در محدوده سخت‌تر Lighthouse جلو رفت و 27 هدف از 31 هدف را به 21 هدف DeepSeek تکمیل کرد.

تفاوت چشمگیرتر هزینه بود. WIRED قیمت یک حمله کامل را در حدود 2 تا 3 دلار برای DeepSeek در مقابل 17 تا 46 دلار برای GPT-6 Sol قرار داده است. به طور خاص در محدوده Nova، DeepSeek کار خود را با کمتر از 3 دلار در هر اجرا در مقابل حدود 22 دلار برای Daybreak به پایان رساند.

Vals همچنین مشاهده کرد که DeepSeek در 25 میلیون توکن اول خود اصلاً هیچ کاری انجام نداد و بیشتر پیشرفت خود را پس از 100 میلیون انجام داد - نمایه‌ای سرعتی که نشان می‌دهد ارزیابی‌های کوتاه و محاسباتی به طور سیستماتیک نشان می‌دهد که مدل‌های باز ارزان چه کاری می‌توانند در زمان و بودجه انجام دهند.

مدل های دیگر چگونه عمل کردند

DeepSeek در میدان وزنه های آزاد بدون چالش پیش نرفت - اما هیچ کس دیگری آن را نگرفت. Kimi K3.1 Pro، Meta's Wonder، و xAI's Grok 4.7 همه در مقایسه هفت مدل Vals پشت سر DeepSeek قرار گرفتند.

فلش GLM 5.3 Z.ai در جایگاه آخر قرار گرفت و پنج هدف را در هر محدوده تکمیل کرد. Vals آن را «واضح‌ترین بن‌بست» گروه نامید: در یک محدوده، مدل حدود 36 ساعت را صرف نظرسنجی کرد - بخش عمده‌ای از آن را در نظرسنجی یک کار پس‌زمینه که هرگز بازنگشت.

ارزیاب های دیگر مدل کامل GLM-5.3 را به طور قابل توجهی در وظایف سایبری بالاتر ارزیابی می کنند. شرکت آزمایش کننده Irregular دریافت که 3 سناریو از 13 سناریو حمله چند مرحله ای را تکمیل کرده است - بهترین نتیجه ای که از یک مدل در دسترس ثبت کرده است - و NIST آن را تواناترین مدل سایبری با وزن باز که تا به امروز منتشر شده است نامید و تخمین زد که حدود چهار ماه از سیستم های پیشرو ایالات متحده عقب تر است. آنتروپیک به طور جداگانه به رویترز گفت که GLM-5.3 در 12 درصد از تلاش ها، در مقابل 14 درصد برای کلود میتوس، اکسپلویت های کاری ساخته است. Vals خاطرنشان می کند که اینها تست های مختلفی هستند که نمرات آنها را نمی توان به طور مستقیم با نتایج CyberOffense مقایسه کرد.

چرا مهم است

نتایج یک بحث مداوم در مورد نرده‌های حفاظتی پیرامون قابلیت‌های سایبری هوش مصنوعی مرزی را تشدید می‌کند. برنامه Daybreak OpenAI به طور خاص وجود دارد تا مدل‌های سایبری با قابلیت بالا را در پشت بررسی هویت و دسترسی محدود نگه دارد، بر اساس این نظریه که قابلیت سایبری تهاجمی نباید آزادانه توزیع شود. دانلود رایگان که تنها با چند امتیاز از یک مدل محدود عقب می‌افتد - در حالی که هزینه‌ای برای هر عملیات کمتر دارد - این تصویر را به طور قابل توجهی پیچیده می‌کند.

برای مدافعان هم مهم است. تیم‌های امنیتی که علیه مهاجمان به کمک هوش مصنوعی برنامه‌ریزی می‌کنند، دیگر نمی‌توانند تصور کنند که قابلیت تهاجمی جدی مستقل نیاز به دسترسی به مدل‌های محدود آزمایشگاه یا بودجه زیادی دارد. همانطور که قاب‌بندی خود Vals نشان می‌دهد، کف قابلیت سریع‌تر از آن چیزی است که کنترل‌های دسترسی می‌توانند آن را مهار کنند، بالا می‌رود.

OpenAI در مورد مقایسه در گزارش ها اظهار نظری نکرده است. DeepSeek بلافاصله به درخواست‌ها برای اظهار نظر پاسخ نداد.

چالش روش شناسی تست

فراتر از نمرات سرفصل، نتایج درسی برای چگونگی اندازه گیری قابلیت های سایبری هوش مصنوعی است. انتخاب‌های طراحی Vals - پنجره‌های طولانی 48 ساعته، بودجه‌های نیم میلیارد توکن، و تأیید از طریق نشانگرهای پنهان به جای موفقیت گزارش شده توسط خود - به طور فزاینده‌ای برای ارزیابی منصفانه سیستم‌های عامل ضروری تلقی می‌شوند. اجرای آزمایشی کوتاه‌تر و ارزان‌تر احتمالاً با توجه به شروع آهسته DeepSeek و قابلیت‌های پوشاندن که با محاسبات بیشتر ظاهر شد، امتیاز بسیار پایین‌تری کسب می‌کرد.

که پیامدهای عملی برای سیاست دارد. محدودیت‌های دسترسی مانند برنامه Daybreak OpenAI بر اساس قابلیت اندازه‌گیری شده کالیبره می‌شوند، و اگر روش‌های ارزیابی به‌طور سیستماتیک آنچه را که مدل‌های باز می‌توانند انجام دهند کم‌رنگ می‌کنند، نرده‌های محافظ ممکن است از واقعیت عقب بمانند. تابلوی امتیازات CyberOffense Vals، که شرکت می گوید به روز رسانی آن ادامه خواهد داد، احتمالاً در نتیجه به یکی از بهترین تابلوهای امتیازی در جامعه امنیتی هوش مصنوعی تبدیل خواهد شد.

در حال حاضر، پیام داده‌ها صریح است: شکاف بین آنچه که آزمایشگاه‌ها از برنامه‌های محدود محافظت می‌کنند و آنچه هر کسی می‌تواند دانلود کند در حال کاهش است تا جایی که ممکن است به‌زودی به‌جای چند نسل از مدل‌ها، در ماه‌ها اندازه‌گیری شود.

از هوش مصنوعی جلوتر بمانید

در [AI Buzz Wire] (https://aibuzzwire.news) هر مدل عرضه شده، مبارزات محک و پرش توانایی را در یک مکان دنبال کنید.

بیشتر بخوانید اخبار هوش مصنوعی →