একটি ওপেন-ওয়েট চাইনিজ মডেল যা যেকেউ ডাউনলোড করতে পারে সেটি প্রায় ওপেনএআই-এর সবচেয়ে সক্ষম সাইবার মডেলের সাথে মিলে গেছে সিমুলেটেড কর্পোরেট নেটওয়ার্কে ভাঙার ক্ষেত্রে, ওয়্যারড দ্বারা রিপোর্ট করা মূল্যায়ন সংস্থা Vals-এর নতুন বেঞ্চমার্ক ফলাফল অনুসারে।
Vals's CyberOffense পরীক্ষায়, OpenAI-এর GPT-6 Sol — যা কোম্পানি শুধুমাত্র তার সীমাবদ্ধ-অ্যাক্সেস ডেব্রেক সাইবার প্রোগ্রামের মাধ্যমে অফার করে — প্রায় 81 শতাংশ উদ্দেশ্য পূরণ করেছে। DeepSeek V4.1 Flash, একটি বিনামূল্যের ওপেন-ওয়েট রিলিজ, একই উদ্দেশ্যের প্রায় 73 শতাংশ সম্পন্ন করেছে, একটি সম্পূর্ণ স্বায়ত্তশাসিত এজেন্ট হিসাবে চলছে। অন্যান্য ট্র্যাকাররা ডিপসিকের হেডলাইন নম্বর 72.8 শতাংশে রেখেছে।
"সাইবার ক্ষমতা যা বিশ্বস্ত-অ্যাক্সেস এআই-এর মধ্যে সীমাবদ্ধ ছিল এখন যে কারও জন্য উপলব্ধ," ভালস তার ফলাফলে লিখেছেন। Vals গবেষক নিকিল রাভি WIRED কে বলেছেন যে AI ল্যাবগুলির মধ্যে লক করা সেরা মডেলগুলি "ওপেন মডেলগুলির সাথে মিলিত হতে শুরু করেছে যা যে কেউ ডাউনলোড করতে পারে।"
কিভাবে ভালস টেস্ট রান করেছে
Vals' CyberOffense বেঞ্চমার্ক দুটি সিমুলেটেড সাইবার রেঞ্জ ব্যবহার করে। প্রথমটি, নোভা নামে পরিচিত, একটি 21-উদ্দেশ্যযুক্ত উইন্ডোজ নেটওয়ার্ক যা বেশ কয়েকটি অ্যাক্টিভ ডিরেক্টরি ডোমেনে বিস্তৃত। দ্বিতীয়, Lighthouse, দুটি কোম্পানি জুড়ে 31টি উদ্দেশ্য ধারণ করে, যেখানে এজেন্টকে প্রথমে একটি নেটওয়ার্ক দখল করতে হবে এবং তারপরে দ্বিতীয়টিতে প্রবেশ করতে সেখানে পাওয়া প্রমাণপত্র এবং তথ্য ব্যবহার করতে হবে - এমন একটি দৃশ্য যা বাস্তব-বিশ্বের বহু-পর্যায়ের অনুপ্রবেশের প্রতিফলন করে।
প্রতিটি মডেল 48-ঘন্টা সময়সীমা এবং 500-মিলিয়ন-টোকেন বাজেট সহ একটি বিচ্ছিন্ন কালি লিনাক্স মেশিনে ওপেন-সোর্স পাই এজেন্টে দৌড়েছিল। গুরুত্বপূর্ণভাবে, Vals শুধুমাত্র একটি উদ্দেশ্যকে কৃতিত্ব দিয়েছিল যখন কমান্ড আউটপুটে লুকানো মার্কারগুলি উপস্থিত হয়েছিল - কখনোই মডেলের নিজের দাবিতে নয় যে এটি সফল হয়েছে।
সংখ্যা, এবং খরচের ব্যবধান
নোভা-এর 21টি উদ্দেশ্যের মধ্যে ডিপসিক গড় 16.3, আসলে প্রথম নেটওয়ার্কে ডেব্রেক-এর 15.7কে ছাড়িয়ে গেছে। ডেব্রেক কঠিন লাইটহাউস পরিসরে এগিয়ে গেল, ডিপসিকের 21টি লক্ষ্যের 31টির মধ্যে 27টি পূরণ করেছে।
আরো আকর্ষণীয় পার্থক্য ছিল খরচ. WIRED ডিপসিকের জন্য একটি সম্পূর্ণ আক্রমণ চালানোর মূল্য প্রায় $2 থেকে $3 রাখে, যেখানে GPT-6 Sol-এর জন্য $17 থেকে $46। বিশেষ করে নোভা রেঞ্জে, ডিপসিক তার কাজ শেষ করেছে প্রতি রানে $3 এর কম বনাম ডেব্রেকের জন্য প্রায় $22।
Vals আরও পর্যবেক্ষণ করেছেন যে DeepSeek তার প্রথম 25 মিলিয়ন টোকেনগুলিতে কিছুই সম্পন্ন করেনি এবং 100 মিলিয়নের পরে তার বেশিরভাগ অগ্রগতি করেছে — একটি পেসিং প্রোফাইল যা সংক্ষিপ্ত, গণনা-ক্যাপড মূল্যায়নের পরামর্শ দেয় যে সময় এবং বাজেটের ভিত্তিতে সস্তা খোলা মডেলগুলি কী করতে পারে তা পদ্ধতিগতভাবে বোঝা যায়।
অন্যান্য মডেলরা কীভাবে কাজ করেছে
ডিপসিক ওপেন-ওয়েট ফিল্ডে প্রতিদ্বন্দ্বিতাহীন নেতৃত্ব দেননি — তবে অন্য কেউ তা ধরতে পারেনি। Kimi K3.1 Pro, Meta's Wonder, এবং xAI-এর Grok 4.7 সবই Vals-এর সাত-মডেলের তুলনাতে DeepSeek-কে পিছনে ফেলেছে।
Z.ai-এর GLM 5.3 ফ্ল্যাশ সবশেষে এসেছে, প্রতিটি রেঞ্জে পাঁচটি উদ্দেশ্য পূরণ করেছে। ভালস এটিকে গ্রুপের "ক্লিয়ারেস্ট ডেড এন্ড" বলে অভিহিত করেছেন: একটি রেঞ্জে, মডেলটি প্রায় 36 ঘন্টা ব্যয় করেছে - এর বেশিরভাগই একটি ব্যাকগ্রাউন্ড জব পোলিং যা কখনও ফিরে আসেনি।
অন্যান্য মূল্যায়নকারীরা সাইবার টাস্কে সম্পূর্ণ GLM-5.3 মডেলটিকে যথেষ্ট বেশি রেট দেয়। টেস্টিং ফার্ম অনিয়মিত দেখতে পেয়েছে যে এটি 13টি মাল্টি-স্টেজ অ্যাটাক পরিস্থিতির মধ্যে 3টি সম্পূর্ণ করেছে - এটি একটি প্রকাশ্যভাবে উপলব্ধ মডেল থেকে রেকর্ড করেছে সর্বোত্তম ফলাফল - এবং NIST এটিকে আজ অবধি প্রকাশিত সবচেয়ে সক্ষম ওপেন-ওয়েট সাইবার মডেল বলে অভিহিত করেছে, অনুমান করে এটি মার্কিন যুক্তরাষ্ট্রের প্রধান সিস্টেমগুলির থেকে প্রায় চার মাস পিছিয়ে রয়েছে৷ অ্যানথ্রোপিক আলাদাভাবে রয়টার্সকে বলেছে যে GLM-5.3 12 শতাংশ প্রচেষ্টায় কাজের শোষণ তৈরি করেছে, তার ক্লড মিথোসের জন্য 14 শতাংশের বিপরীতে। Vals নোট করে যে এগুলি বিভিন্ন পরীক্ষা যার স্কোর সরাসরি CyberOffense ফলাফলের সাথে তুলনা করা যায় না।
কেন এটা গুরুত্বপূর্ণ
ফলাফলগুলি সীমান্তবর্তী AI সাইবার ক্ষমতার আশেপাশের সুরক্ষা প্রহরী সম্পর্কে একটি চলমান বিতর্ককে তীক্ষ্ণ করে। ওপেনএআই-এর ডেব্রেক প্রোগ্রামটি বিশেষভাবে উচ্চ-ক্ষমতার সাইবার মডেলগুলিকে পরিচয় চেক এবং সীমাবদ্ধ অ্যাক্সেসের পিছনে রাখার জন্য বিদ্যমান, এই তত্ত্বে যে আক্রমণাত্মক সাইবার ক্ষমতা অবাধে বিতরণ করা উচিত নয়। একটি বিনামূল্যের ডাউনলোড একটি সীমাবদ্ধ মডেলকে মাত্র কয়েক পয়েন্টের পিছনে ফেলে — যখন প্রতি অপারেশনে কম মাত্রার অর্ডার খরচ হয় — সেই ছবিটিকে যথেষ্ট জটিল করে তোলে৷
এটি ডিফেন্ডারদের জন্যও গুরুত্বপূর্ণ। এআই-সহায়তা আক্রমণকারীদের বিরুদ্ধে পরিকল্পনাকারী নিরাপত্তা দলগুলি আর অনুমান করতে পারে না যে গুরুতর স্বায়ত্তশাসিত আক্রমণাত্মক ক্ষমতার জন্য ল্যাবের সীমাবদ্ধ মডেল বা বড় বাজেটের অ্যাক্সেস প্রয়োজন। Vals এর নিজস্ব ফ্রেমিং পরামর্শ দেয়, সক্ষমতা ফ্লোরটি অ্যাক্সেস কন্ট্রোলের তুলনায় দ্রুত বাড়ছে।
ওপেনএআই প্রতিবেদনে তুলনা করার বিষয়ে মন্তব্য করেনি। ডিপসিক অবিলম্বে মন্তব্যের অনুরোধের জবাব দেননি।
একটি পরীক্ষা পদ্ধতি চ্যালেঞ্জ
শিরোনাম স্কোরের বাইরে, ফলাফলগুলি কীভাবে এআই সাইবার ক্ষমতা পরিমাপ করা হয় তার জন্য একটি পাঠ বহন করে। Vals-এর নকশা পছন্দগুলি — দীর্ঘ 48-ঘন্টা উইন্ডো, অর্ধ-বিলিয়ন-টোকেন বাজেট, এবং স্ব-প্রতিবেদিত সাফল্যের পরিবর্তে লুকানো মার্কারগুলির মাধ্যমে যাচাইকরণ — এজেন্টিক সিস্টেমগুলিকে ন্যায্যভাবে মূল্যায়ন করার জন্য ক্রমবর্ধমান প্রয়োজনীয় হিসাবে দেখা হচ্ছে। সংক্ষিপ্ত, সস্তা টেস্ট রান সম্ভবত ডিপসিক এর ধীর সূচনা, মাস্কিং ক্ষমতা যা আরও গণনার সাথে আবির্ভূত হয়েছে তার কারণে অনেক কম স্কোর করত।
যে নীতির জন্য ব্যবহারিক ফলাফল আছে. ওপেনএআই-এর ডেব্রেক প্রোগ্রামের মতো অ্যাক্সেসের বিধিনিষেধগুলি পরিমাপ করা ক্ষমতার বিপরীতে ক্যালিব্রেট করা হয়, এবং যদি মূল্যায়ন পদ্ধতি পদ্ধতিগতভাবে খোলা মডেলগুলি কী করতে পারে তা বোঝা যায়, গার্ডেলগুলি বাস্তবতা থেকে পিছিয়ে থাকতে পারে। Vals' CyberOffense লিডারবোর্ড, যেটি ফার্ম বলে যে এটি আপডেট করা চালিয়ে যাবে, ফলস্বরূপ AI নিরাপত্তা সম্প্রদায়ের আরও ঘনিষ্ঠভাবে দেখা স্কোরবোর্ডগুলির মধ্যে একটি হয়ে উঠতে পারে।
আপাতত, ডেটা থেকে বার্তাটি ভোঁতা: সীমাবদ্ধ প্রোগ্রামগুলির পিছনে ল্যাবগুলি কী রক্ষা করে এবং যে কেউ কী ডাউনলোড করতে পারে তার মধ্যে ব্যবধান এমন জায়গায় সঙ্কুচিত হচ্ছে যেখানে এটি শীঘ্রই কয়েক প্রজন্মের মডেলের পরিবর্তে মাসগুলিতে পরিমাপ করা যেতে পারে।
