WIRED کی طرف سے رپورٹ کردہ تشخیصی فرم Vals کے نئے بینچ مارک کے نتائج کے مطابق، ایک اوپن ویٹ چینی ماڈل جسے کوئی بھی ڈاؤن لوڈ کر سکتا ہے، نقلی کارپوریٹ نیٹ ورکس کو توڑنے میں OpenAI کے سب سے زیادہ قابل سائبر ماڈل سے تقریباً مماثل ہے۔
Vals's CyberOffense ٹیسٹنگ میں، OpenAI کے GPT-6 Sol - جسے کمپنی صرف اپنے محدود رسائی ڈے بریک سائبر پروگرام کے ذریعے پیش کرتی ہے - نے تقریباً 81 فیصد مقاصد کو مکمل کیا۔ DeepSeek V4.1 Flash، ایک مفت اوپن ویٹ ریلیز، ایک مکمل خود مختار ایجنٹ کے طور پر چلتے ہوئے، تقریباً 73 فیصد اسی مقاصد کو مکمل کرتا ہے۔ دوسرے ٹریکرز نے ڈیپ سیک کا ہیڈ لائن نمبر 72.8 فیصد رکھا۔
والز نے اپنے نتائج میں لکھا، "سائبر کی قابلیت جو قابل اعتماد رسائی AI تک محدود تھی اب ہر کسی کے لیے دستیاب ہے۔" Vals کے محقق نکیل روی نے WIRED کو بتایا کہ AI لیبز کے اندر بند بہترین ماڈلز "کھلے ماڈلز سے ملنے لگے ہیں جنہیں کوئی بھی ڈاؤن لوڈ کر سکتا ہے۔"
ویلز نے ٹیسٹ کیسے کیا
Vals' CyberOffense بینچ مارک دو نقلی سائبر رینجز کا استعمال کرتا ہے۔ پہلا، جسے نووا کہا جاتا ہے، ایک 21 مقصدی ونڈوز نیٹ ورک ہے جو کئی ایکٹو ڈائریکٹری ڈومینز پر پھیلا ہوا ہے۔ دوسرا، Lighthouse، دو کمپنیوں میں 31 مقاصد پر مشتمل ہے، جہاں ایجنٹ کو پہلے ایک نیٹ ورک پر قبضہ کرنا چاہیے اور پھر دوسرے میں داخل ہونے کے لیے وہاں موجود اسناد اور معلومات کا استعمال کرنا چاہیے - ایک ایسا منظر جو حقیقی دنیا کے ملٹی اسٹیج مداخلتوں کی عکاسی کرتا ہے۔
ہر ماڈل 48 گھنٹے کی وقت کی حد اور 500 ملین ٹوکن بجٹ کے ساتھ، ایک الگ تھلگ کالی لینکس مشین پر اوپن سورس Pi ایجنٹ میں چلتا تھا۔ اہم بات یہ ہے کہ، والز نے ایک مقصد کا سہرا صرف اس وقت دیا جب کمانڈ آؤٹ پٹ میں پوشیدہ مارکر نمودار ہوئے - کبھی بھی ماڈل کے اپنے دعوے پر نہیں کہ وہ کامیاب ہو گیا ہے۔
نمبرز، اور لاگت کا فرق
ڈیپ سیک نے نووا کے 21 مقاصد میں سے اوسطاً 16.3 حاصل کیے، اصل میں پہلے نیٹ ورک پر ڈے بریک کے 15.7 کو پیچھے چھوڑ دیا۔ ڈے بریک سخت لائٹ ہاؤس رینج پر آگے بڑھا، ڈیپ سیک کے 21 میں سے 31 میں سے 27 مقاصد کو مکمل کیا۔
زیادہ نمایاں فرق لاگت کا تھا۔ وائرڈ نے ڈیپ سیک کے لیے مکمل حملے کی قیمت تقریباً $2 سے $3 رکھی، جبکہ GPT-6 Sol کے لیے $17 سے $46۔ خاص طور پر نووا رینج پر، ڈیپ سیک نے ڈے بریک کے لیے تقریباً $22 کے مقابلے میں $3 فی رن سے کم میں اپنا کام مکمل کیا۔
والز نے یہ بھی مشاہدہ کیا کہ ڈیپ سیک نے اپنے پہلے 25 ملین ٹوکنز میں کچھ بھی مکمل نہیں کیا اور 100 ملین کے بعد اپنی زیادہ تر پیشرفت کی - ایک پیسنگ پروفائل جو مختصر، کمپیوٹ کیپ شدہ تشخیصات کو منظم طریقے سے بتاتا ہے کہ سستے اوپن ماڈل وقت اور بجٹ کے پیش نظر کیا کر سکتے ہیں۔
دوسرے ماڈلز کی کارکردگی کیسے رہی
ڈیپ سیک نے بغیر کسی چیلنج کے اوپن ویٹ فیلڈ کی قیادت نہیں کی - لیکن کسی اور نے اسے نہیں پکڑا۔ Kimi K3.1 Pro، Meta's Wonder، اور xAI's Grok 4.7 سبھی Vals کے سات ماڈل کے مقابلے میں DeepSeek سے پیچھے رہ گئے۔
Z.ai کا GLM 5.3 فلیش آخری نمبر پر آیا، جس نے ہر رینج پر پانچ مقاصد کو مکمل کیا۔ والز نے اسے گروپ کا "سب سے واضح ڈیڈ اینڈ" کہا: ایک رینج پر، ماڈل نے تقریباً 36 گھنٹے گزارے - اس میں سے زیادہ تر بیک گراؤنڈ جاب کے لیے پولنگ ہوئی جو کبھی واپس نہیں آئی۔
دیگر جائزہ کار مکمل GLM-5.3 ماڈل کو سائبر کاموں پر کافی زیادہ درجہ دیتے ہیں۔ ٹیسٹنگ فرم Irregular نے پایا کہ اس نے 13 میں سے 3 ملٹی سٹیج اٹیک کے منظرنامے مکمل کیے ہیں - بہترین نتیجہ جو اس نے کھلے عام دستیاب ماڈل سے ریکارڈ کیا ہے - اور NIST نے اسے آج تک جاری کردہ سب سے زیادہ قابل اوپن ویٹ سائبر ماڈل قرار دیا، اس اندازے کے مطابق کہ یہ امریکی نظاموں سے تقریباً چار ماہ پیچھے ہے۔ اینتھروپک نے علیحدہ طور پر رائٹرز کو بتایا کہ GLM-5.3 نے 12 فیصد کوششوں میں کام کرنے والے کارنامے بنائے، جبکہ اس کے کلاڈ میتھوس کے لیے 14 فیصد تھے۔ Vals نوٹ کرتا ہے کہ یہ مختلف ٹیسٹ ہیں جن کے سکور کا براہ راست CyberOffense کے نتائج سے موازنہ نہیں کیا جا سکتا۔
یہ کیوں اہمیت رکھتا ہے۔
نتائج فرنٹیئر AI سائبر صلاحیتوں کے ارد گرد حفاظتی محافظوں کے بارے میں جاری بحث کو تیز کرتے ہیں۔ OpenAI کا ڈے بریک پروگرام خاص طور پر اعلیٰ صلاحیت والے سائبر ماڈلز کو شناخت کی جانچ اور محدود رسائی کے پیچھے رکھنے کے لیے موجود ہے، اس نظریہ پر کہ جارحانہ سائبر صلاحیت کو آزادانہ طور پر تقسیم نہیں کیا جانا چاہیے۔ ایک مفت ڈاؤن لوڈ ایک محدود ماڈل کو صرف چند پوائنٹس سے پیچھے چھوڑتا ہے - جبکہ فی آپریشن کی شدت کے آرڈر کی قیمت کم ہوتی ہے - اس تصویر کو کافی پیچیدہ بنا دیتا ہے۔
یہ محافظوں کے لیے بھی اہمیت رکھتا ہے۔ AI کی مدد سے حملہ آوروں کے خلاف منصوبہ بندی کرنے والی سیکیورٹی ٹیمیں اب یہ فرض نہیں کر سکتی ہیں کہ سنگین خود مختار جارحانہ صلاحیت کے لیے لیب کے محدود ماڈلز یا بڑے بجٹ تک رسائی کی ضرورت ہوتی ہے۔ جیسا کہ ویلز کی اپنی فریمنگ سے پتہ چلتا ہے، قابلیت کا فرش اس سے زیادہ تیزی سے بڑھ رہا ہے جتنا کہ رسائی کے کنٹرول میں ہوسکتا ہے۔
اوپن اے آئی نے رپورٹس میں موازنہ پر کوئی تبصرہ نہیں کیا۔ ڈیپ سیک نے فوری طور پر تبصرہ کی درخواستوں کا جواب نہیں دیا۔
جانچ کے طریقہ کار کا چیلنج
سرخی کے اسکور سے ہٹ کر، نتائج میں ایک سبق ملتا ہے کہ کس طرح AI سائبر صلاحیتوں کی پیمائش کی جاتی ہے۔ والز کے ڈیزائن کے انتخاب — طویل 48 گھنٹے کی کھڑکیاں، نصف بلین ٹوکن بجٹ، اور خود اطلاع شدہ کامیابی کے بجائے پوشیدہ مارکر کے ذریعے تصدیق — کو ایجنٹی نظاموں کا منصفانہ جائزہ لینے کے لیے تیزی سے ضروری سمجھا جاتا ہے۔ مختصر، سستے ٹیسٹ رنز نے ممکنہ طور پر ڈیپ سیک کو اس کی سست شروعات، ماسکنگ کی صلاحیتوں سے بہت کم اسکور کیا ہوگا جو زیادہ کمپیوٹ کے ساتھ ابھری ہے۔
اس کے پالیسی کے عملی نتائج ہیں۔ رسائی کی پابندیاں جیسے OpenAI کے ڈے بریک پروگرام کی پیمائش کی گئی صلاحیت کے مطابق کیلیبریٹ کی جاتی ہے، اور اگر تشخیص کے طریقے منظم طریقے سے اس بات کو کم کرتے ہیں کہ اوپن ماڈل کیا کر سکتے ہیں، تو گارڈریلز حقیقت سے پیچھے رہ سکتے ہیں۔ Vals' CyberOffense لیڈر بورڈ، جس کے بارے میں فرم کا کہنا ہے کہ وہ اپ ڈیٹ کرنا جاری رکھے گا، اس کے نتیجے میں AI سیکیورٹی کمیونٹی میں زیادہ قریب سے دیکھے جانے والے اسکور بورڈز میں سے ایک بن جائے گا۔
فی الحال، ڈیٹا کا پیغام دو ٹوک ہے: محدود پروگراموں کے پیچھے لیبز کی حفاظت اور جو کوئی ڈاؤن لوڈ کر سکتا ہے اس کے درمیان فرق اس حد تک سکڑ رہا ہے جہاں ماڈلز کی نسلوں کے بجائے اسے مہینوں میں ماپا جا سکتا ہے۔
