ایپلیکیشن سیکیورٹی فرم سیمگریپ کے ایک نئے بینچ مارک نے ایک غیر متوقع نتیجہ پیش کیا ہے: چین کے Zhipu AI کے ایک کھلے وزن والے ماڈل نے سافٹ ویئر میں حقیقی سیکیورٹی خامیوں کو تلاش کرنے میں Anthropic's Claude کو پیچھے چھوڑ دیا۔ اس تلاش سے اس بحث میں مزید اضافہ ہوتا ہے کہ آیا سب سے زیادہ قابل AI ضروری طور پر سب سے مہنگا ہے یا سب سے زیادہ محدود۔
امریکی برآمدی پابندی کے پیچھے Anthropic کے طاقتور Mythos ماڈل کے بند ہونے کے ساتھ، ایک قابل رسائی متبادل کی تلاش میں سیکیورٹی ٹیمیں AI انڈسٹری کی تازہ ترین کوریج کے لیے GLM 5.2 جیسے اوپن ویٹ آپشنز کا رخ کر رہی ہیں۔ 22 جون کو شائع ہونے والے سیمگریپ کے ٹیسٹ سے پتہ چلتا ہے کہ شکار توقع سے جلد ادا کر رہا ہے۔
سیمگریپ نے کیا تجربہ کیا۔
Semgrep نے اپنے اندرونی IDOR- پتہ لگانے والے بینچ مارک پر اوپن ویٹ اور فرنٹیئر ماڈلز کی لائن اپ کا جائزہ لیا۔ IDORs — غیر محفوظ براہ راست آبجیکٹ حوالہ جات — ایکسیس کنٹرول بگ ہیں جو ایک صارف کو دوسرے صارف کے ڈیٹا تک پہنچنے دیتے ہیں۔ روایتی جامد تجزیہ کے ساتھ ان کو پکڑنا بدنام زمانہ مشکل ہے کیونکہ نقص نحوی کے بجائے منطقی ہے: کوڈ تکنیکی طور پر درست ہے، اس میں اجازت کی جانچ کی کمی ہے۔
کمپنی اپنے اصول پر مبنی انجن کو AI استدلال کے ساتھ جوڑ کر ان کمزوریوں کو تلاش کرنے کے لیے ورک فلو کو بہتر بنا رہی ہے۔ اس بات کو الگ کرنے کے لیے کہ ماڈل سے کتنی کارکردگی آتی ہے بمقابلہ اس کے آس پاس کے سہاروں، محققین نے کم سے کم استعمال کے ذریعے مقبول کھلے وزن والے ماڈلز کا ایک سیٹ چلایا — ایک سادہ پیڈانٹک سیٹ اپ ہر ماڈل کو دیے گئے IDOR پرامپٹ کا استعمال کرتے ہوئے، بغیر کسی اختتامی نقطہ کی دریافت کے اور نہ ہی کوئی ہدایت یافتہ نیویگیشن۔ اس پرامپٹ میں صرف ایک بنیادی تلاش کی حکمت عملی اور IDOR کیسا لگتا ہے اس کے بارے میں کچھ اشارے پیش کیے گئے تھے - "یہاں کوڈ ہے، کیڑے تلاش کریں" سے کچھ زیادہ، لیکن اس سے کہیں کم جو فرنٹیئر کوڈنگ ایجنٹوں کو سیمگریپ کی مکمل پائپ لائن کے اندر چلتے وقت موصول ہوتا ہے۔
آئی ڈی او آرز ایپلی کیشن سیکیورٹی ٹیموں کے لیے ایک مستقل سر درد ہیں کیونکہ وہ روایتی اسکینرز کی دراڑوں سے گزرتے ہیں۔ اصول پر مبنی ٹول گمشدہ ان پٹ چیک کو جھنڈا لگا سکتا ہے، لیکن یہ سمجھنے کے لیے کہ آیا کوئی مخصوص اختتامی نقطہ درحقیقت کسی دوسرے صارف کے ڈیٹا کو بے نقاب کرتا ہے اس کے لیے ایپلیکیشن کی کاروباری منطق کے بارے میں استدلال کی ضرورت ہوتی ہے — بالکل اسی قسم کے سیاق و سباق کے فیصلے جس میں بڑے زبان کے ماڈل تیزی سے اچھے ہوتے ہیں۔
GLM 5.2 لیڈ لیتا ہے۔
اسٹینڈ آؤٹ GLM 5.2 تھا، Zhipu AI کا اوپن ویٹ ماڈل۔ ایک ننگے پرامپٹ کے سوا کچھ نہیں چلاتے ہوئے، اس نے IDOR کا پتہ لگانے پر 39% F1 اسکور کیا - Claude Code کے 32% کو سات مکمل پوائنٹس سے شکست دی۔ Semgrep کے مطابق، اوپن ویٹ ماڈل نے کام پر Claude Opus 4.8 کو بھی پیچھے چھوڑ دیا، جس سے یہ سب سے مضبوط نان فرنٹیئر آپشن بن گیا۔
معاشیات بھی اتنی ہی حیران کن تھیں۔ GLM 5.2 کی قیمتوں میں، رن کی لاگت تقریباً $0.17 فی کمزوری پائی گئی۔ ایسی تنظیموں کے لیے جو ہزاروں اینڈ پوائنٹس کو اسکین کر سکتی ہیں، سیمگریپ نے نوٹ کیا کہ فی بگ لاگت اکثر اس بات کا فیصلہ کن عنصر ہوتی ہے کہ آیا پتہ لگانے کی تکنیک پیمانے پر عملی ہے۔
دوسرے کھلے وزن کے دعویدار مزید پیچھے رہ گئے۔ MiniMax M3 نے 23% F1 اسکور کیا اور Kimi K2.7 Code نے 22% اسکور کیا، دونوں ہی Claude Code سے نیچے ہیں۔ سیمگریپ نے GLM 5.2 کو کھلے وزن کے زمرے کے نمائندہ نتیجہ کے بجائے واضح استثناء کے طور پر نمایاں کیا۔
استعمال اب بھی اہمیت رکھتا ہے۔
را-پرامپٹ زمرہ میں اوپن ویٹ جیت کے باوجود، سیمگریپ کی اپنی مقصد سے بنائی گئی پائپ لائن مجموعی طور پر قائد رہی۔ کمپنی کا ملٹی موڈل سیٹ اپ - جو کہ AI استدلال کو اصول پر مبنی پتہ لگانے اور اسٹرکچرڈ اینڈ پوائنٹ انیومریشن کے ساتھ جوڑتا ہے - نے کنفیگریشن کے لحاظ سے 53% سے 61% F1 حاصل کیا۔ یہ فرق محققین کے اصل سوال کی نشاندہی کرتا ہے: کمزوری کا پتہ لگانے کی کارکردگی کا ماڈل کتنا ہے، اور اس کے ارد گرد فن تعمیر کتنا ہے؟
جواب ظاہر ہوتا ہے "دونوں، لیکن لوگوں کے خیال سے کہیں زیادہ استعمال ہے۔" GLM 5.2 نے ثابت کیا کہ ایک قابل ماڈل کم سے کم سپورٹ کے ساتھ بامعنی کام کر سکتا ہے، پھر بھی یہ خاص طور پر اس مسئلے کے لیے بنائے گئے سسٹم سے مماثل نہیں ہو سکتا۔
Semgrep ٹیم - جس میں محققین Paxton-Fear، Seth Jaksik، Brenden Noblitt، اور Erik Buchanan شامل تھے - نے کہا کہ وہ "حقیقی طور پر حیران" ہیں کہ ایک کھلے وزن والے ماڈل نے برہنہ پرامپٹ چلانے والے ایک فرنٹیئر کوڈنگ ایجنٹ کو پیچھے چھوڑ دیا۔
گھر میں خرافات
بینچ مارک موجودہ جغرافیائی سیاسی پس منظر کے خلاف اضافی وزن رکھتا ہے۔ بلاگ پوسٹ کا عنوان - "ہمارے گھر میں Mythos ہیں" - اس حقیقت کا ایک واضح حوالہ ہے کہ Anthropic کا سائبرسیکیوریٹی پر مرکوز Mythos ماڈل پوری دنیا میں مؤثر طریقے سے دستیاب نہیں ہے۔ ٹرمپ انتظامیہ کی جانب سے غیر امریکی شہریوں کو Mythos اور اس کے محدود بہن بھائی Fable 5 کے استعمال سے روکے جانے کے بعد، عالمی سیکیورٹی ٹیموں نے اس تک رسائی کھو دی جسے بڑے پیمانے پر جارحانہ اور دفاعی حفاظتی کام کے لیے سب سے زیادہ قابل AI سمجھا جاتا تھا۔
اس خلا میں، قابل رسائی اوپن ویٹ ماڈل اس خلا کو پُر کر رہے ہیں۔ حقیقت یہ ہے کہ GLM 5.2 — آزادانہ طور پر ڈاؤن لوڈ کے قابل اور کہیں بھی تعینات کیا جا سکتا ہے — پہلے سے ہی مخصوص حفاظتی کاموں پر سرحدی ملکیتی ماڈلز سے مماثلت یا شکست دے سکتا ہے یہ بتاتا ہے کہ برآمدی پابندی کا ٹھنڈا اثر مطلوبہ سے چھوٹا ہو سکتا ہے۔ اگر بہترین "غیر محدود" ماڈل میں بہتری آتی رہتی ہے تو ذخیرہ اندوزی کی فرنٹیئر صلاحیتوں کی اسٹریٹجک قدر کم ہو جاتی ہے۔
ابھی کے لیے، نتیجہ تنگ ہے: کمزوری کے کسی ایک طبقے پر ایک واحد بینچ مارک۔ لیکن یہ اس بات کا اشارہ ہے کہ اوپن ویٹ فرنٹیئر بہت سے لوگوں کے اندازے سے زیادہ تیزی سے بند ہو رہا ہے، اور یہ رسائی - خام صلاحیت نہیں - AI سیکورٹی کے منظر نامے میں متغیر ہو سکتی ہے۔
یہ تلاش فرنٹیئر لیبز کے لیے بھی غیر آرام دہ سوالات اٹھاتی ہے۔ اگر آزادانہ طور پر دستیاب ماڈل پہلے سے ہی حفاظتی استدلال کے کاموں پر ملکیتی نظاموں سے مماثلت رکھتا ہے، تو بند ماڈلز کے ارد گرد مسابقتی کھائی تنگ ہو جاتی ہے — خاص طور پر جب برآمدی کنٹرول ان بند ماڈلز کو عالمی منڈی کے لیے ناقابل رسائی بنا دیتے ہیں۔ کھلے وزن والے ڈویلپرز، استعمال کی پابندیوں کے بغیر، ہر جگہ بیک وقت اعادہ اور تعینات کر سکتے ہیں۔
AI سے آگے رہیں
فرنٹیئر اور اوپن ویٹ AI کے درمیان فرق بریکنگ AI نیوز اور سیکیورٹی، انفراسٹرکچر اور پالیسی کو نئی شکل دینے والی تحقیق پر کم ہوتا جا رہا ہے۔
مزید AI خبریں پڑھیں →
