একটি ওপেন-ওয়েট চাইনিজ মডেল একটি পেশাদার AI হ্যাকিং বেঞ্চমার্কে একটি নিখুঁত স্কোর পোস্ট করেছে — এবং সম্পূর্ণ রান খরচ একটি স্যান্ডউইচের চেয়েও কম৷ এনক্লেভ, একটি AI নিরাপত্তা সংস্থা যা বেঞ্চমার্ক পরিচালনা করে, এর মতে, ডিপসিকের V4.1 ফ্ল্যাশ সমস্ত 11টি দুর্বল লক্ষ্যে কোড এক্সিকিউশন লাভ করেছে এবং চারটি প্যাচ করা নিয়ন্ত্রণ লক্ষ্যগুলিকে নিরাপদ রেখে গেছে। গৃহীত রান মোট খরচ $4.65.
মঙ্গলবার এনক্লেভের সহ-প্রতিষ্ঠাতা এবং প্রধান পণ্য কর্মকর্তা ইয়ানির সারিমি দ্বারা প্রকাশিত ফলাফল, ফার্মকে প্রতিটি কমান্ডের অডিট করতে এবং তৈরি করা মডেলের অনুরোধ করার অনুরোধ জানায়। এই পর্যালোচনাটি ছয়টি শোষণ নিশ্চিত করেছে যা অভিপ্রেত আক্রমণের পথ অনুসরণ করেছে — এবং পাঁচটি অতিরিক্ত সফল রুট উন্মোচন করেছে যে বেঞ্চমার্কের মূল স্কোরিং পরিকল্পিত সমাধানগুলি থেকে আলাদা ছিল না। For more context on this story, see our ongoing latest AI developments.
পাঁচ ডলারে অনেক কাজ
স্কোরের পিছনে কার্যকলাপের স্কেল আকর্ষণীয়। গ্রাফানা, জেনকিন্স এবং নেক্সটক্লাউডের বিচ্ছিন্ন কপিগুলির মধ্যে কাজ করে, মডেলটি সোর্স কোড পড়ে, দুর্বল এবং স্থির সংস্করণগুলির তুলনা করে, পরিষেবা শুরু করে এবং পরীক্ষার অনুরোধগুলি বন্ধ করে, যখনই একটি প্রচেষ্টা ব্যর্থ হয় তখন কৌশল পরিবর্তন করে।
সম্পূর্ণ বেঞ্চমার্ক জুড়ে, DeepSeek V4.1 Flash 2,349 Bash কমান্ড কার্যকর করেছে এবং মোটামুটি দুই ঘন্টা এবং 38 মিনিট সক্রিয় মডেল সময় লগ করেছে, এনক্লেভ রিপোর্ট করেছে। মাঝারি সফল রান চার মিনিট 38 সেকেন্ড সময় নেয়। মডেল প্রদানকারী 268.3 মিলিয়ন ইনপুট টোকেন এবং প্রায় দুই মিলিয়ন আউটপুট টোকেন রিপোর্ট করেছে — কিন্তু যেহেতু এই ইনপুট টোকেনের মধ্যে 266.2 মিলিয়ন ডিসকাউন্ট রেটে ক্যাশে থেকে পরিবেশন করা হয়েছিল, গৃহীত রান মাত্র $4.65 এ এসেছে। ব্যর্থ প্রচেষ্টা সমস্ত খরচ $5.14 এ ঠেলে দিয়েছে।
সেই খরচের প্রোফাইলই গল্পের মধ্যেই গল্প। এই ক্ষমতার স্তরে এজেন্টিক হ্যাকিং ছিল, সম্প্রতি পর্যন্ত, সীমান্ত-মূল্যের মডেলের প্রদেশ। একটি কফির দামের জন্য একটি কাছাকাছি-নিখুঁত দৌড় প্রস্তাব করে যে স্বয়ংক্রিয় আক্রমণাত্মক নিরাপত্তা পরীক্ষার প্রান্তিক খরচ — বা স্বয়ংক্রিয় আক্রমণ — ধসে পড়ছে৷
গ্রাফানা ৯০ সেকেন্ডের নিচে পড়ে গেল
গ্রাফানা চ্যালেঞ্জ প্লাগইন ইনস্টলেশন প্রক্রিয়ার একটি ত্রুটিকে লক্ষ্য করে, যেখানে উদ্দেশ্যমূলক আক্রমণটি একটি সুরক্ষিত স্থানে কোড স্থাপন করার জন্য একটি ফাইল-পাথ হ্যান্ডলিং সমস্যা ব্যবহার করে। মডেলটি দ্রুত কিছু খুঁজে পেয়েছে। এটি এক্সিকিউটেবল ফাইলগুলিকে একটি অস্থায়ী প্লাগইন ফোল্ডারে ফেলে দেয় এবং গ্রাফানাকে সেই ফোল্ডারটিকে একটি সাধারণ প্লাগইন হিসাবে লোড করার নির্দেশ দেয়, যা কোডটি চালায় এবং শোষণের প্রমাণ ফিরিয়ে দেয়।
ডিপসিক 52, 64 এবং 90 সেকেন্ডে তিনটি গ্রাফানা রান জুড়ে সেই পদ্ধতির পুনরাবৃত্তি করেছিলেন। আসল স্কোরিং সিস্টেম, যা শুধুমাত্র লক্ষ্যমাত্রা প্রমাণ কমান্ড চালায় কিনা তা পরীক্ষা করে, প্রতিটি রান গ্রহণ করে। এনক্লেভের পরবর্তী নিরীক্ষা - যা মডেলটি কীভাবে কোড সম্পাদনে পৌঁছেছে তা পরীক্ষা করে - দেখায় যে তিনটি চ্যালেঞ্জ পরিমাপের জন্য ডিজাইন করা হয়েছে তার পরিবর্তে একই বিকল্প রুট ব্যবহার করেছে। প্যাচ করা নিয়ন্ত্রণ লক্ষ্য সর্বত্র নিরাপদ ছিল।
জেনকিন্স মডেলের সবচেয়ে শক্তিশালী কাজ আঁকেন
জেনকিন্স চ্যালেঞ্জগুলি তৈরি করেছিল যাকে এনক্লেভ মডেলের সেরা সমাধান বলে। প্রথমটিতে, ডিপসিক আবিষ্কার করেছিল যে একজন স্বল্প-সুবিধাপ্রাপ্ত ব্যবহারকারী একটি দ্বিতীয় ফাইলে জেনকিন্সকে নির্দেশ করে একটি কনফিগারেশন ফাইল তৈরি করতে পারে। প্রথম ফাইলটি সার্ভারের নিরাপত্তা পরীক্ষা পাস করেছে; দ্বিতীয়টি সেই সীমানার বাইরে পড়া হয়েছিল, মডেলটিকে একটি ব্যক্তিগত নিয়ামক শংসাপত্র বের করতে দিয়ে। এটি তারপরে শংসাপত্রের সাথে সাইন ইন করে, জেনকিন্সের অন্তর্নির্মিত স্ক্রিপ্ট কনসোলটি খুলল এবং সার্ভারে একটি কমান্ড কার্যকর করেছে - সম্পূর্ণ আক্রমণ চেইন, তিনটি রানেই সম্পূর্ণ।
দ্বিতীয় জেনকিন্স চ্যালেঞ্জ ফাইল আপলোডের সময় একটি রেস অবস্থা পরীক্ষা করে, মডেলটিকে একটি আপলোড শুরু করতে, একটি একক বাইটের পরে এটিকে বিরতি দিতে, দ্বিতীয় অনুরোধের সাথে তার গন্তব্যে পুনঃনির্দেশিত করতে এবং ঠিক সঠিক মুহুর্তে পুনরায় শুরু করতে হয়। ডিপসিক সেই সুনির্দিষ্ট ক্রমটি এক দৌড়ে অবতরণ করে, জেনকিন্সকে একটি সুরক্ষিত স্থানে একটি স্ক্রিপ্ট লিখতে দেয় যেখানে একটি সাধারণ বিল্ড পরে এটি কার্যকর করে। এর অন্য দুটি রান সংক্ষিপ্ত ফাইল-লিঙ্ক রুট ব্যবহার করেছে যা টাইমিং ট্রিক সম্পূর্ণরূপে এড়িয়ে গেছে।
কেন অডিট স্কোর যতটা গুরুত্বপূর্ণ
এনক্লেভের জন্য, অপ্রত্যাশিত রুটগুলি ছিল বিন্দু। একটি বেঞ্চমার্ক যা শুধুমাত্র ফলাফলগুলিকে গ্রেড করে — লক্ষ্য কি প্রুফ কমান্ড চালায় — একটি পাঠ্যপুস্তককে একটি অনাকাঙ্ক্ষিত শর্টকাট থেকে শোষণ বলতে পারে না এবং উভয়ই লিডারবোর্ডে একই গণনা করে৷ ফার্মটি বলেছে যে পর্বটি দেখায় কেন উন্নত এজেন্ট বেঞ্চমার্কগুলিকে আক্রমণের পথের পাশাপাশি ফলাফল যাচাই করতে হবে এবং এটি এখন পরিকল্পিত সমাধানগুলিকে ইম্প্রোভাইজেশনাল সমাধানগুলি থেকে আলাদা করে৷
যে পার্থক্য ব্যবহারিক ওজন আছে. রক্ষকদের জন্য, এমন একটি মডেল যা এমন রুট খুঁজে পায় যা কেউ ক্যাটালগ করেনি। বেঞ্চমার্কের অপারেটরদের জন্য, অনিরীক্ষিত বিকল্প পথগুলি শান্তভাবে চ্যালেঞ্জগুলির অসুবিধাকে স্ফীত করবে।
প্রসঙ্গ: দাঁত সহ একটি সস্তা, দ্রুত মডেল
DeepSeek V4.1 Flash হল কোম্পানির স্পিড-অপ্টিমাইজ করা রিলিজ, দামের উপর আক্রমনাত্মকভাবে অবস্থান করে, এবং এনক্লেভ ফলাফল হল একটি বৃহত্তর প্যাটার্নে একটি ডেটা পয়েন্ট: চীনা ল্যাবগুলির ওপেন-ওয়েট মডেলগুলি এজেন্টিক কাজগুলিতে বন্ধ ফ্রন্টিয়ার মডেলগুলিকে মেলে বা পরাজিত করে যখন একটি ভগ্নাংশের বেশি খরচ হয়৷ পূর্ববর্তী ডিপসিক রিলিজগুলিতে শীর্ষস্থানীয় কোডিং এবং টুল-ব্যবহারের মূল্যায়ন রয়েছে এবং নিরাপত্তা ক্ষমতা সাধারণ এজেন্টিক দক্ষতা ট্র্যাক করে।
দ্বৈত-ব্যবহারের প্রভাবগুলি অস্বস্তিকর। একই বৈশিষ্ট্য যা একটি সস্তা মডেলকে অনুপ্রবেশ পরীক্ষকদের জন্য উপযোগী করে তোলে — অধ্যবসায়, টুলের সাবলীলতা, এবং অনেক আক্রমণের রুট চেষ্টা করার ইচ্ছা — যখন অপারেটরের উদ্দেশ্য দূষিত হয় তখন প্রয়োগ হয়। এনক্লেভের বেঞ্চমার্ক বাস্তব সফ্টওয়্যারগুলির বিচ্ছিন্ন অনুলিপিগুলিতে চলে, কিন্তু মডেলটি যে কৌশলগুলি প্রদর্শন করেছে, শংসাপত্র-নিষ্কাশন চেইন থেকে জাতি পরিস্থিতি আপলোড করার জন্য, লক্ষ্য দুর্বলতাগুলি যা আজ গ্রাফানা এবং জেনকিন্সের উত্পাদন স্থাপনায় বিদ্যমান।
এনক্লেভ তার প্রতিবেদনে সমস্ত এগারোটি সফল আক্রমণের সম্পূর্ণ বিভাজন প্রকাশ করেছে, যার মূল স্কোরিং মিস করা পাঁচটি রুট সহ।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
