একটি বেঞ্চমার্ক যা বৃহৎ ভাষার মডেলগুলিকে এক ঘন্টার মধ্যে প্রতিযোগিতামূলক স্টারক্রাফ্ট বটগুলি লিখতে বলে তার সবচেয়ে বিশদ ফলাফল এখনও সরবরাহ করেছে, এবং রায়টি বিভক্ত: OpenAI এর GPT-6 Astra AI ক্ষেত্রে আধিপত্য বিস্তার করে, কিন্তু সবচেয়ে শক্তিশালী মানব-লিখিত বটগুলি এখনও সেরা মডেলটিকে 93% সময় পরাজিত করে।

StarSkirmish বেঞ্চ v0.2, বিকাশকারী Kai McPheeters দ্বারা 15 অক্টোবর প্রকাশিত, মূল্যায়ন করে যে স্টারক্রাফ্ট কতটা শক্তিশালী: ব্রুড ওয়ার বট প্রতিটি এলএলএম প্রাচীর-ঘড়ির এক ঘন্টা সময় তৈরি করতে পারে। প্রতিটি মডেল C++ এ একটি প্রোটোস বট লেখে, যা প্রতিদ্বন্দ্বী মডেলদের দ্বারা লিখিত বট এবং প্রতিষ্ঠিত মানব-লিখিত প্রতিযোগীদের বিরুদ্ধে খেলা হয়। পরীক্ষাটি দীর্ঘ-দিগন্তের যুক্তি এবং এজেন্টিক কোডিং তদন্ত করার জন্য ডিজাইন করা হয়েছে, যেহেতু মডেলগুলিকে তাদের সৃষ্টিগুলিকে উন্নত করতে অনুশীলন গেম থেকে পাঠ অন্তর্ভুক্ত করতে হবে। For more context on this story, see our ongoing AI news.

কিভাবে বেঞ্চমার্ক কাজ করে

নিয়ম ইচ্ছাকৃতভাবে সহজ. এক ঘণ্টা, এক ভাষা, এক জাতি। প্রতিটি মডেলের স্কোর হল প্রতিযোগিতামূলক মানব-লিখিত বট এবং ডেমো বটগুলির একটি তালিকার বিরুদ্ধে পাঁচ রান জুড়ে গড় জয়ের হার। সংস্করণ 0.2 একটি মোচড় যোগ করেছে: প্রতিটি ফ্ল্যাগশিপ মডেল তার নিজস্ব ল্যাবের প্রথম-পক্ষের সিএলআই কোডিং হারনেসের ভিতরে চলে, স্ট্রিপ-ডাউন API লুপের পরিবর্তে সম্পূর্ণ এজেন্টিক স্ট্যাক পরীক্ষা করে।

একটি অসামঞ্জস্য রয়েছে, যা বেঞ্চমার্ক লেখক অগ্রগামী নোট করেছেন: জেমিনি 4 আর্গন "উচ্চ" এ চলে — এটির জন্য উপলব্ধ সর্বোচ্চ যুক্তি প্রচেষ্টা — যখন অন্য প্রতিটি মডেল সর্বোচ্চ রান করে।

GPT-6 Astra লিডস, GPT-6.1 সল মানের উপর জয়লাভ করে

ফলাফলগুলি লিডারবোর্ডের শীর্ষে GPT-6 Astra-কে রাখে, যা GPT-6.1 Sol-এর থেকে দ্বিতীয় স্থানে একটি স্পষ্ট পদক্ষেপ হিসাবে বর্ণনা করে। বেঞ্চমার্ক পর্যবেক্ষকদের জন্য মার্জিন গুরুত্বপূর্ণ: বেশিরভাগ এজেন্টিক কোডিং স্যুটগুলিতে, ফ্ল্যাগশিপ মডেলগুলি একে অপরের কয়েকটি পয়েন্টের মধ্যে ক্লাস্টার করে, তাই একটি লিডারবোর্ড যা ক্ষেত্রটিকে স্বতন্ত্র স্তরে বিভক্ত করে একটি ভিড়ের শীর্ষ দশের চেয়ে বেশি ডায়াগনস্টিক কাজ করে। Gemini 4 Argon, Claude Opus 5.5 এবং Claude Fable 5.1 কার্যকরীভাবে দুটি OpenAI মডেলের পিছনে বাঁধা, সমস্ত স্কোর 37 থেকে 39 এর মধ্যে। মেটার মিউজ ওয়ান্ডার ফুল সপ্তম স্থান দখল করেছে।

খরচ বিশ্লেষণ আরো আকর্ষণীয় ফাইন্ডিং হতে পারে. এক ঘণ্টার দৌড়ের গড় API খরচের বিপরীতে প্লট করা হয়েছে, GPT-6.1 Sol সবচেয়ে আকর্ষণীয় চতুর্ভুজায় একাই ল্যান্ড করেছে: GPT-6 Astra-এর প্রতি রান খরচের দশমাংশেরও বেশি। বাজেটের বিপরীতে এজেন্ট কর্মক্ষমতা ওজনকারী দলগুলির জন্য, দুটি OpenAI মডেলের মধ্যে ব্যবধান হল ব্যবহারিক শিরোনাম।

মানব বট অনেক এগিয়ে থাকে

শক্তিশালী মানব-লিখিত বটগুলির বিরুদ্ধে — Stardust, PurpleWave এবং BananaBrain — GPT-6 Astra তার গেমগুলির মাত্র 7% জিতেছে৷ বেঞ্চমার্কের লেখক নোট করেছেন যে এক ঘন্টার যুক্তি সীমা একটি ফ্যাক্টর, এবং প্রকৃত মানব-লিখিত বটগুলির জন্য টুর্নামেন্টের শর্তগুলি মূল্যায়নে ব্যবহৃত তিনটি দ্বি-খেলোয়াড়ের মানচিত্রের চেয়ে উল্লেখযোগ্যভাবে কঠিন।

তবুও, ব্যবধানটি সফ্টওয়্যারে আসন্ন AI আধিপত্যের বর্ণনার জন্য একটি কার্যকর সংশোধনমূলক: স্পষ্ট জয়ের শর্ত, গভীর কৌশল এবং দীর্ঘ পরিকল্পনার দিগন্ত সহ একটি কাজে, কয়েক দশকের কমিউনিটি ইঞ্জিনিয়ারিং এখনও এক ঘন্টার সীমান্ত-মডেল কোডিং যা তৈরি করতে পারে তার উপরে রয়েছে।

স্টারক্রাফ্ট দীর্ঘকাল ধরে গেম-প্লেয়িং এআই-এর জন্য একটি প্রমাণের স্থল হিসাবে কাজ করেছে কারণ এটি পাশবিক শক্তিকে প্রতিরোধ করে। রিয়েল-টাইম কৌশল আংশিক তথ্যের অধীনে অর্থনীতি, স্কাউটিং এবং যুদ্ধের একযোগে পরিচালনার দাবি করে এবং ব্রুড ওয়ার সম্প্রদায় বছরের পর বছর ধরে প্রতিযোগিতামূলক বট টুর্নামেন্ট বজায় রেখেছে। সেই জমে থাকা ইকোসিস্টেমই বেঞ্চমার্কের মানব বেসলাইনকে অর্থবহ করে তোলে — স্টারডাস্ট, পার্পলওয়েভ এবং ব্যানানাব্রেইন নৈমিত্তিক প্রতিপক্ষ নয় বরং পরিমার্জিত, টুর্নামেন্ট-কঠিন প্রোগ্রাম।

নতুন ফ্ল্যাগশিপ ফ্রে প্রবেশ করুন

সংস্করণ 0.2 সদ্য প্রকাশিত মডেলগুলির জন্য একটি প্রাথমিক স্কোরবোর্ড হিসাবেও কাজ করে। Google-এর Gemini 4 Argon v0.1-এর Gemini 3.8 Flash-কে প্রতিস্থাপিত করেছে এবং আত্মপ্রকাশের সময় তৃতীয় স্থানে রয়েছে, যখন Meta's Muse Wonder Full মিউজ স্পার্ক 1.3-এর জন্য পা দিয়েছে এবং সপ্তম স্থানে রয়েছে। GPT-6 Astra এবং Claude Opus 5.5 আগের সংস্করণের কভারেজ থেকে বহন করা হয়েছে।

বেঞ্চমার্ক প্রতিটি দৌড়ের জন্য একটি এজেন্ট ট্রেস রেকর্ড করে, প্রতিটি মডেল তার ঘন্টা কীভাবে ব্যয় করেছে তা লগ করে — একটি ডেটাসেট যা লিডারবোর্ডকে একটি আচরণগত অধ্যয়নে পরিণত করে কিভাবে বিভিন্ন ল্যাবের মডেল পরিকল্পনা, কোডিং এবং প্লে টেস্টিংয়ের মধ্যে সময় ব্যয় করে। একটি মডেল ফ্রন্ট-লোড আর্কিটেকচারের সিদ্ধান্ত বা বগি ড্রাফ্টের মাধ্যমে দ্রুত পুনরাবৃত্ত হয় কিনা তা ঠিক একই ধরণের প্রক্রিয়ার বিবরণ যা মোট স্কোরগুলিকে লুকিয়ে রাখে এবং এটি যেখানে সবচেয়ে আকর্ষণীয় ক্রস-ল্যাব পার্থক্যগুলি দেখা যায়।

কেন এটা গুরুত্বপূর্ণ

অনেক সফ্টওয়্যার-ইঞ্জিনিয়ারিং স্যুটগুলির শীর্ষের কাছে ফ্ল্যাগশিপ মডেলগুলি ক্লাস্টার করার সাথে এজেন্টিক কোডিং বেঞ্চমার্কগুলি দ্রুত স্যাচুরেট করছে৷ StarSkirmish একটি বিকল্প অফার করে: একটি পরিবেশ যেখানে মানব বিশেষজ্ঞদের দ্বারা সিলিং সেট করা হয়, অগ্রগতি টিকেটের রেজোলিউশনের শতাংশ পয়েন্টের পরিবর্তে জয়ের হারে পরিমাপ করা হয় এবং ঘন্টা-দীর্ঘ সময়ের বাজেট এজেন্টিক কাজের বাস্তব-বিশ্বের সীমাবদ্ধতার প্রতিফলন করে।

ফলাফল ডেভেলপারদের সঙ্গে একটি জ্যা তাড়িত. শো এইচএন পোস্টটি 200 টিরও বেশি আপভোট পেয়েছে, মন্তব্যকারীরা এজেন্ট ট্রেস এবং খরচ-দক্ষতা প্লট খুঁড়িয়েছে। হ্যাকার নিউজ নিয়ে বেঞ্চমার্ক আলোচনা পদ্ধতিগত বিভ্রান্তি এবং সক্ষমতার মধ্যে বিভক্ত হওয়ার প্রবণতা রয়েছে; এটি একটি যুক্তি-প্রচেষ্টা অসাম্যতা এবং পাঁচ-রানের নমুনার আকারের সাথে সবচেয়ে যাচাইকৃত ডিজাইন পছন্দগুলির মধ্যে উভয়ই আঁকে। যুক্তির প্রচেষ্টার মাত্রা বাড়ার সাথে সাথে এবং জোগানের উন্নতি ঘটছে, বেঞ্চমার্কের লেখকের পরিকল্পনা অব্যাহতভাবে পুনরাবৃত্তি করা হয়েছে — এবং আপাতত, মানব স্টারক্রাফ্ট বট সম্প্রদায় তার আরামদায়ক নেতৃত্ব বজায় রেখেছে।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →