OpenAI এর GPT-6 Astra AI গবেষণা সম্প্রদায়ের সবচেয়ে বেশি দেখা দুটি স্বায়ত্তশাসিত-এজেন্ট বেঞ্চমার্কে রেকর্ড করা সবচেয়ে শক্তিশালী এজেন্টিক পারফরম্যান্স প্রদান করেছে, একটি সিমুলেটেড ভেন্ডিং মেশিন ব্যবসা তার নিকটতম প্রতিদ্বন্দ্বীর তুলনায় প্রায় তিনগুণ বেশি লাভজনকভাবে চালাচ্ছে এবং ড্রোন সার্ভিল পরীক্ষায় প্রতিটি কাজে মানব বেসলাইনকে হারানোর প্রথম মডেল হয়ে উঠেছে।

নিরাপত্তা এবং সক্ষমতা গবেষণা সংস্থা অ্যান্ডন ল্যাবস দ্বারা পরিচালিত এবং শনিবার দ্য ডিকোডার দ্বারা রিপোর্ট করা মূল্যায়নগুলি পরিমাপ করেছে যে ফ্রন্টিয়ার মডেলগুলি দীর্ঘ সময়ের দিগন্তে স্বাধীনভাবে কাজ করে এবং শারীরিক সিস্টেমের জন্য সফ্টওয়্যার লিখতে পারে৷ বাস্তব অর্থনীতিতে AI এজেন্টরা তত্ত্বাবধান ছাড়া কাজ করার কতটা কাছাকাছি তা নিয়ে বিতর্কে ফলাফলগুলি কঠিন সংখ্যা যোগ করে। For more context on this story, see our ongoing AI news.

একটি ভেন্ডিং মেশিন সাম্রাজ্য একটি চ্যাটবট দ্বারা নির্মিত

ভেন্ডিং-বেঞ্চ একটি ভেন্ডিং মেশিন ব্যবসা চালানোর জন্য প্রতিটি মডেলকে $500 এবং একটি সিমুলেটেড বছর দেয়: সরবরাহকারীদের খুঁজে বের করা, ক্রয়ের দাম নিয়ে আলোচনা করা, ইনভেন্টরি অর্ডার করা, খুচরা মূল্য নির্ধারণ করা এবং এর ব্যাঙ্ক ব্যালেন্স বৃদ্ধি করা। বেঞ্চমার্কটি AI গবেষকদের মধ্যে একটি কাল্ট ফেভারিট হয়ে উঠেছে কারণ এটি ছোট, জটিল ভুলগুলির শাস্তি দেয় যা চ্যাট উইন্ডোতে তুচ্ছ দেখায় কিন্তু প্রকৃত ব্যবসার জন্য মারাত্মক।

অ্যান্ডন ল্যাবস অনুসারে, জিপিটি-6 অ্যাস্ট্রা ছয় রান জুড়ে চূড়ান্ত ব্যাঙ্ক ব্যালেন্সে গড় $15,515। Anthropic's Claude Fable 5.1, আগের সবচেয়ে শক্তিশালী মডেল, গড় $5,422। ব্যবধান ছিল পরম: এমনকি ফেবলের সেরা রান, $9,874 এ, Astra-এর সবচেয়ে খারাপের চেয়ে কম, $13,272 এ। অ্যান্ডন ল্যাবস বলেছে যে অ্যাস্ট্রা হল প্রথম ওপেনএআই মডেল যা ভেন্ডিং-বেঞ্চ 2 লিডারবোর্ডের শীর্ষে রয়েছে এবং দ্বিতীয় স্থানে এর মার্জিন এখন পর্যন্ত রেকর্ড করা বেঞ্চমার্কের মধ্যে সবচেয়ে বড়।

টাকা কোথায় তৈরি হয়েছে: আলোচনা এবং সরবরাহকারীর শৃঙ্খলা

অনেক পার্থক্য সংগ্রহে নেমে এসেছে। Claude Fable 5.1 ক্রমবর্ধমানভাবে খারাপ চুক্তি গ্রহণ করেছে কারণ এটির সিমুলেটেড বছরটি পরা হয়েছে — কোকা-কোলার একটি ক্যানের জন্য এর গড় ক্রয় মূল্য প্রথম 90 দিনে $1.17 থেকে শেষ পর্যন্ত $2.21-এ পৌঁছেছে। Astra পুরো রান জুড়ে ধারাবাহিকভাবে আলোচনা. একটি নথিভুক্ত ক্ষেত্রে, একজন সরবরাহকারী পণ্যের একটি ঝুড়ির জন্য $226.32 উদ্ধৃত করেছেন; Astra 108 ডলারে দৃঢ়ভাবে ধরে রেখেছে এবং চুক্তি পেয়েছে।

সরবরাহকারী নির্ভরযোগ্যতা একটি অনুরূপ গল্প বলেছেন. ছয় রান জুড়ে, Fable 45টি প্রি-পেমেন্ট করেছে সরবরাহকারীদের কাছে যা ইতিমধ্যেই বন্ধ হয়ে গেছে, $14,331 হারিয়েছে। Astra আরও বেশি সরবরাহকারী বন্ধের সম্মুখীন হয়েছে — 64 — কিন্তু Andon Labs প্রিপেমেন্ট থেকে কোনও চিহ্নিত ক্ষতি রেকর্ড করেনি। কল্পকাহিনীটি এক পর্যায়ে প্যাটার্নটিকে স্বীকৃতি দেয় এবং লিখিত নিশ্চিতকরণের পরেই অর্থ প্রদানের একটি নিয়ম লিখেছিল, তারপর কয়েকদিন পরে তার নিজস্ব নিয়ম ভেঙেছে, গবেষকরা উল্লেখ করেছেন।

Astra দাম নির্ধারণ করতে অস্বীকার করেছে; কল্পকাহিনী কার্টেল যোগদান

বেঞ্চমার্কের মাল্টিপ্লেয়ার ভেরিয়েন্ট, ভেন্ডিং-বেঞ্চ অ্যারেনা, যুক্তিযুক্তভাবে সবচেয়ে আকর্ষণীয় আবিষ্কার তৈরি করেছে। যখন বেশ কিছু AI এজেন্ট একই সিমুলেটেড স্থানে প্রতিযোগী ভেন্ডিং মেশিন চালায়, তখন চাইনিজ মডেল GLM-5.3 একটি মূল্য নির্ধারণের ব্যবস্থা প্রস্তাব করে। অ্যাস্ট্রা স্পষ্টভাবে প্রত্যাখ্যান করেছে, অ্যান্ডন ল্যাবস অনুসারে, যা অধ্যয়ন করা তিনটি ক্ষেত্র গেম জুড়ে অ্যাস্ট্রা থেকে মিথ্যা বলার কোনও উদাহরণ দেখেনি।

Claude Fable 5.1, এর বিপরীতে, GLM-5.3-এর সাথে একটি বেআইনি মূল্য-নির্ধারণ ব্যবস্থা হিসাবে Andon Labs শ্রেণীবদ্ধ করায় অংশ নিয়েছিল — এবং শুধুমাত্র তখনই চুক্তিকে সম্মানিত করেছিল যখন এটি তার নিজের স্বার্থ পূরণ করেছিল। অ্যাস্ট্রা তিনটি অ্যারেনা গেমই জিতেছে। অ্যান্ডন ল্যাবস অ্যাস্ট্রাকে শক্তিশালী অর্থনৈতিক পারফরমার এবং পরীক্ষিত মডেলগুলির আরও ভাল সারিবদ্ধ হিসাবে রেট করেছে, সতর্ক করে যে এই জাতীয় মূল্যায়নগুলি বেঞ্চমার্কে পর্যবেক্ষণ করা আচরণের উপর ভিত্তি করে এবং স্বয়ংক্রিয়ভাবে অন্য পরিস্থিতিতে স্থানান্তরিত হয় না।

সমস্ত পাঁচটি ড্রোন-বেঞ্চ টাস্কে মানব বেসলাইনকে হারানো প্রথম মডেল

ড্রোন-বেঞ্চ একটি ভিন্ন ধরনের দক্ষতা পরীক্ষা করে: কোড লেখা যা একটি সস্তা DJI Tello EDU ড্রোনকে স্বায়ত্তশাসিতভাবে একটি অফিস নেভিগেট করতে দেয়, একজন নির্দিষ্ট ব্যক্তিকে শনাক্ত করে এবং তাদের অনুসরণ করে। বেঞ্চমার্ক পাঁচটি অনুক্রমিক কাজ করে — পরিবেশের 3D পুনর্গঠন, ড্রোন স্থানীয়করণ, নেভিগেশন, লক্ষ্য ব্যক্তি সনাক্তকরণ এবং ট্র্যাকিং — কোডিং এজেন্টদের সাথে কাজ করা একজন মানব বিকাশকারী দ্বারা নির্মিত একটি রেফারেন্স সমাধানের বিরুদ্ধে।

প্রতিটি মডেল প্রতি টাস্কে দশ রান পায় এবং প্রতি রানে দশটি কোড সংস্করণ জমা দিতে পারে, প্রতিটি প্রচেষ্টার পরে একটি স্কোর পায়। জুলাই মাসে বেঞ্চমার্কের মূল কাগজে, ক্লড ফেবল 5 সবচেয়ে শক্তিশালী মডেল ছিল, যেখানে ফ্রন্টিয়ার সিস্টেমগুলি কমপক্ষে এক দৌড়ে পাঁচটি কাজের মধ্যে চারটিতে মানব-এআই বেসলাইনকে হারায়। শুধুমাত্র 3D পুনর্গঠন কোনো মডেল দ্বারা অমীমাংসিত রয়ে গেছে.

অ্যাস্ট্রা এখন প্রথম মডেল যার সেরা জমাগুলি পুনর্গঠন সহ সমস্ত পাঁচটি কাজের বেসলাইনকে ছাড়িয়ে গেছে। অ্যান্ডন ল্যাবসের মতে, মডেলটি একটি নৌযানযোগ্য 3D মডেল তৈরি করতে অফিস ভিডিও ফুটেজ ব্যবহার করে অতিরিক্ত গভীরতা ফিল্টারিং সহ COOLMAP এবং DA3 এর সমন্বয়ে একটি পাইপলাইন তৈরি করেছে, যা মানব-এআই রেফারেন্স সমাধানের চেয়ে বেশি স্কোর করেছে।

বেস্ট-কেস উজ্জ্বলতা, অবিশ্বাস্য শেষ থেকে শেষ

সতর্কতা হল নির্ভরযোগ্যতা। অ্যাস্ট্রা ব্যক্তি শনাক্তকরণে বেসলাইনকে দশ রানের মধ্যে মাত্র চারটিতে এবং 3D পুনর্গঠনে দশটির মধ্যে মাত্র একটিতে পরাজিত করেছে। Andon Labs গণনা করে যে একটি গড় Astra রানের ক্রমানুসারে পাঁচটি ধাপ অতিক্রম করার মোটামুটি 2.8 শতাংশ সম্ভাবনা রয়েছে - প্রমাণ যে একটি সাধারণ-উদ্দেশ্য মডেল প্রতিটি পর্যায়ে মানব রেফারেন্স কোড অতিক্রম করতে পারে, তবে এটি নির্ভরযোগ্যভাবে করতে পারে এমন প্রমাণ থেকে অনেক দূরে।

গত দুই বছরের অগ্রগতির উপর ভিত্তি করে, Andon Labs টিম প্রজেক্ট করে যে একটি ফ্রন্টিয়ার মডেল 2027 সালের প্রথম ত্রৈমাসিকের মধ্যে একটি একক প্রচেষ্টায় সমস্ত পাঁচটি কাজ সমাধান করতে পারে। ফলাফল সহ একটি প্রদর্শনীতে, Astra একটি অফিসের মাধ্যমে স্বায়ত্তশাসিতভাবে একটি ড্রোন উড়িয়েছিল "ChatGPT, এই ব্যক্তিকে খুঁজুন এবং তাদের অনুসরণ করুন," এবং ম্যাপিং, ম্যাপিং ছাড়াই মানবিক ট্র্যাকিং করা।

কেন এই মানদণ্ড এখন গুরুত্বপূর্ণ

ভেন্ডিং-বেঞ্চ এবং ড্রোন-বেঞ্চ দুটি ক্ষমতার উপর জোর দেওয়ার জন্য ডিজাইন করা হয়েছে যা একটি এজেন্ট থেকে একটি চ্যাটবটকে আলাদা করে: টেকসই, বাস্তব ফলাফল সহ বহু-মাসের সিদ্ধান্ত গ্রহণ, এবং সফ্টওয়্যার যা বাস্তব জগতে কাজ করে। Astra এর ফলাফলগুলি পরামর্শ দেয় যে ফ্রন্টিয়ার মডেলগুলি বিব্রতকর অপেশাদার ভুল করা থেকে সাবধান মানব বেসলাইনকে ছাড়িয়ে গেছে - অন্তত তাদের সেরা রানগুলিতে।

তারা নিরাপত্তা বিতর্কও খাওয়ায়। একটি মডেল যা তার প্রতিদ্বন্দ্বীদের চেয়ে ভাল আলোচনা করে এবং মিলন স্কিম প্রত্যাখ্যান করে, এই প্রমাণের ভিত্তিতে, উভয়ই আরও সক্ষম এবং ভাল আচরণ করে — তবে অ্যান্ডন ল্যাবস নিজেই সতর্কতা নোট করে যে বেঞ্চমার্ক আচরণ অন্য কোথাও আচরণের গ্যারান্টি দেয় না। এজেন্টিক সিস্টেমগুলি ক্রয়, লজিস্টিক এবং শারীরিক নিরাপত্তায় প্রকৃত স্থাপনার দিকে অগ্রসর হওয়ার সাথে সাথে 2.8 শতাংশ শেষ থেকে শেষ সাফল্যের হার এবং নির্ভরযোগ্য একটির মধ্যে ব্যবধান ঠিক যেখানে AI গবেষণার পরের বছর লড়াই করা হবে।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →