এআই লিডারবোর্ডগুলি মডেলগুলি কীভাবে ভাল কোড লেখে, গণিতের সমস্যাগুলি সমাধান করে এবং স্নাতক-স্তরের পরীক্ষার উত্তর দেয় সে সম্পর্কে একটি উল্লেখযোগ্যভাবে বিস্তারিত গল্প বলে। তারা আপনাকে প্রায় কখনই বলে না যে মডেলগুলি কতটা ভাল কাজ সম্পাদন করে যা বেশিরভাগ আমেরিকানদের আসলে অর্থ প্রদান করা হয়।

AI ট্যালেন্ট মার্কেটপ্লেস Mercor থেকে একটি নতুন গবেষণা প্রকল্প সেই ফাঁকে একটি নম্বর রাখে। এই সপ্তাহে প্রকাশিত কোম্পানির বেঞ্চমার্ক ম্যাপ অনুসারে, আমেরিকান কর্মঘণ্টার প্রায় 90% বিদ্যমান AI বেঞ্চমার্ক থেকে সামান্য বা কোন কভারেজ ছাড়াই কাজে ব্যয় করা হয়। For more context on this story, see our ongoing artificial intelligence updates.

"এটি আমেরিকানরা আসলে যে কাজ করে তাতে এআই মডেলগুলি কতটা ভাল তা জানা খুব কঠিন করে তোলে," সংস্থাটি তার অনুসন্ধানে লিখেছে।

বেঞ্চমার্ক মিস কি গণনা

মানচিত্র তৈরি করার জন্য, Mercor গুণমান এবং অর্থনৈতিক প্রাসঙ্গিকতার জন্য নির্বাচিত 29টি বেঞ্চমার্কের একটি সূচক সংকলন করেছে, তারপর মার্কিন সরকারের O*NET পেশাগত ডাটাবেসের বিরুদ্ধে তাদের প্রম্পট ম্যাপ করেছে — 923টি পেশার স্ট্যান্ডার্ড শ্রেণীবিন্যাস এবং 18,797টি স্বতন্ত্র কাজ যা আমেরিকান শ্রমশক্তি তৈরি করে।

কভারেজ সংখ্যা কঠোর. 923 O*NET পেশার মধ্যে শুধুমাত্র 208টিরই কোনো বেঞ্চমার্ক কভারেজ আছে এবং 18,797টি পেশাগত কাজের মধ্যে মাত্র 924টি সমগ্র সূচকে উপস্থাপন করা হয়েছে।

প্রজেক্টের সাইটে নথিভুক্ত পদ্ধতিটি নিজেই AI এর উপর নির্ভর করে: সাম্প্রতিক গবেষণার পর, একজন LLM বিচারক প্রতিটি বেঞ্চমার্ক প্রম্পটকে ONET টাস্কগুলির সাথে ট্যাগ করে, যার সাথে মার্করের নিজস্ব APEX বেঞ্চমার্ক সাবসেটে মানব বিশেষজ্ঞ লেবেলের বিরুদ্ধে ট্যাগিং বৈধ। বিচারক 29-বেঞ্চমার্ক সূচক থেকে কমপক্ষে পাঁচটি প্রম্পটে ম্যাপ করলেই একটি টাস্ক কভার হিসাবে গণনা করা হয়। কভারেজকে অর্থনৈতিক পদে অনুবাদ করতে, Mercor প্রতিটি ONET টাস্কের কাজের সময় ভাগের সাম্প্রতিক প্রকাশিত LLM-প্রাপ্ত অনুমানের সাথে তার অনুমানগুলিকে একত্রিত করেছে।

কভারেজ অর্থ অনুসরণ করে

ফাঁকগুলি এলোমেলোভাবে বিতরণ করা হয় না। Mercor-এর বিশ্লেষণ থেকে জানা যায় যে AI সম্প্রদায় প্রথমে সবচেয়ে বড় শ্রম বাজারের মানদণ্ড নির্ধারণ করেছে — শ্রম পরিসংখ্যান মজুরি এবং কর্মসংস্থান অনুমান ব্যুরো থেকে গণনা করা সবচেয়ে বড় মোট মজুরি বিল সহ পেশাগুলি।

চাকরি-পারিবারিক ভাঙ্গন দেখায় মনোযোগ কতটা অসম। কম্পিউটার এবং গাণিতিক পেশা, বেঞ্চমার্ক তৈরির হোম টার্ফ, 36টি পেশার মধ্যে 29টিতে সেরা কভার করা হয়েছে। ব্যবসা এবং আর্থিক ক্রিয়াকলাপ 48 টির মধ্যে 33টি অনুসরণ করে৷ কিন্তু অফিস এবং প্রশাসনিক সহায়তা - লক্ষ লক্ষ কর্মরত একটি পরিবার - 51টি পেশার মধ্যে মাত্র 21টি কভার করেছে, এবং 56টির মধ্যে 21টি ব্যবস্থাপনার ভূমিকা রয়েছে৷

এমনকি সেরা আচ্ছাদিত পেশাগুলিতে, গভীরতা পাতলা। যখন Mercor চারটি বেঞ্চমার্ক-ভারী পেশা - বিনিয়োগ ব্যাঙ্কিং, আইন, অ্যাকাউন্টিং এবং সফ্টওয়্যার ইঞ্জিনিয়ারিং-এর জন্য ONET-ওয়েটেড স্কোরিং করার চেষ্টা করেছিল - তখন দেখা যায় যে এই চাকরিগুলির সাথে প্রাসঙ্গিক ONET কার্যগুলির এক-তৃতীয়াংশেরও কম ওয়েটেড স্কোরে অন্তর্ভুক্ত করার জন্য যথেষ্ট বেঞ্চমার্ক কভারেজ ছিল।

কেন ব্লাইন্ড স্পট ম্যাটার

বেঞ্চমার্ক স্কোর বাস্তব সিদ্ধান্ত চালিত যখন ফাইন্ডিং জমি. এন্টারপ্রাইজগুলি মূল্যায়নের উপর ভিত্তি করে মডেল স্তর বাছাই করে; বোর্ডগুলি বেঞ্চমার্ক জাম্পের ক্ষেত্রে সীমান্ত-মডেলের অগ্রগতি সম্পর্কে শুনেছে; নীতিনির্ধারকরা নিয়ন্ত্রণের ওজন করার সময় সক্ষমতার ট্র্যাজেক্টরি উল্লেখ করেন। যদি কাজের ঘন্টার 90% বেঞ্চমার্কের পরিমাপের বাইরে বসে থাকে, তবে সেই সমস্ত সিদ্ধান্ত অফিস-আবদ্ধ, প্রযুক্তিগত এবং একাডেমিকের দিকে তির্যক নমুনার উপর নির্ভর করে।

কাঠামোগত কারণ বেঞ্চমার্ক ক্লাস্টার যেখানে তারা করে. সফ্টওয়্যার ইঞ্জিনিয়ারিং কাজগুলি নির্দিষ্ট করার জন্য সস্তা, স্বয়ংক্রিয়ভাবে গ্রেডের জন্য সস্তা এবং বেঞ্চমার্ক লেখকদের জন্য - যারা বেশিরভাগ সফ্টওয়্যার লেখেন - ডিজাইন করা সহজ। একজন চিকিৎসা সহকারীর বেডসাইড পদ্ধতির মূল্যায়ন করা, স্থানান্তরের সীমাবদ্ধতার অধীনে একজন লজিস্টিক কোঅর্ডিনেটরের বিচার, বা একজন ইলেকট্রিশিয়ানের ডায়াগনস্টিক প্রক্রিয়া মানক করা কঠিন, দূর থেকে যাচাই করা কঠিন এবং অনেক ক্ষেত্রে শারীরিক উপস্থিতি ছাড়া পরীক্ষা করা অসম্ভব।

Mercor, যার মূল ব্যবসাটি প্রশিক্ষণ এবং মূল্যায়ন কাজের জন্য AI ল্যাবগুলির সাথে ডোমেন বিশেষজ্ঞদের সাথে মেলে, মূল্যায়ন কভারেজটি পাতলা যেটি নির্দেশ করার ক্ষেত্রে একটি সুস্পষ্ট বাণিজ্যিক আগ্রহ রয়েছে — কোম্পানি ঠিক সেই বিশেষজ্ঞদের কাছে অ্যাক্সেস বিক্রি করে যারা সেই ফাঁকটি বন্ধ করতে পারে। কিন্তু অন্তর্নিহিত পরিমাপের সমস্যাটি বাস্তব এবং ক্রমবর্ধমানভাবে ক্ষেত্র জুড়ে স্বীকৃত, এবং সংস্থাটি যাচাইয়ের জন্য তার পদ্ধতি এবং সম্পূর্ণ বেঞ্চমার্ক তালিকা প্রকাশ করেছে।

কোম্পানি বলেছে যে তার বেঞ্চমার্ক ম্যাপ হল অর্থনীতি জুড়ে AI ক্ষমতা বোঝার জন্য একটি ক্রমাগত আপডেট হওয়া সম্পদের দিকে প্রথম পদক্ষেপ, এবং এটি O*NET-ওয়েটেড মডেল স্কোরের দিকে কাজ করছে যা প্রায়শই বেঞ্চমার্ক করা কাজগুলিকে গড়ের উপর প্রাধান্য না দিয়ে প্রতিটি পেশাগত কাজকে সমানভাবে ওজন করে।

পরিমাপ দশক

বেঞ্চমার্ক নির্মাতারা অর্থনৈতিক মানচিত্র অনুসরণ করে কিনা তা নির্ভর করে পরবর্তীতে কী হবে। Mercor ডেটা কোথায় কভারেজ অনুপস্থিত তা নির্দেশ করে — এবং, স্পষ্টতই, যেখানে নতুন বেঞ্চমার্কগুলি সর্বাধিক তথ্যের মান বহন করবে। বৃহৎ কর্মসংস্থান, উচ্চ মজুরি বিল, এবং শূন্য বেঞ্চমার্ক কভারেজ সহ পেশাগুলি প্রকৃতপক্ষে, উন্মুক্ত মূল্যায়ন অঞ্চল।

আপাতত, যে কেউ AI লিডারবোর্ডের খবর গ্রহণ করে তাদের জন্য ব্যবহারিক উপায় হল একটি সতর্কতা: একটি মডেলের বেঞ্চমার্ক প্রোফাইল অর্থনীতির অংশে এর শক্তিগুলি বর্ণনা করে যা বেঞ্চমার্কগুলি কভার করে। অন্য 90% কর্মঘণ্টা — অ্যাডমিনের কাজ, যত্ন নেওয়া, ফিল্ড সার্ভিস, ফ্লোর ম্যানেজমেন্ট — মূলত অপরিমাণিত অঞ্চল রয়ে গেছে, এবং দাবি করা হয়েছে যে AI এটিকে রূপান্তরিত করছে যা বর্তমানে প্রমাণের চেয়ে উপাখ্যানের উপর নির্ভর করে।

কোম্পানির নিজস্ব ফ্রেমিং এটি রাখে, সাম্প্রতিক বছরগুলিতে বেঞ্চমার্কগুলি বহুগুণ বেড়েছে, কিন্তু অর্থনৈতিকভাবে মূল্যবান কাজের কভারেজ সীমিত রয়ে গেছে। মানচিত্র সেই সীমাবদ্ধতাকে দৃশ্যমান করে তোলে, টালি দ্বারা টালি, পেশা দ্বারা দখল।

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →