AI لیڈر بورڈ اس بارے میں ایک قابل ذکر تفصیلی کہانی سناتے ہیں کہ ماڈلز کوڈ کیسے لکھتے ہیں، ریاضی کے مسائل حل کرتے ہیں، اور گریجویٹ سطح کے امتحانات کا جواب دیتے ہیں۔ جو وہ آپ کو تقریباً کبھی نہیں بتاتے ہیں وہ یہ ہے کہ ماڈلز وہ کام کتنی اچھی کارکردگی کا مظاہرہ کرتے ہیں جو زیادہ تر امریکیوں کو کرنے کے لیے درحقیقت ادائیگی کی جاتی ہے۔
AI ٹیلنٹ مارکیٹ پلیس Mercor کا ایک نیا تحقیقی پروجیکٹ اس خلا پر ایک نمبر رکھتا ہے۔ اس ہفتے شائع ہونے والے کمپنی کے بینچ مارک میپ کے مطابق، تقریباً 90% امریکی کام کے اوقات ایسے کاموں پر صرف کیے جاتے ہیں جن میں موجودہ AI بینچ مارکس سے بہت کم یا کوئی کوریج نہیں ہے۔ For more context on this story, see our ongoing AI trends.
"اس سے یہ جاننا بہت مشکل ہو جاتا ہے کہ امریکیوں کے کام میں اے آئی کے کتنے اچھے ماڈلز ہیں،" کمپنی اپنے نتائج میں لکھتی ہے۔
گنتی کیا جا رہا ہے بینچ مارکس
نقشہ بنانے کے لیے، مرکر نے معیار اور اقتصادی مطابقت کے لیے منتخب کردہ 29 بینچ مارکس کا ایک اشاریہ مرتب کیا، پھر امریکی حکومت کے O*NET پیشہ ورانہ ڈیٹا بیس کے خلاف ان کے اشارے کا نقشہ بنایا — 923 پیشوں کی معیاری درجہ بندی اور 18,797 الگ الگ کام جو امریکی لیبر فورس کو تشکیل دیتے ہیں۔
کوریج نمبرز بالکل واضح ہیں۔ 923 O*NET پیشوں میں سے صرف 208 کے پاس کوئی بینچ مارک کوریج ہے، اور 18,797 پیشہ ورانہ کاموں میں سے صرف 924 پورے انڈیکس میں نمائندگی کر رہے ہیں۔
پراجیکٹ کی سائٹ پر دستاویزی طریقہ کار، خود AI پر جھکتا ہے: حالیہ تحقیق کے بعد، ایک LLM جج ہر بینچ مارک پرامپٹ کو ONET ٹاسک کے ساتھ ٹیگ کرتا ہے، جس کے ساتھ ٹیگنگ کی توثیق Mercor کے اپنے APEX بینچ مارک سب سیٹ پر انسانی ماہر لیبلز کے خلاف ہوتی ہے۔ کسی کام کو صرف اس صورت میں شمار کیا جاتا ہے جب جج اسے 29 بینچ مارک انڈیکس سے کم از کم پانچ اشارے پر نقشہ بناتا ہے۔ کوریج کو اقتصادی اصطلاحات میں ترجمہ کرنے کے لیے، مرکر نے اپنے تخمینوں کو حال ہی میں شائع شدہ LLM سے حاصل کردہ تخمینوں کے ساتھ جوڑا جو کہ ہر ONET ٹاسک کے ورکنگ ٹائم شیئر کا ہے۔
کوریج پیسے کی پیروی کرتا ہے۔
خلا کو تصادفی طور پر تقسیم نہیں کیا جاتا ہے۔ مرکر کے تجزیے سے پتہ چلتا ہے کہ AI کمیونٹی سب سے پہلے لیبر کی سب سے بڑی منڈیوں کو بینچ مارک کر رہی ہے - سب سے بڑے کل اجرت کے بلوں والے پیشے، بیورو آف لیبر سٹیٹسٹکس کی اجرت اور روزگار کے تخمینے سے شمار کیے گئے ہیں۔
ملازمت اور خاندان کی خرابی ظاہر کرتی ہے کہ توجہ کتنی غیر مساوی ہے۔ کمپیوٹر اور ریاضی کے پیشے، بینچ مارک تخلیق کا گھریلو میدان، 36 میں سے 29 پیشوں میں سب سے بہتر ہیں۔ کاروباری اور مالیاتی کارروائیاں 48 میں سے 33 پر عمل کرتی ہیں۔ لیکن دفتری اور انتظامی معاونت - ایک ایسا خاندان جو لاکھوں ملازمت کرتا ہے - میں 51 میں سے صرف 21 پیشوں کا احاطہ کیا گیا ہے، اور 56 میں سے 21 کے انتظامی کردار ہیں۔
یہاں تک کہ بہترین احاطہ کرنے والے پیشوں میں بھی گہرائی پتلی ہے۔ جب Mercor نے چار بینچ مارک بھاری پیشوں - سرمایہ کاری بینکنگ، قانون، اکاؤنٹنگ، اور سافٹ ویئر انجینئرنگ - کے لیے ONET-ویٹڈ اسکورنگ کی کوشش کی - تو اس نے پایا کہ ان ملازمتوں سے متعلقہ ONET کاموں میں سے ایک تہائی سے بھی کم کے پاس وزنی اسکور میں شامل کیے جانے کے لیے کافی بینچ مارک کوریج تھی۔
نابینا دھبے کیوں اہمیت رکھتے ہیں۔
تلاش ایک لمحے پر اترتی ہے جب بینچ مارک اسکور حقیقی فیصلے کرتے ہیں۔ انٹرپرائزز تشخیص کی بنیاد پر ماڈل ٹائرز چنتے ہیں۔ بورڈز بینچ مارک چھلانگ کے لحاظ سے فرنٹیئر ماڈل کی پیشرفت کے بارے میں سنتے ہیں۔ پالیسی ساز ضابطے کا وزن کرتے وقت صلاحیت کی رفتار کا حوالہ دیتے ہیں۔ اگر کام کے اوقات کا 90% معیارات کی پیمائش سے باہر بیٹھتے ہیں، تو وہ تمام فیصلے دفتر کے پابند، تکنیکی اور تعلیمی کی طرف متوجہ ایک نمونے پر ہوتے ہیں۔
ساختی وجوہات ہیں جہاں بینچ مارک کلسٹر کرتے ہیں۔ سافٹ ویئر انجینئرنگ کے کام بتانے کے لیے سستے، خود بخود گریڈ کرنے کے لیے سستے، اور بینچ مارک مصنفین کے لیے - جو زیادہ تر سافٹ ویئر لکھتے ہیں - ڈیزائن کرنے کے لیے آسان ہیں۔ میڈیکل اسسٹنٹ کے پلنگ کے انداز کا اندازہ لگانا، شفٹنگ کی رکاوٹوں کے تحت لاجسٹکس کوآرڈینیٹر کا فیصلہ، یا الیکٹریشن کے تشخیصی عمل کو معیاری بنانا مشکل، دور سے تصدیق کرنا مشکل، اور بہت سے معاملات میں جسمانی موجودگی کے بغیر ٹیسٹ کرنا ناممکن ہے۔
مرکر، جس کا بنیادی کاروبار ڈومین کے ماہرین کو تربیت اور تشخیص کے کام کے لیے AI لیبز کے ساتھ ملاتا ہے، اس بات کی نشاندہی کرنے میں واضح تجارتی دلچسپی رکھتا ہے کہ تشخیص کی کوریج بہت کم ہے — کمپنی بالکل ایسے ماہرین تک رسائی فروخت کرتی ہے جو اس خلا کو ختم کر سکتے ہیں۔ لیکن بنیادی پیمائش کا مسئلہ حقیقی ہے اور پورے میدان میں تیزی سے تسلیم کیا جاتا ہے، اور کمپنی نے جانچ پڑتال کے لیے اپنا طریقہ کار اور مکمل بینچ مارک لسٹ شائع کی۔
کمپنی کا کہنا ہے کہ اس کا بینچ مارک میپ پوری معیشت میں AI صلاحیتوں کو سمجھنے کے لیے ایک مسلسل اپ ڈیٹ کردہ وسائل کی طرف پہلا قدم ہے، اور یہ O*NET-weighted ماڈل اسکورز کی جانب کام کر رہا ہے جو ہر پیشہ ورانہ کام کو یکساں طور پر وزن دیتا ہے بجائے اس کے کہ اکثر بینچ مارک والے کاموں کو اوسط پر حاوی ہونے دیں۔
پیمائش کی دہائی
آگے کیا ہوتا ہے اس کا انحصار اس بات پر ہے کہ آیا بینچ مارک بنانے والے معاشی نقشے کی پیروی کرتے ہیں۔ مرکر ڈیٹا اس بات کی نشاندہی کرتا ہے کہ کوریج کہاں غائب ہے — اور واضح طور پر، جہاں نئے بینچ مارکس میں سب سے زیادہ معلومات کی قدر ہوگی۔ بڑے روزگار، زیادہ اجرت کے بل، اور صفر بینچ مارک کوریج والے پیشے، حقیقت میں، کھلی تشخیص کا علاقہ ہیں۔
فی الحال، AI لیڈر بورڈ کی خبریں استعمال کرنے والے ہر شخص کے لیے عملی راستہ ایک انتباہ ہے: ایک ماڈل کا بینچ مارک پروفائل معیشت کے اس حصے میں اس کی طاقتوں کو بیان کرتا ہے جس کا احاطہ بینچ مارکس میں ہوتا ہے۔ دیگر 90% کام کے اوقات - ایڈمن کا کام، دیکھ بھال، فیلڈ سروس، فلور مینجمنٹ - بڑے پیمانے پر غیر پیمائش شدہ علاقہ ہے، اور AI کو تبدیل کرنے کے بارے میں دعوے اس وقت ثبوت سے زیادہ کہانی پر باقی ہیں۔
جیسا کہ کمپنی کی اپنی ترتیب بتاتی ہے، حالیہ برسوں میں بینچ مارکس میں کئی گنا اضافہ ہوا ہے، لیکن اقتصادی طور پر قابل قدر کام کی کوریج محدود ہے۔ نقشہ اس حد کو مرئی بناتا ہے، ٹائل بہ ٹائل، قبضے کے لحاظ سے۔
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
