تابلوهای امتیازات هوش مصنوعی داستان بسیار دقیقی را در مورد اینکه مدل‌ها چگونه کد می‌نویسند، مسائل ریاضی را حل می‌کنند و به امتحانات مقطع تحصیلات تکمیلی پاسخ می‌دهند، بیان می‌کنند. چیزی که آنها تقریباً هرگز به شما نمی گویند این است که مدل ها کارهایی را که اکثر آمریکایی ها واقعاً برای انجام آن پول می گیرند، انجام می دهند.

یک پروژه تحقیقاتی جدید از بازار استعدادهای هوش مصنوعی مرکور، این شکاف را نشان می‌دهد. بر اساس نقشه بنچمارک این شرکت که این هفته منتشر شد، تقریباً 90 درصد از ساعات کاری آمریکا صرف کارهایی می‌شود که معیارهای هوش مصنوعی موجود را پوشش نمی‌دهد یا اصلا پوشش نمی‌دهد. For more context on this story, see our ongoing breaking AI news.

این شرکت در یافته‌های خود می‌نویسد: «این امر باعث می‌شود که بدانیم مدل‌های هوش مصنوعی در کار آمریکایی‌ها چقدر خوب هستند.

شمارش مواردی که معیارها از دست می‌دهند

برای ساخت این نقشه، مرکور فهرستی از 29 معیار انتخاب شده برای کیفیت و ارتباط اقتصادی را گردآوری کرد، سپس درخواست‌های آنها را با پایگاه داده شغلی O*NET دولت ایالات متحده ترسیم کرد - طبقه‌بندی استاندارد 923 شغل و 18797 وظیفه مجزا که نیروی کار آمریکا را تشکیل می‌دهند.

اعداد پوشش واضح است. فقط 208 شغل از 923 شغل O*NET اصلاً پوشش معیاری دارند و فقط 924 از 18797 کار شغلی در کل این شاخص نشان داده شده است.

این روش که در سایت پروژه مستند شده است، بر خود هوش مصنوعی تکیه دارد: به دنبال تحقیقات اخیر، یک داور LLM هر درخواست معیار را با وظایف ONET که مطابقت دارد برچسب‌گذاری می‌کند، با برچسب‌گذاری که بر روی برچسب‌های متخصص انسانی در زیرمجموعه معیار APEX خود Mercor تأیید شده است. یک کار تنها در صورتی پوشش داده می شود که قاضی آن را به حداقل پنج دستور از شاخص 29 معیار ترسیم کند. برای ترجمه پوشش به شرایط اقتصادی، مرکور تخمین‌های خود را با تخمین‌های اخیراً منتشر شده از LLM از سهم زمان کاری هر وظیفه ONET ترکیب کرد.

پوشش به دنبال پول است

شکاف ها به طور تصادفی توزیع نشده اند. تحلیل مرکور نشان می‌دهد که جامعه هوش مصنوعی ابتدا بزرگترین بازارهای کار را محک زده است - مشاغلی که بیشترین کل صورت‌حساب‌های دستمزد را دارند، محاسبه شده از برآوردهای دستمزد و اشتغال دفتر آمار کار.

فروپاشی شغل و خانواده نشان می دهد که توجه چقدر ناهموار است. مشاغل کامپیوتری و ریاضی، زمین اصلی ایجاد معیار، با 29 شغل از 36 شغل بهترین هستند. عملیات تجاری و مالی با 33 مورد از 48 مورد دنبال می شود. اما پشتیبانی اداری و اداری - خانواده ای که میلیون ها نفر را استخدام می کند - فقط 21 شغل از 51 شغل تحت پوشش، و نقش های مدیریتی 21 از 56 شغل را دارد.

حتی در مشاغلی که بهترین پوشش را دارند، عمق کم است. هنگامی که مرکور برای چهار شغل با معیارهای سنگین - بانکداری سرمایه گذاری، حقوق، حسابداری و مهندسی نرم افزار - به امتیاز ONET اقدام کرد، متوجه شد که کمتر از یک سوم وظایف ONET مربوط به آن مشاغل دارای پوشش معیار کافی برای گنجاندن در یک امتیاز وزنی هستند.

چرا نقاط کور مهم هستند

یافته‌ها در لحظه‌ای به دست می‌آیند که امتیازات معیار تصمیم‌گیری واقعی را تعیین می‌کنند. شرکت ها بر اساس ارزیابی ها، ردیف های مدل را انتخاب می کنند. هیئت مدیره در مورد پیشرفت مدل مرزی از نظر جهش معیار می شنوند. سیاستگذاران هنگام سنجش مقررات، مسیرهای توانایی را ذکر می کنند. اگر 90 درصد ساعات کاری خارج از معیارها باشد، همه این تصمیمات بر روی نمونه ای است که به سمت مشاغل اداری، فنی و دانشگاهی منحرف شده است.

دلایل ساختاری وجود دارد که معیارها در جایی که انجام می دهند خوشه می شوند. تعیین وظایف مهندسی نرم‌افزار ارزان است، به‌طور خودکار درجه‌بندی می‌شود، و طراحی برای نویسندگان معیار - که عمدتاً نرم‌افزار می‌نویسند - آسان است. ارزیابی روش کنار تخت یک دستیار پزشکی، قضاوت هماهنگ کننده تدارکات تحت محدودیت های جابجایی، یا فرآیند تشخیصی یک برقکار برای استاندارد کردن سخت تر، تأیید از راه دور سخت تر، و در بسیاری از موارد آزمایش بدون حضور فیزیکی غیرممکن است.

مرکور، که تجارت اصلی آن با کارشناسان حوزه با آزمایشگاه‌های هوش مصنوعی برای کار آموزشی و ارزیابی مطابقت دارد، علاقه تجاری آشکاری به اشاره به این موضوع دارد که پوشش ارزیابی ناچیز است - این شرکت دقیقاً به کارشناسانی دسترسی می‌دهد که می‌توانند این شکاف را برطرف کنند. اما مشکل اساسی اندازه‌گیری واقعی است و به طور فزاینده‌ای در سرتاسر حوزه مورد تایید قرار می‌گیرد، و این شرکت روش‌شناسی و فهرست معیار کامل خود را برای بررسی دقیق منتشر کرد.

این شرکت می‌گوید نقشه بنچمارک آن اولین گام به سمت یک منبع به‌روز شده مستمر برای درک قابلیت‌های هوش مصنوعی در سراسر اقتصاد است، و در حال کار روی نمرات مدل O*NET است که وزن هر یک از وظایف شغلی را به‌طور یکسان ارزیابی می‌کند نه اینکه اجازه دهد وظایف محک‌گذاری شده غالباً بر میانگین غالب شوند.

دهه اندازه گیری

آنچه بعدا اتفاق می افتد بستگی به این دارد که آیا سازندگان معیار از نقشه اقتصادی پیروی می کنند یا خیر. داده‌های مرکور به جایی اشاره می‌کنند که پوشش از دست رفته است - و به طور ضمنی، جایی که معیارهای جدید بیشترین ارزش اطلاعات را دارند. مشاغل با اشتغال زیاد، صورت‌حساب‌های دستمزد بالا، و پوشش معیار صفر، در واقع قلمرو ارزیابی باز هستند.

در حال حاضر، پیشنهاد عملی برای هر کسی که اخبار تابلوی امتیازات هوش مصنوعی را مصرف می‌کند، یک هشدار است: مشخصات معیار یک مدل، نقاط قوت آن را در بخشی از اقتصاد که معیارها اتفاقا پوشش می‌دهند، توصیف می‌کند. 90 درصد دیگر ساعات کاری - کار مدیریت، مراقبت، خدمات صحرایی، مدیریت طبقه - عمدتاً در قلمروی اندازه‌گیری نشده باقی می‌ماند و ادعاهایی درباره تغییر هوش مصنوعی در حال حاضر بیشتر بر اساس حکایت است تا شواهد.

همانطور که چارچوب خود شرکت بیان می‌کند، معیارها در سال‌های اخیر چند برابر شده‌اند، اما پوشش کارهای ارزشمند اقتصادی همچنان محدود است. نقشه این محدودیت را کاشی به کاشی، اشغال به شغل قابل مشاهده می کند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →