شرکت بنچمارک Artificial Analysis نسخه 5 شاخص هوش خود را راه اندازی کرده است و آن را بزرگترین ارتقاء رتبه بندی مدل های کامپوزیت خود از زمان عرضه نسخه 4 در ژانویه می داند. تغییر عنوان: برای اولین بار، 60 درصد از شاخص براساس ارزیابی‌هایی با مجموعه‌های تست خصوصی یا پاسخ‌های نگه‌داشته‌شده ساخته شده است - پاسخی مستقیم به مشکلات آلودگی معیار که اعتماد به تابلوهای امتیازات عمومی را از بین برده است.

تجدید سازمان با یک حکم روشن در بالا می رسد. Claude Opus 5.5 (حداکثر) با رتبه 58، بالاتر از GPT-6 Astra (حداکثر) با 57 و GPT-6.1 Sol (حداکثر) با رتبه 55، پیشتاز است. Anthropic و OpenAI با هم پنج جایگاه برتر را دارند و Gemini 4 Argon (بالا) گوگل در رتبه 50 قرار دارد. For more context on this story, see our ongoing AI news.

چه چیزی در نسخه 5 تغییر کرد

V5 Index در چهار دسته با وزن یکسان سازماندهی شده است - کار دانش، کدگذاری، علم و عمومی - هر کدام 25 درصد ارزش دارند. دو بنچمارک کاملاً جدید هستند و سه مورد ارتقای عمده دریافت کردند:

  • FrontierCode 2.0 (جدید). معیار خصوصی Cognition از 132 کار کدگذاری در دنیای واقعی در مخازن منبع باز، درجه بندی شده بر اساس اینکه آیا یک نگهدارنده مخزن واقعاً تغییر عامل را ادغام می کند یا خیر. برای جلوگیری از آلودگی، وظایف خصوصی می‌مانند، و Artificial Analysis هر کار را سه بار در مهار عامل Stirrup اجرا می‌کند.
  • Terminal-Bench-Science (جدید). هفتاد کار تحقیقاتی علمی عاملی در یک محیط ترمینال اجرا می شود، جایی که یک کار تنها در صورت قبولی هر یک از آزمون های آن انجام می شود.
  • HLE-Diamond (به روز رسانی شده). نسخه اصلاح شده 1000 سوالی آخرین امتحان Humanity از مرکز ایمنی هوش مصنوعی و مقیاس هوش مصنوعی، به طور مساوی بین سوالات استدلال و دانش تقسیم می شود و جایگزین HLE اصلی می شود.
  • AA-Omniscience نسخه 1.1 (به روز رسانی شده). مجموعه داده های دانش و توهم پاک شده با سوالات اشباع شده و عمومی حذف شده است.
  • زیر مجموعه سخت CritPt v2 (به روز رسانی شده). یک زیرمجموعه سخت 40 سوالی از معیار فیزیک در سطح تحقیق، که توسط نویسندگان آن اصلاح شده و با اجرای کد اجرا می شود.

حذف از ایندکس: GDPval-AA v2.1، SciCode و AA-LCR v1.1. Artificial Analysis همچنین یک همراه با Progress Index v1 راه اندازی کرد که قابلیت مدل را در طول زمان در یک مقیاس پیوسته ردیابی می کند.

Claude Opus 5.5 در کل حرف اول را می زند

Claude Opus 5.5 (حداکثر) در سه مورد از 9 ارزیابی فردی پیشتاز است: FrontierCode 2.0 با 46 درصد، HLE-Diamond با 68 درصد و AA-Omniscience v1.1 در 48. هیچ مدل واحدی پیشتاز همه چیز نیست – پنج مدل دیگر در صدر شش معیار باقی مانده قرار دارند.

GPT-6 Astra (حداکثر) با 63 درصد پیشروی Terminal-Bench-Science و زیرمجموعه سخت CritPt v2 با 72 درصد پیشتاز است که قدرت OpenAI را در کارهای علمی درازمدت تایید می کند. Claude Sonnet 5.5 با 1812 Elo در صدر AA-Briefcase قرار دارد، K3.1 Pro Kimi با 67 درصد از Terminal-Bench 4.0 پیشتاز است، Gemini 4 Argon با 78 درصد از AutomationBench-AA و Muse Wonder Full با 33 درصد GDP.pdf همه پس از آن پیشتاز هستند.

نتایج HLE-Diamond حاوی جزئیات بسیار زیادی است: مدل های پیشرو در استدلال به مراتب بهتر از دانش هستند. Claude Opus 5.5 و GPT-6 Astra هر دو در سؤالات استدلالی به 78 درصد رسیدند، اما از نظر دانش به ترتیب به 58 و 50 درصد کاهش یافت - شواهدی مبنی بر اینکه حتی سیستم‌های مرزی همچنان بیشتر از آنچه که نمرات استدلالشان نشان می‌دهد، توهم دارند یا فاقد حقایق هستند.

شکاف اوزان باز سه برابر می شود

جالب‌ترین یافته برای اکوسیستم وزن‌های باز: شکاف بین بهترین مدل باز و رهبر کلی سه برابر شد و از 3 امتیاز در نسخه 4.3 به 12 امتیاز در نسخه 5 افزایش یافت.

K3.1 Pro کیمی با 46 بهترین مدل وزن باز است - اما وزن آن هنوز منتشر نشده است. در بین مدل‌های دارای وزن منتشر شده، دیپ‌سیک V4.1 فلش 1017 (حداکثر) و Z.ai GLM-5.3 (حداکثر) با 32 امتیاز، با 26 امتیاز کامل از کلود اوپوس 5.5 و پایین‌تر از کلود هایکو 5.5 (حداکثر) در رتبه 36، پیشتاز هستند.

این شکاف در سخت ترین معیارهای عامل بیشتر است. در HLE-Diamond، Kimi K3.1 Pro در مقابل 68 درصد Opus 5.5 امتیاز 37 درصد را کسب کرده است. در Terminal-Bench-Science، 34 درصد در مقابل 63 درصد GPT-6 Astra. اکثر مدل‌های با وزن باز در معیار علمی کمتر از 10 درصد امتیاز کسب می‌کنند.

قیمت هر کار سیزده برابر متفاوت است

هزینه همچنان یک متغیر تعیین کننده است. در میان ده مدل با بالاترین امتیاز، GPT-6.1 Terra (حداکثر) با 0.96 دلار به ازای هر کار شاخص هوش ارزان‌ترین است، در حالی که Claude Fable 5.1 (حداکثر) با 13.04 دلار گران‌ترین است - افزایشی بیش از 13 برابر.

داستان کارآیی مسلماً کاربردی‌ترین پیشنهاد نسخه 5 است: GPT-6.1 Sol (حداکثر) در 4 امتیاز از Claude Opus 5.5 امتیاز کسب می‌کند در حالی که حدود یک هشتم آن برای هر کار، 1.27 دلار در مقابل 10.04 دلار Opus است. GPT-6 Astra (حداکثر) بین آنها 6.24 دلار است.

چرا معیارهای خصوصی مهم هستند

تغییر به سمت مجموعه‌های ارزیابی خصوصی نشان‌دهنده یک مشکل در کل صنعت است: معیارهای عمومی به داده‌های آموزشی نشت می‌کنند و اشباع می‌شوند و اعتماد به دستاوردهای تابلوی امتیازات را غیرممکن می‌کنند. با FrontierCode 2.0، کارها بر اساس اینکه آیا یک نگهدارنده تغییرات را ادغام می کند - با هر شکست چک مسدودی که نمره صفر می گیرد - درجه بندی می شود و لیست وظایف خصوصی باقی می ماند.

این نسخه 5 را به یکی از معیارهای سخت‌تر برای بازی تبدیل می‌کند، و حکم آن سنگین‌تر است: مرز توسط Anthropic و OpenAI رهبری می‌شود، تنظیمات تلاش بیش از هر زمان دیگری اهمیت دارند، و مدل‌های اوزان باز زمینه جدی برای بازیابی وظایف عاملی دارند که به طور فزاینده‌ای کار هوش مصنوعی در دنیای واقعی را تعریف می‌کنند.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →