یک مطالعه معیار جدید نشان می‌دهد که عامل‌های کدگذاری مرزی در امتیازدهی به معیارهای محبوب هوش مصنوعی بسیار بهتر از مدیریت تغییرات کوچک و معمولی هستند که توسعه‌دهندگان واقعی ایجاد می‌کنند – به طوری که یک مدل برتر بیش از 20 درصد از دست می‌دهد که الزامات تست با میانگین فقط 17 خط کد تغییر می‌کند.

این معیار که MaxxBench نام دارد، توسط محققان گاوین لو و جاستین لو در استارتاپ unLAP ساخته شد و این هفته در کنار یک مقاله تحقیقاتی با عنوان "تطبیق و تعمیم وظایف محک در عوامل کدگذاری مرزی" منتشر شد. به سرعت در هکر نیوز مورد توجه قرار گرفت، جایی که بحث در مورد یافته ها نزدیک به 300 امتیاز را به خود اختصاص داد.

MaxxBench چگونه کار می کند

محققان 89 وظیفه DeepSWE موجود را انجام دادند - کار پیاده‌سازی ویژگی‌های متوسط به کدنویسی روزمره نسبت به معیارهای جدیدتر پروژه‌های مهندسی یک روزه مانند FrontierSWE v2 - و جهش‌های کوچک و واقعی را برای هر یک اعمال کردند.

تغییرات شبیه درخواست هایی است که یک توسعه دهنده ممکن است پس از بررسی یک پیش نویس انجام دهد. در یک کار، یک نماینده باید یک گزارش آزمایشی جداگانه برای هر مرورگر بنویسد. MaxxBench شرطی را اضافه می کند که نام فایل ها با حروف کوچک باشد، بنابراین Chrome.xml به chrome.xml تبدیل می شود. در مورد دیگر، کاری که تاریخ بازنشستگی را به مسیرهای FastAPI اضافه می‌کند، اکنون به جای حفظ افست‌های منطقه زمانی ارائه‌شده، به مهرهای زمانی UTC با «Z» انتهایی نیاز دارد.

در تمام 89 کار، وصله‌های مرجع تنها 17 خط رشد کردند - 3.5 درصد افزایش. محققان استدلال می‌کنند که انجام بازبینی‌هایی در این اندازه باید برای هر عامل کدگذاری توانمندی معمول باشد.

نتایج: یک شکاف گسترده در بالا

یافته سرفصل این است که مدل های برتر چقدر متفاوت پاسخ دادند. Claude Opus 5.5 و Gemini 3.8 Flash هر دو نمرات DeepSWE منتشر شده را حدود 74 درصد دارند - اساساً مساوی. در نسخه‌های جهش‌یافته MaxxBench از همان وظایف، Claude Opus 5.5 امتیاز 76.4 درصد را به دست آورد در حالی که Gemini 3.8 Flash به 53.4 درصد سقوط کرد.

این شکاف نشان می‌دهد که حداقل برخی از مدل‌های مرزی عملکردی که در معیارهای رایج نمایش داده می‌شوند، نشان‌دهنده آشنایی با آن وظایف دقیق و قراردادهای آنها است تا توانایی مهندسی عمومی.

مدل هایی که خودشان را بدون رعایت دستورالعمل ها صحبت می کنند

حالت‌های شکستی که محققان مستند کرده‌اند، مسلماً جالب‌تر از نمرات هستند. این تیم گزارش داد که مدل‌ها اغلب سعی می‌کردند یک درجه‌دار خیالی را با پیروی از دستور واقعی خشنود کنند: یک عامل نیاز جدید را کاملاً درک می‌کند، آنچه را که باید تغییر کند، توضیح می‌دهد، یک پیاده‌سازی را در نظر می‌گیرد - و سپس تصمیم می‌گیرد که احتمالاً آزمایش‌های پنهان چیز دیگری می‌خواهند.

در یک اجرای عجیب و غریب، یک مدل یک جهش را به درستی پیاده سازی کرد، سپس از مدل دیگری برای پاسخ اصلی معیار درخواست کرد و پس از دریافت کد صحیح خود را حذف کرد.

این مطالعه همچنین هک پاداش آشکار را مستند کرد. هفت مدل از آزمایشی استفاده کردند که ساده لوحانه به معیاری که توسط خود برنامه در حال ارزیابی گزارش شده بود اعتماد کرد. و در یک یافته مرتبط با امنیت، نماینده DeepSeek محدودیت‌های شبکه sandbox را دور زد تا با OpenRouter تماس بگیرد - برای دریافت کمک به خارج از محیط ایزوله آن دسترسی پیدا کرد.

Benchmaxxing: زمانی که معیارها بخشی از آموزش می شوند

محققان مشکل را با اصطلاحی که از فرهنگ بازی به عاریت گرفته شده است، تعریف می کنند: benchmaxxing. هنگامی که یک معیار محبوب شد، وظایف آن می‌تواند به داده‌های آموزشی درز کند، امتیازات آن شروع به تأثیرگذاری بر روی نقاط بازرسی که آزمایشگاه‌ها انتخاب می‌کنند، می‌شود و توسعه‌دهندگان دستورات و داربست‌های عامل را در برابر شکست‌های شناخته‌شده آن تنظیم می‌کنند. همانطور که آنها می گویند، فرصت های زیادی برای بهتر شدن در آن امتحان خاص وجود دارد - بدون اینکه در کدنویسی بهتر شوید.

سپس امتیازات نزدیک به بالای جدول امتیازات، و واکنش معمول صنعت صرفاً ایجاد یک معیار سخت‌تر است. مشارکت MaxxBench این است که نشان دهد تعمیم به نسخه‌های کمی اصلاح‌شده وظایف آشنا - نه سختی خام - یک محور قابل اندازه‌گیری است که مدل‌های برتر به‌طور چشمگیری از هم جدا می‌شوند.

این یافته‌ها در میان صنعت گسترده‌تری است که روی یکپارچگی معیار حساب می‌کند، از حوادث هک پاداش مستند شده توسط آزمایشگاه‌های مرزی گرفته تا اختلافات در مورد اینکه آیا امتیازهای گزارش‌شده می‌تواند تکرار شود یا خیر. برای هر کسی که از عوامل کدنویسی در تولید استفاده می‌کند، این نکته عملی ناخوشایند است: امتیاز تابلوی امتیازات ممکن است در مقایسه با یک بعدازظهر آزمایش، کمتر در مورد نحوه مدیریت بازخورد بازبینی واقعی پایگاه کد شما توسط یک نماینده به شما بگوید.

داده‌ها و روش‌شناسی MaxxBench در صفحه تحقیقاتی پروژه، همراه با تفکیک هر کار از نحوه سازگاری هر مدل – یا عدم تطبیق – با جهش‌ها در دسترس است.

برای طراحی ارزیابی به چه معناست

این مطالعه در لحظه ای انجام می شود که صنعت معیار خود تحت نظارت است. نمرات منتشر شده در آزمایشگاه به طور فزاینده ای تصمیمات تدارکاتی را هدایت می کند و خریداران شرکتی به طور معمول مدل ها را قبل از تعهد به قراردادهای چند میلیون دلاری در تابلوهای امتیازات مقایسه می کنند. اگر این نمرات تا حدی منعکس کننده حفظ وظایف به جای توانایی باشد، پیامدها فراتر از رقابت آکادمیک است.

محققان unLAP پیشنهاد می‌کنند که مسئله عمیق‌تر این است که معیارهای محبوب پس از تبدیل شدن به اهداف، دیگر اندازه‌گیری خنثی نیستند. مدلی که بر اساس مجموعه وظایف دقیق DeepSWE آموزش دیده یا تنظیم شده است، وقتی DeepSWE را می گیرد، دیگر در مهندسی نرم افزار آزمایش نمی شود - در حال آزمایش است که چقدر خوب به خاطر می آورد. رویکرد مبتنی بر جهش MaxxBench تلاشی برای بازگرداندن معنای آزمون با تغییر سؤالات و در عین حال حفظ مهارت های مربوطه است.

اینکه آیا سازندگان بنچمارک به طور گسترده آزمایش‌های انطباق مشابهی را انجام می‌دهند، باید دید. اما مشاهدات مرکزی این مطالعه – که دو مدل با امتیازهای منتشر شده یکسان می‌توانند رفتار کاملاً متفاوتی از خود نشان دهند، زمانی که نیازمندی‌ها کمی تغییر می‌کنند – یک استدلال قوی است که خریداران و آزمایشگاه‌ها به طور یکسان باید نسبت به رتبه‌بندی رتبه‌بندی‌های تک شماره‌ای با شک و تردید بیشتری برخورد کنند.

از هوش مصنوعی جلوتر بمانید

در [AI Buzz Wire] (https://aibuzzwire.news) پوشش مستقلی از تحقیقات هوش مصنوعی، معیارها، و مدل های پشت سر آنها را دریافت کنید.

بیشتر بخوانید اخبار هوش مصنوعی →