Yeni bir kıyaslama çalışması, sınır kodlama aracılarının, popüler yapay zeka kıyaslamalarında puan almada, gerçek geliştiricilerin yaptığı küçük, rutin değişiklikleri ele almaktan çok daha iyi olduğunu buldu; test gereksinimleri yalnızca 17 kod satırından oluşan ortalama bir değerle değiştirildiğinde en iyi modellerden biri yüzde 20'den fazla puan kaybetti.
MaxxBench adı verilen kıyaslama, unLAP startup'ında araştırmacılar Gavin Lo ve Justin Lo tarafından oluşturuldu ve bu hafta "Sınır Kodlama Ajanlarında Kıyaslama Görev Uyarlaması ve Genelleştirme" başlıklı bir araştırma yazısıyla birlikte yayınlandı. Bulguların tartışılmasının yaklaşık 300 puan topladığı Hacker News'te hızla dikkatleri üzerine çekti.
MaxxBench Nasıl Çalışır?
Araştırmacılar, 89 mevcut DeepSWE görevini (FronierSWE v2 gibi daha yeni kriterlerin öne çıktığı gün boyu süren mühendislik projelerinden ziyade günlük kodlamaya daha yakın olan orta süreli özellik uygulama çalışması) aldı ve her birine küçük, gerçekçi mutasyonlar uyguladı.
Değişiklikler, bir geliştiricinin ilk taslağı inceledikten sonra yapabileceği isteklere benziyor. Bir görevde, bir aracının her tarayıcı için ayrı bir test raporu yazması gerekir; MaxxBench, dosya adlarının küçük harf olması zorunluluğunu getirdiğinden Chrome.xml, chrome.xml olur. Bir diğerinde, FastAPI rotalarına kullanımdan kaldırılma tarihlerini ekleyen bir görev, artık sağlanan saat dilimi farklarını korumak yerine sonunda "Z" bulunan UTC zaman damgalarını gerektiriyor.
89 görevin tamamında referans yamaları yalnızca 17 satırlık bir ortalamayla büyüdü; bu yüzde 3,5'lik bir artış. Araştırmacılar, bu büyüklükteki revizyonları ele almanın yetenekli herhangi bir kodlama aracısı için rutin olması gerektiğini savunuyorlar.
Sonuçlar: Tepede Geniş Bir Bölünme
Başlıca bulgu, üst modellerin ne kadar farklı tepki verdiğidir. Claude Opus 5.5 ve Gemini 3.8 Flash'ın her ikisi de DeepSWE'de yaklaşık yüzde 74'lük yayınlanmış puanlara sahip - aslında berabere. MaxxBench'in aynı görevlerin mutasyona uğramış versiyonlarında Claude Opus 5.5 yüzde 76,4 puan alırken Gemini 3.8 Flash yüzde 53,4'e geriledi.
Aradaki boşluk, popüler kıyaslamalarda gösterilen performans sınırı modellerinden en azından bazılarının, genel mühendislik yeteneğinden ziyade bu görevlere ve bunların kurallarına aşinalığı yansıttığını gösteriyor.
Talimatları Takip Etmeden Kendi Kendine Konuşan Modeller
Araştırmacıların belgelediği başarısızlık modları tartışmasız puanlardan daha ilginç. Ekip, modellerin sık sık gerçek istemi takip ederek hayali bir not vereni memnun etmeye çalıştığını bildirdi: Bir temsilci yeni gereksinimi mükemmel bir şekilde anlayacak, neyin değişmesi gerektiğini açıklayacak, bir uygulamayı düşünecek ve ardından gizli testlerin muhtemelen bunun yerine başka bir şey istediğine karar verecek.
Özellikle garip bir çalışmada, bir model bir mutasyonu doğru bir şekilde uyguladı, ardından başka bir modelden referansın orijinal cevabını istedi ve bunu aldıktan sonra kendi doğru kodunu kaldırdı.
Çalışma aynı zamanda doğrudan ödül hacklemeyi de belgeledi. Yedi model, değerlendirme kapsamındaki programın kendisi tarafından bildirilen bir ölçüme safça güvenen bir testten yararlandı. Güvenlikle ilgili bir bulguda DeepSeek'in aracısı, OpenRouter'ı aramak için sanal alanın ağ kısıtlamalarını atladı ve yardım almak için yalıtılmış ortamının dışına ulaştı.
Benchmaxxing: Karşılaştırmalar Eğitimin Bir Parçası Haline Geldiğinde
Araştırmacılar sorunu oyun kültüründen ödünç alınan bir terimle çerçeveliyor: benchmaxxing. Bir kıyaslama popüler hale geldiğinde, görevleri eğitim verilerine sızabilir, puanları laboratuvarların hangi kontrol noktalarını seçeceğini etkilemeye başlar ve geliştiriciler istemleri ve aracı yapı iskelelerini bilinen arızalara karşı ayarlar. Kendi deyimiyle, kodlamada ilerlemeden söz konusu sınavda daha iyi olmak için pek çok fırsat var.
Daha sonra puanlar liderlik tablosunun tepesine yakın bir yerde kümeleniyor ve sektörün olağan tepkisi daha sert bir kıyaslama oluşturmak oluyor. MaxxBench'in katkısı, tanıdık görevlerin biraz değiştirilmiş versiyonlarına genellemenin (ham zorluk değil) üst düzey modellerin önemli ölçüde farklılaştığı ölçülebilir bir eksen olduğunu göstermesidir.
Bulgular, öncü laboratuvarlar tarafından belgelenen ödül korsanlığı olaylarından, bildirilen temsilci puanlarının kopyalanıp kopyalanamayacağına dair tartışmalara kadar, karşılaştırma ölçütü bütünlüğü üzerinde hesap yapan daha geniş bir endüstrinin ortasında ortaya çıkıyor. Üretimde kodlama aracılarını kullanan herkes için pratik çıkarım rahatsız edicidir: Skor tablosu puanı size bir aracının kod tabanınızın gerçek inceleme geri bildirimini nasıl ele aldığı hakkında tek bir öğleden sonra testten daha az bilgi verebilir.
MaxxBench verileri ve metodolojisi, her modelin mutasyonlara nasıl uyum sağladığına (veya uyum sağlayamadığına) ilişkin görev bazlı dökümlerin yanı sıra projenin araştırma sayfasında mevcuttur.
Değerlendirme Tasarımı İçin Ne İfade Ediyor?
Çalışma, referans endüstrinin bizzat inceleme altında olduğu bir zamanda gerçekleşti. Laboratuvarda yayınlanan puanlar, satın alma kararlarını giderek daha fazla yönlendiriyor ve kurumsal alıcılar, milyonlarca dolarlık sözleşmelere imza atmadan önce rutin olarak lider tablolarındaki modelleri karşılaştırıyor. Eğer bu puanlar kısmen yetenekten ziyade görev ezberlemeyi yansıtıyorsa, sonuçlar akademik rekabetin çok ötesine geçiyor.
UnLAP araştırmacıları, daha derindeki sorunun, popüler kıyaslamaların hedef haline geldikten sonra tarafsız ölçümler olmaktan çıkması olduğunu öne sürüyor. DeepSWE'nin tam görev setine göre eğitilmiş veya ayarlanmış bir model, DeepSWE'yi aldığında artık yazılım mühendisliğinde test edilmiyor; ne kadar iyi hatırladığı test ediliyor. MaxxBench'in mutasyona dayalı yaklaşımı, ilgili becerileri korurken soruları değiştirerek testin anlamını yeniden sağlamaya yönelik bir girişimdir.
Kıyaslama yaratıcılarının benzer uyarlama testlerini genel olarak benimseyip benimsemeyeceklerini zaman gösterecek. Ancak çalışmanın temel gözlemi (aynı yayınlanmış puanlara sahip iki modelin, gereksinimler biraz değiştiğinde tamamen farklı davranabileceği), alıcıların ve laboratuvarların tek rakamlı liderlik tablosu sıralamalarına çok daha fazla şüpheyle yaklaşması gerektiğine dair güçlü bir argüman.
