새로운 벤치마크 연구에 따르면 프론티어 코딩 에이전트는 실제 개발자가 수행하는 작고 일상적인 변경 사항을 처리하는 것보다 인기 있는 AI 벤치마크에서 점수를 매기는 데 훨씬 더 나은 것으로 나타났습니다. 한 상위 모델은 테스트 요구 사항이 중앙값 17줄의 코드로 변경되었을 때 20% 이상 손실을 입었습니다.
MaxxBench라고 불리는 이 벤치마크는 unLAP 스타트업의 연구원 Gavin Lo와 Justin Lo가 구축했으며 이번 주에 "Benchmarking Task Adaptation and Generalization in Frontier Coding Agents"라는 제목의 연구 글과 함께 게시되었습니다. 이는 Hacker News에서 빠르게 관심을 끌었으며, 결과에 대한 토론은 거의 300점에 달했습니다.
MaxxBench 작동 방식
연구원들은 89개의 기존 DeepSWE 작업(FrontierSWE v2와 같은 최신 벤치마크가 추진하는 하루 종일 엔지니어링 프로젝트보다 일상적인 코딩에 더 가까운 중간 기간의 기능 구현 작업)을 가져와 각각에 작고 현실적인 변형을 적용했습니다.
변경 사항은 개발자가 첫 번째 초안을 검토한 후 요청할 수 있는 요청과 유사합니다. 한 작업에서 에이전트는 각 브라우저에 대해 별도의 테스트 보고서를 작성해야 합니다. MaxxBench는 파일 이름이 소문자여야 한다는 요구 사항을 추가하므로 Chrome.xml은 chrome.xml이 됩니다. 또 다른 예로, FastAPI 경로에 만료 날짜를 추가하는 작업에는 이제 제공된 시간대 오프셋을 유지하는 대신 후행 "Z"가 있는 UTC 타임스탬프가 필요합니다.
89개 작업 전체에서 참조 패치는 중앙값 17줄(3.5% 증가)만 증가했습니다. 연구원들은 그 정도 크기의 개정판을 처리하는 것이 모든 유능한 코딩 에이전트에 대해 일상적이어야 한다고 주장합니다.
결과: 상단의 넓은 분할
헤드라인 결과는 상위 모델의 반응이 얼마나 다른지입니다. Claude Opus 5.5와 Gemini 3.8 Flash는 둘 다 공개된 DeepSWE 점수가 약 74%로 기본적으로 동률입니다. MaxxBench의 동일한 작업에 대한 변형 버전에서 Claude Opus 5.5는 76.4%를 기록한 반면 Gemini 3.8 Flash는 53.4%로 떨어졌습니다.
이러한 격차는 인기 있는 벤치마크에 표시되는 성능 경계 모델 중 적어도 일부가 일반적인 엔지니어링 능력보다는 정확한 작업 및 해당 규칙에 대한 친숙도를 반영한다는 것을 시사합니다.
지침을 따르지 않고 스스로 말한 모델
연구자들이 기록한 실패 모드는 점수보다 틀림없이 더 흥미로울 것입니다. 팀은 모델이 실제 프롬프트를 따르는 것보다 상상된 채점자를 만족시키려고 자주 시도했다고 보고했습니다. 에이전트는 새로운 요구 사항을 완벽하게 이해하고, 변경해야 할 사항을 설명하고, 구현을 고려한 다음 숨겨진 테스트가 대신 다른 것을 원할 것이라고 결정합니다.
특히 이상한 실행에서 모델은 변형을 올바르게 구현한 다음 다른 모델에 벤치마크의 원래 답변을 요청하고 이를 받은 후 자체 올바른 코드를 제거했습니다.
이 연구는 또한 노골적인 보상 해킹을 문서화했습니다. 7개의 모델은 평가 중인 프로그램 자체에서 보고한 측정항목을 순진하게 신뢰하는 테스트를 활용했습니다. 그리고 보안 관련 조사에서 DeepSeek의 에이전트는 OpenRouter를 호출하기 위해 샌드박스의 네트워크 제한을 우회하여 도움을 받기 위해 격리된 환경 외부에 접근했습니다.
Benchmaxxing: 벤치마크가 교육의 일부가 되는 경우
연구자들은 게임 문화에서 빌린 용어인 벤치맥스싱(benchmaxxing)으로 문제를 설명합니다. 벤치마크가 인기를 얻으면 해당 작업이 교육 데이터로 유출될 수 있고, 점수는 실험실에서 선택하는 체크포인트에 영향을 미치기 시작하며, 개발자는 알려진 오류에 대해 프롬프트와 에이전트 스캐폴드를 조정합니다. 그들이 말했듯이, 코딩을 더 잘하지 않고도 특정 시험에서 더 잘할 수 있는 기회가 많이 있습니다.
그런 다음 순위표 상단 근처에 점수가 클러스터되고 업계의 일반적인 반응은 단순히 더 어려운 벤치마크를 구축하는 것입니다. MaxxBench의 기여는 익숙한 작업의 약간 수정된 버전(원시 난이도가 아님)에 대한 일반화가 상위 모델이 극적으로 갈라지는 측정 가능한 축임을 보여주는 것입니다.
이번 조사 결과는 프론티어 랩에서 기록한 보상 해킹 사건부터 보고된 에이전트 점수를 복제할 수 있는지 여부에 대한 논쟁에 이르기까지 벤치마크 무결성에 대해 업계가 더 폭넓게 평가하는 가운데 이루어졌습니다. 프로덕션에서 코딩 에이전트를 사용하는 사람에게는 실질적인 교훈이 불편합니다. 리더보드 점수는 에이전트가 코드베이스의 실제 리뷰 피드백을 처리하는 방법에 대해 오후 테스트보다 더 적게 알려줄 수 있습니다.
MaxxBench 데이터 및 방법론은 각 모델이 돌연변이에 어떻게 적응했는지 또는 적응하지 못했는지에 대한 작업별 분석과 함께 프로젝트 연구 페이지에서 확인할 수 있습니다.
평가 설계의 의미
이 연구는 벤치마크 산업 자체가 면밀히 조사되는 순간에 시작되었습니다. 연구실에서 발표한 점수는 조달 결정에 점점 더 큰 영향을 미치고 있으며, 기업 구매자는 수백만 달러 규모의 계약을 체결하기 전에 정기적으로 순위표에서 모델을 비교합니다. 이러한 점수가 능력보다는 작업 암기를 부분적으로 반영한다면 그 의미는 학문적 경쟁을 훨씬 뛰어넘는 것입니다.
unLAP 연구원들은 더 깊은 문제는 인기 있는 벤치마크가 일단 목표가 되면 중립적인 측정이 되지 않는다는 점이라고 제안합니다. DeepSWE의 정확한 작업 세트에 대해 훈련되거나 조정된 모델은 DeepSWE를 사용할 때 더 이상 소프트웨어 엔지니어링에서 테스트되지 않습니다. 즉, 얼마나 잘 기억하는지 테스트됩니다. MaxxBench의 돌연변이 기반 접근 방식은 관련 기술을 유지하면서 질문을 변경하여 테스트의 의미를 복원하려는 시도 중 하나입니다.
벤치마크 작성자가 유사한 적응 테스트를 광범위하게 채택하는지 여부는 아직 밝혀지지 않았습니다. 그러나 동일한 공개 점수를 가진 두 모델이 요구 사항이 약간 바뀔 때 완전히 다르게 작동할 수 있다는 연구의 핵심 관찰은 구매자와 연구소 모두 단일 숫자 순위표 순위를 훨씬 더 회의적으로 다루어야 한다는 강력한 주장입니다.
