Real-SWE라고 불리는 새로운 벤치마크는 AI 산업이 코딩 능력을 측정하는 방식에 도전하고 있으며, 첫 번째 결과는 선두 연구실에 굴욕을 안겨줍니다. Claude Code 하니스 내에서 실행되는 Anthropic's Fable 5.1은 개인, 실제 기업 코드베이스에서 가져온 작업에 대해 38.8%의 해결률로 이사회를 주도합니다. 테스트된 어떤 모델도 40%를 클리어하지 못했습니다.

이번 달에 특정 연구소(Specific Labs)가 발표한 벤치마크는 팀이 실제 회사로부터 라이선스를 받은 비공개 생산 코드베이스에서 최첨단 AI 모델을 평가합니다. 제작자들은 전문가가 생성하거나 합성한 작업이 아무리 잘 설계되었더라도 실제 회사의 엔지니어가 실제로 수행하는 작업이 문자 그대로 작업이 아니라고 주장합니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

비공개 코드베이스가 상황을 바꾸는 이유

Real-SWE는 기본 코딩 아티팩트와 명령의 특수성이라는 두 축에서 SWE-bench와 같은 기존 벤치마크와 다릅니다. 각 작업은 공개 인터넷에서 사용할 수 없는 코드와 솔루션을 갖춘 독점 시스템에서 나옵니다. 즉, 에이전트는 공개 저장소에서 가져온 기억된 답변에 의존할 수 없습니다.

작업은 비즈니스 결과도 가져옵니다. 벤치마크의 예시 작업에는 청구 권리 확보, 세금 계산, 고객 마이그레이션 등이 포함되며, 이는 종종 여러 서비스에 걸쳐 비즈니스 운영 방식에 영향을 미치는 변경 사항입니다. 모든 회사에는 고유한 규칙과 코드 작성 방법이 있으며 상담원은 이러한 표준을 이해하고 이미 존재하는 내용에 맞게 변경해야 합니다.

"코딩 에이전트가 실제로 현실 세계에서 소프트웨어 엔지니어의 작업을 수행할 수 있습니까?" 벤치마크 소개에서 묻습니다. 순위표는 현재로서는 기껏해야 3분의 1 정도의 시간에 불과하다고 답합니다.

전체 리더보드

특정 연구소는 8개의 프론티어 모델과 하네스 조합을 평가하여 95% 신뢰 구간에서 작업당 평균 8개의 독립적 실행을 통해 pass@1로 해결 속도를 측정했습니다.

1. 우화 5.1(클로드 코드) — 38.8%
2. GPT-6 Astra(Codex CLI) — 33.8%
3. Gemini 3.8 플래시(Gemini CLI) — 31.2%
4. GLM 5.3(클로드 코드) - 28.8%
5. (동점) Grok 4.6(Grok 빌드) — 23.8%
5. (동점) Muse Spark 1.3 (Muse Code) - 23.8%
7. 키미 K3 (키미코드) — 18.8%
8. GPT-5.6 Sol(Codex CLI) - 16.2%

결과는 지난 주말 Hacker News에서 광범위하게 논의되었으며 벤치마크는 수백 개의 찬성표를 얻었고 비공개 코드베이스 평가가 에이전트 진행 상황의 올바른 척도인지에 대한 활발한 토론이 있었습니다.

좁지만 의미 있는 상위 확산

상위 4개 시스템 간의 격차는 현재 경쟁 환경에 대해 나타내는 내용으로 인해 주목할 만합니다. OpenAI의 GPT-6 Astra에 대한 Fable 5.1의 5점 앞서는 모든 작업이 실제 생산 문제인 벤치마크에서 의미가 있습니다. Gemini 3.8 Flash가 3위를 차지한 것은 놀라운 일입니다. 이 모델은 주력 추론 시스템이 아닌 빠르고 저렴한 비용의 주력 제품으로 자리 잡았기 때문입니다. Claude Code를 통해 평가된 Z.ai의 GLM 5.3은 선두 업체와 5점 이내의 거리에 도달하여 실용적인 엔지니어링 작업에서 개방형 중량 모델이 어떻게 경쟁력을 갖게 되었는지를 잘 보여줍니다.

마찬가지로 바닥의 스프레드도 말해줍니다. 이전 OpenAI 릴리스인 GPT-5.6 Sol은 Fable 5.1보다 절반도 안되는 작업을 해결합니다. 이는 개척자가 얼마나 빨리 이동했는지, 한 모델 세대 이전에 감소폭이 얼마나 가파르게 나타날 수 있는지를 상기시켜줍니다.

하네스는 모델만큼 중요합니다

벤치마크의 방법론적 선택 중 하나가 주목을 받고 있습니다. Real-SWE는 모델을 개별적으로 평가하는 대신 Claude Code, Codex CLI, Gemini CLI, Grok Build와 같은 기본 하네스를 사용하여 기업 엔지니어가 실제로 실제로 작업하는 방식을 반영합니다. 리더보드는 모델과 하네스 조합의 순위를 명시적으로 지정하여 이제 스캐폴딩, 도구 액세스 및 반복 루프가 실제 배포에서 모델 기능과 분리될 수 없다는 점을 인정합니다.

이러한 프레이밍은 기업이 시스템을 선택하는 데 중요합니다. 동일한 모델은 주변에 연결된 에이전트 하네스에 따라 매우 다르게 수행될 수 있으며, 공개 벤치마크 수치로 코딩 보조자를 평가하는 구매자는 해당 시스템이 자체 코드베이스에서 어떻게 작동하는지에 대한 왜곡된 그림을 얻을 수 있습니다.

업계에 미치는 영향

벤치마크는 훈련 데이터로 유출되는 공개 테스트에서 프론티어 모델이 거의 완벽한 점수를 게시하는 등 포화 상태라는 비난을 반복적으로 받아왔습니다. Real-SWE의 디자인은 두 가지 문제를 동시에 해결하려고 시도합니다. 코드는 비공개이고 라이선스가 부여되어 있으며 작업은 작업 엔지니어링 팀의 실제 작업 제품이며 지침은 세련된 문제 설명이 아닌 실제 티켓의 지저분한 특수성을 반영합니다.

냉정한 테이크 아웃은 절대적인 수준입니다. 최고의 시스템이라 할지라도 첫 번째 시도에서 실제 기업 작업 10개 중 4개 미만(평균 8회 이상 실행)을 해결합니다. 에이전트 코딩의 모든 발전에 대해 벤치마크는 실제 생산 시스템의 자율 소프트웨어 엔지니어링이 감독 활동으로 남아 있음을 시사합니다. 즉, 인간 엔지니어가 공급업체 데모에서 암시하는 것보다 훨씬 더 자주 검토, 리디렉션 및 수리하는 활동입니다.

코딩 도우미 중에서 선택하는 기업을 위해 벤치마크는 실용적인 체크리스트를 제공합니다. 즉, 프라이빗 코드로 평가된 시스템을 선호하고, 단일 실행 헤드라인 숫자보다는 신뢰 구간을 주장하며, 원시 모델 기능만큼 가중치 하네스 품질을 강조합니다. Real-SWE의 첫 번째 리더보드는 최종 단어는 아니지만 모든 엔지니어링 리더가 에이전트 코딩에 대해 묻는 질문에 대한 가장 직접적인 답변입니다.

코딩 에이전트, 모델 릴리스 및 이를 형성하는 연구에 대한 자세한 내용을 보려면 다음 벤치마크 결과가 나올 때 최신 AI 뉴스를 따르세요.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →