벤치마크 회사인 인공 분석(Artificial Analysis)은 인텔리전스 인덱스(Intelligence Index) 버전 5를 출시했는데, 이는 지난 1월 v4가 출시된 이후 복합 모델 순위가 가장 크게 업그레이드된 것이라고 합니다. 헤드라인 변경: 처음으로 지수의 60%가 비공개 테스트 세트 또는 보류된 답변을 사용한 평가를 기반으로 구축되었습니다. 이는 공개 순위표에 대한 신뢰를 약화시킨 벤치마크 오염 문제에 대한 직접적인 대응입니다.

개편은 상단에 명확한 평결과 함께 도착합니다. Claude Opus 5.5(최대)는 58로 v5 지수를 주도하며 GPT-6 Astra(최대)는 57, GPT-6.1 Sol(최대)은 55로 앞서 있습니다. Anthropic과 OpenAI가 함께 상위 5위 자리를 차지하고 Google의 Gemini 4 Argon(최고)이 50으로 그 다음입니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

v5에서 변경된 사항

v5 지수는 지식 작업, 코딩, 과학, 일반 등 동일한 가중치를 적용한 4가지 범주로 구성되며 각각 25%의 가치를 갖습니다. 2개의 벤치마크는 완전히 새로운 것이며 3개는 주요 업그레이드를 받았습니다.

  • FrontierCode 2.0(신규). 오픈 소스 리포지토리의 132개 실제 코딩 작업에 대한 Cognition의 비공개 벤치마크로, 리포지토리 관리자가 실제로 에이전트의 변경 사항을 병합할지 여부에 따라 등급이 매겨집니다. 작업은 오염을 방지하기 위해 비공개로 유지되며 인공 분석은 Stirrup 에이전트 하네스에서 모든 작업을 3번 실행합니다.
  • 터미널-벤치-과학(신규). 모든 테스트가 통과해야 작업이 통과되는 터미널 환경에서 실행되는 70개의 에이전트 과학 연구 작업입니다.
  • HLE-Diamond(업그레이드). AI 안전 및 규모 AI 센터의 인류 마지막 시험의 개선된 1,000개 질문 버전으로, 추론과 지식 질문을 균등하게 분할하여 원래 HLE를 대체합니다.
  • AA-Omniscience v1.1(업그레이드). 포화된 공개 질문이 제거된 정리된 지식 및 환각 데이터 세트입니다.
  • CritPt v2 하드 하위 집합(업그레이드됨). 연구 수준 물리학 벤치마크의 비공개 40개 질문 하드 하위 집합으로, 작성자가 수정하고 코드 실행으로 실행됩니다.

색인에서 사라짐: GDPval-AA v2.1, SciCode 및 AA-LCR v1.1. 인공 분석은 또한 단일 연속 규모로 시간 경과에 따른 모델 기능을 추적하는 동반 진행 지수 v1을 출시했습니다.

Claude Opus 5.5가 전반적으로 선두를 달리고 있습니다.

Claude Opus 5.5(최대)는 9개의 개별 평가 중 3개를 주도합니다. FrontierCode 2.0은 46%, HLE-Diamond는 68%, AA-Omniscience v1.1은 48%입니다. 단일 모델이 모든 것을 주도하지는 않습니다. 다른 5개 모델이 나머지 6개 벤치마크를 능가합니다.

GPT-6 Astra(최대)는 터미널-벤치-과학을 63%로, CritPt v2 하드 하위 집합을 72%로 앞서며, 장거리 과학 작업에서 OpenAI의 강점을 확인시켜 줍니다. Claude Sonnet 5.5는 1812 Elo에서 AA-Briefcase 1위를 차지하고 Kimi의 K3.1 Pro는 Terminal-Bench 4.0에서 67%로 선두를 달리고 있으며 Gemini 4 Argon은 AutomationBench-AA에서 78%로 선두를 달리고 Muse Wonder Full은 전체 통과에서 33%로 GDP.pdf를 앞지르고 있습니다.

HLE-Diamond 결과에는 세부적인 내용이 포함되어 있습니다. 선도 모델은 지식보다 추론에서 훨씬 더 높은 점수를 받았습니다. Claude Opus 5.5와 GPT-6 Astra는 모두 추론 질문에서 78%를 기록했지만 지식에서는 각각 58%와 50%로 떨어졌습니다. 이는 프론티어 시스템조차도 추론 점수에서 제시하는 것보다 더 자주 환각을 느끼거나 사실이 부족하다는 증거입니다.

오픈 웨이트 갭 트리플

개방형 가중치 생태계에 대한 가장 경각심을 불러일으키는 결과는 최고의 개방형 모델과 전체 리더 간의 격차가 v4.3의 3포인트에서 v5의 12포인트로 3배 증가했다는 것입니다.

Kimi의 K3.1 Pro는 46의 최고 개방형 무게 모델이지만 무게는 아직 공개되지 않았습니다. 가중치가 출시된 모델 중에서 DeepSeek의 V4.1 Flash 1017(최대)과 Z.ai의 GLM-5.3(최대)은 32로 선두를 달리고 있으며, 이는 Claude Opus 5.5보다 26포인트 뒤지고 Claude Haiku 5.5(최대)보다 36포인트 낮습니다.

가장 엄격한 에이전트 벤치마크에서 격차가 가장 컸습니다. HLE-Diamond에서 Kimi K3.1 Pro는 Opus 5.5의 68%에 비해 37%를 기록했습니다. 터미널-벤치-과학에서는 34%, GPT-6 Astra는 63%입니다. 대부분의 개방형 가중치 모델 벤치마크 점수는 과학 벤치마크에서 10% 미만입니다.

작업당 가격은 13배로 다양합니다.

비용은 여전히 결정적인 변수입니다. 가장 높은 점수를 받은 10개 모델 중 GPT-6.1 Terra(최대)는 Intelligence Index 작업당 0.96달러로 가장 저렴하며, Claude Fable 5.1(최대)은 13배 이상인 13.04달러로 가장 비쌉니다.

효율성 스토리는 틀림없이 v5의 가장 실용적인 장점입니다. GPT-6.1 Sol(최대)은 Claude Opus 5.5의 4점 이내 점수를 얻었으며 작업당 비용은 Opus의 10.04달러에 비해 1.27달러로 약 1/8 더 높습니다. GPT-6 Astra(최대)는 $6.24로 그 사이에 있습니다.

비공개 벤치마크가 중요한 이유

비공개 평가 세트로의 전환은 업계 전반의 문제를 반영합니다. 즉, 공개 벤치마크가 훈련 데이터로 유출되어 포화되어 리더보드의 이익을 신뢰할 수 없게 만듭니다. FrontierCode 2.0을 사용하면 관리자가 변경 사항을 병합할지 여부(차단 검사 실패 점수는 0점)에 따라 작업 등급이 매겨지고 작업 목록은 비공개로 유지됩니다.

이는 v5를 게임에 대한 더 어려운 벤치마크 중 하나로 만들고 그 평결에 무게가 있습니다. 개척자는 Anthropic과 OpenAI가 주도하고 노력 설정은 그 어느 때보다 중요하며 개방형 가중치 모델은 점점 더 실제 AI 작업을 정의하는 에이전트 작업을 복구할 수 있는 심각한 기반을 갖추고 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →