새로운 벤치마크는 AI 산업이 과학적 능력을 측정하는 방법에 도전하고 있으며, 그 첫 번째 결과는 선도적인 연구실에 겸손한 것입니다. Stanford University의 연구원들과 인기 있는 Terminal-Bench 코딩 벤치마크 팀이 이번 주에 출시한 Terminal-Bench-Science 0.1은 현직 과학자들이 기여한 실제 과학 연구 워크플로에서 AI 에이전트를 평가합니다. 테스트된 가장 강력한 모델인 Claude Opus 5는 Claude Code를 통해 실행되어 작업의 30%만 완료했습니다.

벤치마크의 발표 페이지에서는 모델 개발자나 데이터 공급업체가 아닌 과학자가 AI의 과학적 역량에 대한 기준을 설정해야 한다는 원칙을 직설적으로 설명합니다. 이 프로젝트는 전 세계 연구 기관의 도메인 전문가와 협력하여 구축되었으며 첫 번째 릴리스에는 생명 과학, 물리학, 지구 과학, 수학 및 엔지니어링을 포괄하는 70개 작업이 포함되어 있습니다.

교과서 벤치마크와 다른 점

대부분의 과학적인 AI 평가는 객관식 문제, 교과서 문제, 표준화된 연습 문제 등 지식을 테스트합니다. 대신 Terminal-Bench-Science는 에이전트가 실제 연구자의 하루를 채우는 기술적으로 까다롭고 시간이 많이 걸리는 워크플로(시험에는 없는 작업)를 실행할 수 있는지 여부를 측정합니다. 작업은 현실적인 환경에서 실행되며 등급은 모델 판단이나 객관식 채점 대신 재현 가능한 작업별 테스트로 확인되는 분석, 시뮬레이션, 증명, 코드 및 데이터 제품과 같은 구체적인 아티팩트를 기반으로 합니다.

이 디자인은 AI 보조원이 궁극적으로 과학을 위해 무엇을 해야 하는지에 대한 이론을 반영합니다. 벤치마크 작성자는 과학적 판단을 대체하는 대신 에이전트가 실행 계층(실리콘 내 실험 실행, 데이터 처리, 증명 확인)을 맡아 과학자들이 인간 판단이 가장 중요한 연구 부분(질문 정의, 가설 형성, 결과 해석, 결과 전달)에 집중할 수 있도록 해야 한다고 주장합니다.

프로젝트는 또한 이동 대상으로 명시적으로 구축됩니다. 많은 벤치마크가 한 번 출시되고 폐기되는 경우(발표에서는 이를 "게시할 논문" 문제라고 부름) Terminal-Bench-Science는 모델 진행보다 먼저 평가를 유지하고 오염으로 인한 점수 인플레이션을 방지하기 위한 정기 릴리스를 통해 개척자와 함께 발전하는 지속적인 벤치마크로 설계되었습니다.

첫 번째 순위표: 신뢰성과는 거리가 멀다

이번 주 Hacker News에 소개되었을 때 큰 관심을 끌었던 v0.1 리더보드는 상위권에서 가파른 하락세를 보여줍니다.

  • 클로드 오푸스 5(클로드 코드): 30.0%
  • GPT-5.6 솔(코덱스): 22.4%
  • 클로드 페이블 5 (클로드 코드) : 21.4%
  • 클로드 오푸스 4.8(클로드 코드): 10.5%
  • GPT-5.6 테라(코덱스): 8.6%
  • GLM 5.3(클로드 코드): 8.1%
  • 키미K3(클로드코드) : 7.1%
  • Grok 4.6(Grok 빌드): 7.1%
  • GPT-5.6 루나(코덱스): 3.3%

결과는 원래 터미널 벤치와 경쟁 코딩 벤치마크의 점수가 급격히 상승한 소프트웨어 엔지니어링보다 에이전트의 과학적 워크플로가 훨씬 더 어렵다는 것을 보여줍니다. 사용 가능한 최상의 시스템에 대한 해결률이 30%라는 것은 실제 연구 작업 10개 중 7개에서 강력한 하네스와 짝을 이루는 최상위 에이전트라도 검증 가능한 올바른 작업을 생성하지 못한다는 것을 의미합니다.

모델군 내 확산도 유익합니다. Claude Opus 5와 Claude Opus 4.8(거의 20점) 간의 격차와 GPT-5.6 변형 Sol, Terra 및 Luna 간의 격차는 원시 모델 인텔리전스만이 아니라 모델과 에이전트 하네스의 상호 작용에 따라 결과 품질이 얼마나 좌우되는지를 보여줍니다. 높은 점수를 받은 모든 항목은 에이전트 코딩 도구(Claude Code, Codex, Grok Build)를 사용하여 스캐폴딩이 기본 가중치만큼 결정적이라는 새로운 합의를 강화합니다.

과학자들이 자체 벤치마크를 구축한 이유

벤치마크의 프레이밍에는 미묘한 제도적 주장이 담겨 있습니다. 발표문에는 "과학 분야의 이해관계가 너무 높습니다. 과학의 벤치마크는 외부 이익보다는 과학계의 우선순위를 반영해야 합니다."라고 명시되어 있습니다. 이 프로젝트는 현직 연구자들에게 실제로 자동화가 필요한 작업을 인코딩하고 검증 가능한 표준에 대해 "과학적 발견 가속화"에 대한 공급업체의 주장을 유지하는 직접적인 메커니즘을 제공합니다.

마케팅과 현실 사이의 격차가 실질적인 결과를 가져오기 때문에 이는 중요합니다. 선도적 연구실이 대리인이 연구를 가속화할 수 있다고 주장하는 경우, 독립적이고 전문가가 설계한 평가에서는 한 자릿수에서 30%까지의 해결률을 보여주며, 자금 결정, 고용 계획 및 이러한 주장을 바탕으로 구축된 연구실 정책은 오류를 상속합니다. 커뮤니티가 소유한 지속적인 벤치마크는 하나의 교정 방법입니다. 모호한 주장을 재현 가능한 수치로 변환합니다.

연구기관을 위한 신호

에이전트 배포 시기를 고려하는 대학, 국립 연구실 및 R&D 팀의 경우 벤치마크는 벤더 데모가 제공할 수 없는 기능, 즉 안정성 라인이 실제로 어디에 있는지에 대한 커뮤니티 유지 측정을 제공합니다. 10~20대의 해결률은 이러한 시스템이 오늘날 실험 파이프라인의 자율 실행자가 아니라 검토가 필요한 보조자로 가장 잘 취급된다는 것을 의미합니다. 생명, 물리, 지구, 수학 및 공학 과학을 포괄하는 작업 범주는 또한 도메인 전문가에게 일반 벤치마크에서 일상적으로 간과되는 분야의 워크플로에 기여하기 위한 템플릿을 제공합니다.

더 넓은 업계 상황을 보면 타이밍이 중요한 이유가 더욱 강조됩니다. 과학은 실험실에서 재료 발견, 단백질 과학 및 수학에 대한 기여를 홍보하면서 프론티어 AI의 가장 많이 홍보되는 사용 사례 중 하나가 되었습니다. 이러한 주장은 감사하기 어렵습니다. 과학적 결과는 검증하기가 느리고 열정은 복제보다 빠르게 움직입니다. 실제 워크플로에서 검증 가능한 아티팩트의 등급을 매기는 벤치마크는 연구 기관에 시연 극장에서 시연된 기능을 분리하고, Terminal-Bench가 처음 이름을 알린 소프트웨어 엔지니어링에서처럼 과학의 에이전트적 진보가 빠르게 복합화되고 있는지 여부를 릴리스별로 추적하고 릴리스할 수 있는 방법을 제공합니다.

AI 업계에 있어서 v0.1의 메시지는 양날의 것이다. Opus 5의 30%는 이전 Opus 4.8의 10.5%보다 훨씬 뛰어납니다. 그러나 그 한계는 실제 실험실에서 요구하는 신뢰성과는 거리가 멀습니다. 벤치마크 설계자들은 정기적인 릴리스를 통해 그 격차가 얼마나 빨리 줄어들는지 정확하게 추적할 것이라고 말합니다. 에이전트 연구 도구에서 새로운 AI 동향을 관찰하는 과학자들은 이제 스스로 구축한 척도를 갖게 되었습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →