AI 순위표는 모델이 코드를 얼마나 잘 작성하고, 수학 문제를 해결하고, 대학원 수준의 시험에 얼마나 잘 답변하는지에 대한 매우 자세한 설명을 제공합니다. 그들이 거의 말하지 않는 것은 모델이 대부분의 미국인이 실제로 수행하는 작업을 얼마나 잘 수행하는지입니다.
AI 인재 시장 Mercor의 새로운 연구 프로젝트는 이러한 격차를 해소합니다. 이번 주에 발표된 회사의 벤치마크 맵에 따르면 미국인 근무 시간의 약 90%가 기존 AI 벤치마크에서 거의 또는 전혀 적용되지 않는 작업에 소비됩니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.
회사는 조사 결과에 "이로 인해 미국인이 실제로 수행하는 작업에서 AI 모델이 얼마나 좋은지 알기가 매우 어렵습니다"라고 썼습니다.
벤치마크에서 놓친 부분 계산하기
지도를 구축하기 위해 Mercor는 품질 및 경제적 타당성을 기준으로 선택된 29개 벤치마크의 지수를 편집한 다음 미국 노동력을 구성하는 923개 직업과 18,797개의 고유 작업에 대한 표준 분류 체계인 미국 정부의 O*NET 직업 데이터베이스에 대해 프롬프트를 매핑했습니다.
보장 번호는 뚜렷합니다. 923개의 O*NET 직업 중 208개만이 벤치마크 적용 범위를 가지고 있으며 전체 지수에서 18,797개의 직업 작업 중 924개만이 대표됩니다.
프로젝트 사이트에 문서화된 방법론은 AI 자체에 의존합니다. 최근 연구에 따라 LLM 심사위원은 Mercor의 자체 APEX 벤치마크 하위 집합에 대한 인간 전문가 레이블에 대해 검증된 태그를 사용하여 각 벤치마크 프롬프트에 해당하는 ONET 작업으로 태그를 지정합니다. 판사가 29-벤치마크 지수에서 최소 5개 프롬프트에 매핑한 경우에만 과제가 포함된 것으로 간주됩니다. 적용 범위를 경제적인 용어로 변환하기 위해 Mercor는 각 ONET 작업의 작업 시간 점유율에 대해 최근 발표된 LLM 파생 추정치와 추정치를 결합했습니다.
보장은 돈을 따릅니다
간격은 무작위로 분포되지 않습니다. Mercor의 분석에 따르면 AI 커뮤니티는 가장 큰 노동 시장, 즉 노동 통계국 임금 및 고용 추정치에서 계산한 총 임금 청구서가 가장 큰 직업을 먼저 벤치마킹해 왔습니다.
직업-계층 분석은 관심이 얼마나 고르지 않은지를 보여줍니다. 벤치마크 생성의 본거지인 컴퓨터 및 수학 직종은 36개 직종 중 29개에서 가장 잘 다루어집니다. 비즈니스 및 재무 운영은 48개 중 33개로 그 뒤를 이었습니다. 그러나 수백만 명의 직원을 둔 사무실 및 행정 지원에는 51개 직업 중 21개만이 포함되어 있고 관리 역할은 56개 중 21개입니다.
가장 잘 알려진 직업에서도 깊이는 얇습니다. Mercor가 벤치마크 비중이 높은 4가지 직종(투자 은행, 법률, 회계, 소프트웨어 엔지니어링)에 대해 ONET 가중 채점을 시도했을 때 해당 직업과 관련된 ONET 작업 중 1/3 미만이 가중 점수에 포함될 만큼 충분한 벤치마크 적용 범위를 갖고 있는 것으로 나타났습니다.
사각지대가 중요한 이유
벤치마크 점수가 실제 결정을 내리는 순간에 발견이 이루어졌습니다. 기업은 평가를 기반으로 모델 계층을 선택합니다. 이사회는 벤치마크 점프 측면에서 프론티어 모델의 진전에 대해 듣습니다. 정책 입안자들은 규제를 평가할 때 역량 궤적을 인용합니다. 근무 시간의 90%가 벤치마크 측정 범위를 벗어나는 경우 모든 결정은 사무실 업무, 기술 및 학문 쪽으로 치우친 표본에 따라 결정됩니다.
벤치마크 클러스터가 수행되는 구조적인 이유가 있습니다. 소프트웨어 엔지니어링 작업은 지정하기 쉽고, 자동으로 등급을 매기는 것이 저렴하며, 주로 소프트웨어를 작성하는 벤치마크 작성자가 쉽게 설계할 수 있습니다. 의료 보조원의 침상 태도, 이동 제약에 따른 물류 코디네이터의 판단 또는 전기 기술자의 진단 프로세스를 평가하는 것은 표준화하기 어렵고 원격으로 확인하기 어려우며 많은 경우 실제 존재 없이는 테스트가 불가능합니다.
교육 및 평가 작업을 위해 도메인 전문가와 AI 연구소를 연결하는 핵심 비즈니스를 운영하는 Mercor는 평가 범위가 얇다는 점을 지적하는 데 분명한 상업적 관심을 가지고 있습니다. 회사는 그 격차를 줄일 수 있는 전문가에게 접근권을 판매합니다. 그러나 근본적인 측정 문제는 실제로 존재하며 현장 전반에 걸쳐 점차 인식되고 있으며 회사는 조사를 위해 방법론과 전체 벤치마크 목록을 발표했습니다.
회사는 자사의 벤치마크 맵이 경제 전반에 걸쳐 AI 기능을 이해하기 위해 지속적으로 업데이트되는 리소스를 향한 첫 번째 단계이며, 자주 벤치마킹되는 작업이 평균을 지배하도록 하는 대신 각 직업 작업에 균등하게 가중치를 부여하는 O*NET 가중 모델 점수를 향해 노력하고 있다고 밝혔습니다.
측정 10년
다음에 일어날 일은 벤치마크 구축자가 경제 지도를 따르는지 여부에 따라 달라집니다. Mercor 데이터는 적용 범위가 누락된 부분과 암시적으로 새로운 벤치마크가 가장 많은 정보 가치를 전달하는 부분을 가리킵니다. 고용 규모가 크고 임금이 높으며 벤치마크 적용 범위가 0인 직업은 사실상 공개 평가 영역입니다.
현재로서는 AI 리더보드 뉴스를 이용하는 모든 사람이 주의해야 할 사항이 있습니다. 모델의 벤치마크 프로필은 벤치마크가 다루는 경제 부문의 강점을 설명합니다. 근무 시간의 나머지 90%(관리 업무, 간병, 현장 서비스, 현장 관리)는 대체로 측정되지 않은 영역으로 남아 있으며, AI가 AI를 변화시킨다는 주장은 현재 증거보다는 일화에 더 가깝습니다.
회사 자체의 구조에 따르면 최근 몇 년 동안 벤치마크가 몇 배나 늘어났지만 경제적으로 가치 있는 작업에 대한 적용 범위는 여전히 제한적입니다. 지도는 타일별로, 직업별로 이러한 제한을 표시합니다.
---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →
