AI 벤치마크는 어떤 모델이 헤드라인을 장식할지 결정하며, 해당 모델을 구축하는 회사는 이를 극복하는 방법을 배웠습니다. 2024년에 설립된 Vals라는 스타트업은 업계에 테스트를 조작할 수 없는 심판이 필요하다는 데 베팅하고 있으며 투자자들은 그 베팅을 크게 지지했습니다. Vals는 8VC와 Bloomberg Beta가 주도한 시드 라운드에 이어 지난 달 Andreessen Horowitz가 주도하는 4천만 달러의 시리즈 A 투자를 유치했습니다.

회사의 성장은 AI 기능을 측정하는 방법과 척도가 마케팅 도구가 되면 어떤 일이 발생하는지에 대한 불안감이 커지는 가운데 이루어졌습니다. AI 비즈니스에 대한 자세한 내용은 AI 산업 보도를 참조하세요.

벤치마크가 마케팅이 될 때

벤치마킹은 AI 모델의 기능을 검증하기 위한 업계 표준이 되었으며, 수치가 회사의 방향에 따라 달라질 경우 경쟁사보다 광고 우위를 확보하기 위한 표준이 되었습니다. 좋은 벤치마크는 좋은 홍보를 의미합니다.

Vals의 공동 창립자이자 CEO인 Rayan Krishnan에 따르면 문제는 많은 레거시 벤치마크가 이전 세대 모델을 위해 구축되었으며 기업이 이를 최적화하는 방법을 알아냈다는 것입니다. 테스트 자료가 공개되면 모델을 효과적으로 훈련하여 시험에 합격할 수 있습니다. 업계에서는 이를 오염, 과적합 또는 노골적인 부정 행위로 다양하게 설명하고 있습니다.

Krishnan은 TechCrunch와의 인터뷰에서 "우리는 새롭고 매우 유능한 모델이 빠르게 시장에 출시되는 것을 보고 있었지만 학문적 벤치마크는 이러한 개척자의 발전을 따라잡지 못했습니다."라고 말했습니다.

비공개 테스트, 실제 작업

Vals는 두 가지 측면에서 다른 접근 방식을 취합니다. 첫째, 특정 테스트 자료를 공개적으로 공개하지 않기 때문에 회사가 시험에 맞춰 모델을 교육하는 것이 훨씬 더 어려워집니다. 둘째, 모델이 변호사 시험 스타일의 질문에 답할 수 있는지 여부와 같은 추상적인 지식을 측정하는 대신 Vals는 모델이 법률, 금융, 코딩과 같은 특정 산업에서 복잡한 작업을 수행하는 방식을 평가합니다.

"우리가 하고 있는 일은 실제로 모델의 실제 영향이 무엇인지 조사하는 것입니다."라고 Krishnan은 말했습니다. "모든 영역에서 인간과 동일한 품질의 제품을 생산하는 작업을 할 수 있습니까?"

회사는 성공뿐만 아니라 실패 모드도 측정합니다. Krishnan은 Vals의 목표가 "이러한 모델이 전 세계적으로 널리 퍼진다면 부정적인 영향이 무엇일지" 분석하는 것을 목표로 한다고 말했습니다. 이는 하방 위험을 사후 고려가 아닌 측정 가능한 결과로 취급하는 평가 철학입니다.

법과 금융부터 제네바 협약과 재귀적 자기 개선까지

Vals의 평가 범위는 전문 서비스를 기반으로 하는 범위를 넘어 계속 확장되고 있습니다. Krishnan은 법률, 금융 및 코딩 벤치마크와 함께 현재 회사가 정신 건강, 사이버 보안, 생물학적 보안에 대한 테스트를 실행하고 있으며 심지어 상업적 평가 스위트보다 AI 안전 분야에서 더 일반적으로 논의되는 주제인 반복적 자기 개선에 대한 벤치마크도 실행하고 있다고 말했습니다.

아마도 가장 눈에 띄는 것은 무력 충돌법에 관한 연구일 것입니다. 여기서 Vals는 모델이 제네바 협약을 어떻게 이해하고 적용하는지 테스트하고 있습니다. 폭넓은 수요가 어디에서 오는지에 대한 신호입니다. 최고의 리더보드를 향해 경쟁하는 실험실뿐만 아니라 모델을 배포하기 전에 고위험 도메인에서 모델이 어떻게 작동하는지에 대한 증거가 필요한 기업 및 기관입니다.

비즈니스 모델: 비용을 지불하고 시험을 치르세요

기업은 모델을 평가하기 위해 Vals에 비용을 지불합니다. 이는 직관에 반하는 방식으로 보일 수 있습니다. 회사가 당혹스러울 수 있는 결과에 대해 왜 비용을 지불하겠습니까? Krishnan은 이 모델을 SAT를 치르기 위해 College Board에 비용을 지불하는 학생에 비유합니다. 독립적인 측정은 비록 좋지 않은 측정일지라도 시간이 지남에 따라 회사의 문제를 해결하고 개선하는 데 도움이 됩니다.

시장이 반응하는 것 같습니다. Vals는 현재 매출이 작년보다 8배 증가했으며 팀은 연초 이후 3배로 증가하여 8명에서 25명으로 늘어났다고 말합니다. Vals는 이전 양조장 건물이었던 샌프란시스코의 Folsom Street에 있는 2층 사무실에서 현재 여러 스타트업을 수용하고 있습니다.

회사에 따르면 평가는 AI 모델을 구매하는 기업의 의사 결정 요소가 되어 벤치마크에 마케팅보다 실사에 더 가까운 역할을 부여하고 있습니다.

맨 앞줄에 앉은 25세 창업자

25세의 Krishnan은 Palantir에서 인턴으로 근무했으며 Stanford에서 학부생으로 Microsoft와 대학의 유명한 인공 지능 연구소에서 근무했습니다. 그는 Vals가 측정해야 할 업계보다 평가가 뒤처지는 것을 보고 탄생했다고 말했습니다. 학문적 벤치마크가 설계, 검증 및 게시될 수 있는 것보다 새로운 모델이 더 빨리 출시되면서 격차는 더욱 벌어졌습니다.

이제 이 스타트업은 학문적 노력, 오픈 소스 리더보드 프로젝트 및 안전 연구소를 포함하는 공간인 AI 평가를 제도화하려는 작지만 성장하는 기업 집단에 합류했습니다. Vals의 차별점은 비공개 테스트 모델과 공개 순위보다는 유료 산업별 평가에 초점을 맞추고 있다는 것입니다.

중요한 이유

벤치마크에 대한 AI 업계의 신뢰성 문제는 잘 문서화되어 있습니다. 테스트 세트 유출, 의심스러운 순위표 점프, 실제 성능을 능가하는 마케팅 주장 등이 있습니다. 구매자, 특히 기업과 정부가 Vals와 같은 비공개 작업 기반 평가에 의존하기 시작하면 모델 개발자에 대한 인센티브가 교육에서 실제 역량을 향한 테스트로 전환될 수 있습니다.

정착되려면 아직 멀었다. 비공개 벤치마크에서는 여전히 구매자에게 심판을 신뢰하도록 요구하고 있으며 Vals의 고객은 등급을 매기는 동일한 회사입니다. 그러나 4,000만 달러 규모의 시리즈 A, 8배의 수익 성장과 금융에서 생물 보안에 이르는 수요를 통해 독립적인 느낌의 평가가 인프라가 되고 있다는 것이 확실합니다. 즉, AI 경제가 결과가 만족스럽든 그렇지 않든 비용을 지불하게 될 서비스입니다.

AI보다 앞서 나가세요

측정기를 측정하는 사람은 누구입니까? AI 속보 소스인 AI Buzz Wire에서 AI 평가 비즈니스와 이를 재구성하는 스타트업을 팔로우하세요.

최신 AI 뉴스 읽기 →