Perplexity는 의사 결정 모델 제품군의 최신 버전인 Decider v1.3에 대한 자세한 게시물을 게시했습니다. 제목은 "Perplexity Decider v1.3: 훈련, 평가 및 사용 사례"입니다. 이 게시물은 금요일 Hacker News의 첫 페이지에 게재되었으며 개발자들이 벤치마크 결과를 거래하고 이러한 모델이 실제로 어디에 적합한지에 대해 논쟁을 벌이면서 몇 시간 만에 140개 이상의 포인트를 얻었습니다. 이에 대한 자세한 내용과 기타 AI 속보를 알아보려면 모든 모델 출시를 팔로우하세요.

관심은 하나의 업데이트에 대한 것이 아니라 스레드가 밝혀낸 내용에 더 있습니다. 불과 1년 만에 의사 결정 모델은 호기심에서 자체 벤치마크, 가격 논리 및 이제 Perplexity, TypeSafe, Microsoft, Google, Cloudflare 및 OpenAI를 포함하는 경쟁 분야를 갖춘 혼잡한 범주로 바뀌었습니다.

의사결정 모델이 실제로 하는 일

가장 명확한 정의는 Decision Index v2.1이 해당 카테고리의 참조 리더보드가 된 독립 평가 연구소인 인공 분석에서 나왔습니다. 설명자에서 의사 결정 모델은 고정된 옵션 세트가 포함된 질문(예: 청구 또는 기술로 라우팅할지 여부, 긴급한지 여부, 고객이 얼마나 화를 내는지 묻는 지원 티켓)을 선택하고 확률이 첨부된 모든 옵션에 대한 답변을 단일 통화로 반환합니다.

이와 대조적으로 범용 언어 모델은 구문 분석해야 하는 구조화된 출력을 생성하고, 추론 모델은 응답하기 전에 추가 컴퓨팅 사고를 소비합니다. 의사결정 모델은 이를 건너뜁니다. 그들은 설명이 아니라 선택하도록 훈련받았기 때문에 모든 문서, 모든 요청을 대량으로 실행할 수 있을 만큼 빠르고 저렴합니다.

카테고리 측정 방법

공개 방법론 페이지로 업데이트된 인공 분석 결정 지수 v2.1은 6가지 평가를 공개된 가중치와 결합합니다. 30%의 AA-Paperclip은 결정과 사실 추출을 통해 1,500개의 이력서, 영수증, 청구서 및 연구 논문을 실행합니다. 직장 문서에 대한 판단에 대한 TypeSafe의 ONET 벤치마크를 기반으로 한 EvalSafe-ONET-AA 15%; When2Call은 10%로 NVIDIA의 도구 호출 평가입니다. AA-Omniscience-Decision v1.1 지식 및 환각에 대한 15%; HLE-MultiChoice v1.1 15%, 인류의 마지막 시험의 텍스트 전용 객관식 문제(거부 옵션 포함) AA-Symmetry v1.1(15%)은 옵션이 이동, 수정 또는 무효화될 때 결정이 유지되는지 확인합니다.

마지막 테스트는 텔입니다. 옵션의 순서를 바꿀 때 답을 바꾸는 모델은 실제로 결정하는 것이 아니라 패턴 일치입니다. 보정, 불변성 및 거절 시기를 아는 것은 보너스가 아닌 최고 수준의 요구 사항으로 간주됩니다.

해커 뉴스 스레드에서 추가하는 내용

Perplexity는 10월 초 Hugging Face에서 처음으로 270억 개의 매개변수 계열 구성원인 pplx-decider-v1-27b를 공개 가중치를 부여했기 때문에 커뮤니티는 몇 주 동안 이러한 모델을 손에 넣었습니다. v1.3에 대한 반응은 과대광고 주기라기보다는 건강한 시장처럼 읽히는 방식으로 혼합되었습니다.

한 개발자는 Decider v1.3이 엔터티 추출 및 일치 작업에 대한 내부 평가에서 v1.2와 TypeSafe의 Jev 1.14에 비해 향상된 결과를 보였다고 보고했습니다. 또 다른 사람은 양방향 주의 아키텍처가 의사 결정 작업에 적합할 수 있다는 점을 지적하면서 로컬 벤치마크에서 좋은 성능을 발휘하고 가격도 경쟁력이 있다고 말했습니다. 다른 사람들은 뒤로 물러섰습니다. 한 논평자는 v1.3이 사용 사례에서 한발 뒤로 물러났다는 사실을 발견하고 공개 지수가 이에 동의한다고 말했으며, 또 다른 논평자는 플래시 변형이 저렴하고 정확한 대량 결정이라는 범주의 핵심 약속을 희석하는지 여부에 대해 의문을 제기했습니다.

이 스레드는 또한 Cloudflare의 Clef 결정 모델 및 Clairic 추출 모델, ScaleDown API, Liquid의 D1 및 OpenAI의 자체 결정 모델과 같은 주변 생태계를 표면화했으며 여러 개발자는 정확성과 함께 작업당 비용 및 보정을 포함하는 인공 분석의 지수가 그들이 신뢰하는 유일한 공급업체 간 비교라고 지적했습니다.

중요한 이유

우리는 TypeSafe의 Jev 시스템 1 모델, Qwen을 기반으로 구축된 Microsoft의 Decision-1, Gemini Decision-1 모델을 갖춘 Google의 Decisions API 등 이 카테고리의 상승을 단계별로 다루었습니다. Perplexity Shipping v1.3은 패턴을 확인합니다. 이제 모든 주요 AI 플랫폼은 구조화된 선택이 이루어지는 레이어를 소유하려고 합니다. 왜냐하면 해당 레이어가 지원 분류, 문서 처리, 도구 호출, 중재, 규정 준수 확인 등 모든 것 앞에 위치하기 때문입니다.

경제학이 핵심이다. 추론 모델은 정확성에 대한 의사결정 모델보다 더 답할 수 있지만, 대량의 지연 시간과 비용으로 인해 일일 수백만 건의 분류에 잘못된 도구가 됩니다. 의사결정 모델은 보정된 불변 단일 호출 답변을 위해 일반 정보를 교환하며, Hacker News 토론에서 알 수 있듯이 구매자는 이제 실제 벤치마크 및 실제 작업 부하를 사용하여 거래 등급을 매기고 있습니다.

Decider v1.3은 해당 스코어카드에 따라 살거나 죽을 것입니다. 그러나 카테고리 자체는 분명히 도착했습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →