Mistral AI는 화요일에 듣기, 추론, 도구 호출 및 음성 합성을 단일 실시간 스트리밍 파이프라인에 결합한 새로운 음성 모델 제품군이자 음성 에이전트 SDK인 Voxtral 3을 발표했습니다. Mistral의 공식 블로그에 게시된 이번 릴리스는 연락 센터, 서비스 데스크, 가상 비서 및 핸즈프리 부조종사를 대상으로 합니다. 음성 AI 시장에서 대기 시간과 정확성이 발신자의 전화 끊기 여부로 직접적으로 해석되는 부분입니다.

이 발표는 프랑스어로 음성 요청을 처리하는 상담원을 보여주는 Mistral 사이트의 실시간 시연과 함께 발표되었습니다. 발신자가 의사의 추천 편지를 읽고 상담원이 이를 기록하고 예약 도구에 전화하고 약속을 확인합니다. 즉, 대화 중에 언어를 전환합니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

미스트랄이 실제로 배송한 것

Voxtral 3는 단일 모델이 아니라 스택입니다. 음성-텍스트 측면은 Voxtral Small Transcribe 3이 주도합니다. Mistral은 이를 다국어 전사, 화자 분할 및 문맥 바이어스 분야에서 최첨단이라고 설명합니다. 언어 지원은 이제 EU 공식 언어 24개와 회사에서 리소스가 적은 아시아 및 인도 언어를 포함하여 50개 언어를 포함합니다.

세 가지 기능이 특히 강조됩니다. 분할은 다중 스피커 오디오에서 누가 무엇을 말했는지 식별합니다. 컨텍스트 바이어스를 통해 개발자는 주요 용어(제품 이름, 약품 코드, 기술 용어)를 제공할 수 있으므로 전사자는 세부 조정 없이 도메인별 단어를 기억할 수 있습니다. 차례 종료 감지를 통해 상담원은 화자가 실제로 언제 끝났는지 알 수 있으므로 어색한 지연이나 중단 없이 응답할 수 있습니다.

세대 측면에서 Voxtral Mini TTS 3는 35개 이상의 언어와 50개 이상의 방언을 지원하여 대화 상황에 따라 감정, 속도 및 강조를 조정하는 음성을 도입합니다. 별도의 Pro Voice 적응 기능은 단 30분 분량의 참조 오디오에서 언어 전반에 걸쳐 특정 화자의 보컬 특성과 말하기 스타일을 재현합니다. 이는 음성 복제에 가까운 기능이며 동의 측면에서 면밀한 조사를 받을 가능성이 높습니다.

벤치마크 주장 및 가격

발표에 따르면 Voxtral Small Transcribe 3는 OpenAI의 Whisper, Amazon의 Scribe v2, Gemini 3.5 Transcribe on Artificial Analysis의 FLEURS 기반 다국어 전사 및 분할 평가보다 성능이 뛰어나며 강제 및 추론 설정에 대해 단어 오류율이 낮은 한 자릿수로 표시됩니다. 항상 그렇듯이 벤더가 게시한 벤치마크는 독립적인 확인을 받을 가치가 있지만, 이 주장은 Mistral의 필사자가 붐비는 다국어 팩의 선두에 놓이게 합니다.

가격이 공격적입니다. 40억 매개변수 모델인 소형 전사기는 오디오 분당 0.0035달러의 비용이 들기 때문에 일반적인 기업 전사 예산보다 훨씬 저렴하고 대용량 컨택 센터 작업 부하에 적합합니다.

SDK 자체는 결합 조직입니다. 이는 전사, 추론 모델, 비즈니스 시스템에 대한 도구 호출 및 음성 합성이 하나의 스트리밍 세션으로 실행되는 파이프라인을 노출합니다. Mistral의 데모에서 상담원은 예약 시스템을 검색하고, 도구 호출을 실행하여 슬롯을 예약하고, 확인 메시지를 전달합니다. 이 모든 것이 실시간 대화 중에 이루어집니다.

주권이 판매 전략입니다

Mistral은 배포 제어에 크게 기대고 있습니다. Voxtral 3는 현재 Mistral의 EU 호스팅 API를 통해 또는 고객 인프라의 자체 배포를 통해 사용할 수 있으며, 이를 통해 조직은 오디오 처리 위치, 데이터 처리 방법 및 대화 보존 여부를 결정할 수 있습니다.

그 프레이밍은 우연이 아닙니다. 유럽의 병원, 은행 및 공공 기관은 음성 데이터에 대한 엄격한 규칙에 직면해 있으며 미국 하이퍼스케일러의 호스팅 음성 API는 데이터 상주가 필요한 조달 프로세스에서 저항에 직면해 있습니다. "주권 AI"를 중심으로 브랜드를 구축한 Mistral은 Voxtral 3를 유럽 법적 검토를 통과한 음성 스택으로 포지셔닝하고 있습니다.

음성 에이전트가 어려운 이유

발표에서 Mistral은 문제를 분명하게 설명합니다. 신뢰할 수 있는 음성 에이전트는 네 가지 어려운 작업을 동시에 수행해야 한다는 것입니다. 언어, 억양, 화자 및 방해 요소 전반에 걸쳐 정확하게 들어야 합니다. 특정 상황에서 사용자가 의미하는 바를 깊이 추론합니다. 감정과 표정을 가지고 자연스럽게 말하세요. 연결된 시스템의 여러 단계에 걸쳐 조치를 취합니다. 각각은 일부 제품 또는 기타 제품에 의해 개별적으로 해결되었습니다. 실시간 전화 통화를 통해 네 가지 모두를 실시간으로 함께 작업하는 경우는 거의 없습니다.

실패 모드는 자동 회선에 전화한 사람이라면 누구나 익숙합니다. 상담원은 문장이 끝났는지 잘못 판단했기 때문에 발신자에게 말을 걸거나 약물 이름을 정확하게 기록했지만 일정 시스템과의 연결이 부족하여 조치를 취할 수 없습니다. Mistral은 별도의 제품을 함께 연결하는 대신 턴 종료 감지, 컨텍스트 바이어스 및 도구 호출을 하나의 SDK의 일류 부분으로 패키징함으로써 원시 모델 품질만이 아니라 통합 단순성이 음성 AI 파일럿을 배포로 전환하는 것이라고 확신합니다.

혼잡하고 빠르게 변화하는 시장

The Decoder는 출시를 "실시간으로 듣고, 생각하고, 말하는 완전한 음성 에이전트 스택"으로 특징지었고, 이 출시는 몇 시간 내에 380개 이상의 포인트를 수집한 Hacker News에서 즉각적인 관심을 끌었습니다. Voice AI는 모든 주요 연구실에서 음성-음성 모델을 제공하고 그 위에 에이전트 프레임워크를 구축하는 스타트업의 물결로 인해 AI 스택에서 가장 경쟁이 치열한 계층 중 하나가 되었습니다.

적어도 서류상으로는 Voxtral 3를 구별하는 점은 개방형 배포 옵션, 상품 수준의 분당 가격 책정, 이후에 고정되지 않고 음성 루프 내부의 기본 도구 호출 기능의 조합입니다. 벤치마크 리드가 악센트가 있는 음성, 전화선 오디오, 겹치는 스피커와 같은 프로덕션 소음을 견디는지 여부에 따라 컨택 센터 구매자가 실제로 전환할지 여부가 결정됩니다.

Mistral의 이번 출시는 또한 회사가 Timestral 시계열 예측 모델을 출시하고, 물리학용 AI에 대한 CERN과의 파트너십을 심화하고, 수백억 유로에 달하는 것으로 알려진 가치 평가를 추구하는 바쁜 과정을 마무리합니다. 신뢰할 수 있는 음성 스택은 미국 공급자를 통해 모든 것을 라우팅하지 않고도 텍스트, 코드, 음성 등 전체 스택을 원하는 기업 구매자에게 답을 제공합니다.

_이 글은 Mistral AI의 Voxtral 3 공식 발표와 Hacker News의 커뮤니티 토론을 바탕으로 작성되었습니다._

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →