Mistral AI ने मंगळवारी Voxtral 3 ची घोषणा केली, स्पीच मॉडेल्सचे एक नवीन कुटुंब आणि व्हॉइस एजंट SDK जे फ्रेंच AI कंपनी म्हणते की ऐकणे, तर्क करणे, टूल कॉलिंग आणि उच्चार संश्लेषण एकाच रिअल-टाइम स्ट्रीमिंग पाइपलाइनमध्ये आहे. मिस्ट्रलच्या अधिकृत ब्लॉगवर प्रकाशित केलेले प्रकाशन, संपर्क केंद्रे, सर्व्हिस डेस्क, व्हर्च्युअल असिस्टंट आणि हँड्स-फ्री कॉपायलट यांना लक्ष्य करते — व्हॉईस एआय मार्केटचे भाग जेथे कॉलर हँग अप झाले की नाही हे थेट भाषांतरित करते.

घोषणा मिस्ट्रलच्या साइटवर थेट प्रात्यक्षिकाच्या बाजूने आली ज्यात एजंट फ्रेंचमध्ये बोललेली विनंती हाताळत आहे हे दर्शविते: कॉलर तिच्या डॉक्टरांचे एक रेफरल लेटर वाचतो, एजंट त्याचे प्रतिलेखन करतो, बुकिंग टूलवर कॉल करतो आणि भेटीची पुष्टी करतो — संभाषणाच्या मध्यभागी भाषांमध्ये स्विच करणे. For more context on this story, see our ongoing AI news.

काय मिस्ट्रल प्रत्यक्षात पाठवले

Voxtral 3 हे एकच मॉडेल नसून एक स्टॅक आहे. स्पीच-टू-टेक्स्ट साइडचे नेतृत्व वोक्सट्रल स्मॉल ट्रान्स्क्राइब 3 ने केले आहे, ज्याचे मिस्ट्रल बहुभाषिक लिप्यंतरण, स्पीकर डायरायझेशन आणि संदर्भ बायसिंगमध्ये अत्याधुनिक म्हणून वर्णन करतात. भाषा समर्थन आता सर्व 24 अधिकृत EU भाषांसह 50 भाषांचा समावेश करते आणि ज्याला कंपनी अनेक कमी-स्रोत आशियाई आणि भारतीय भाषा म्हणतात.

तीन क्षमतांवर विशेष भर दिला जातो. डायरायझेशन मल्टी-स्पीकर ऑडिओमध्ये कोण काय बोलले हे ओळखते. संदर्भ बायसिंग डेव्हलपरला मुख्य शब्द - उत्पादनांची नावे, औषध कोड, तांत्रिक शब्दसंग्रह - फीड करू देते, त्यामुळे ट्रान्स्क्रिबर डोमेन-विशिष्ट शब्दांना फाइन-ट्यूनिंगशिवाय आठवतो. एजंटला स्पीकर पूर्ण झाल्यावर कळू देते, त्यामुळे तो विचित्र विलंब किंवा व्यत्यय न घेता प्रतिसाद देऊ शकतो.

पिढीच्या बाजूने, Voxtral Mini TTS 3 35 पेक्षा जास्त भाषा आणि 50 हून अधिक बोलींच्या समर्थनासह, संभाषणात्मक संदर्भावर आधारित भावना, वेग आणि जोर समायोजित करणारे आवाज सादर करते. एक वेगळे प्रो व्हॉईस अनुकूलन वैशिष्ट्य केवळ 30 मिनिटांच्या संदर्भ ऑडिओमधून विशिष्ट स्पीकरचे स्वर वर्ण आणि भाषांमध्ये बोलण्याची शैली पुनरुत्पादित करते - अशी क्षमता जी व्हॉइस क्लोनिंगकडे वळते आणि संमती आघाडीवर छाननी करेल.

बेंचमार्क दावे आणि किंमत

घोषणेनुसार, Voxtral Small Transcribe 3 ने OpenAI च्या Whisper, Amazon च्या Scribe v2, आणि Gemini 3.5 ट्रान्स्क्राइब ऑन आर्टिफिशियल ॲनालिसिसच्या FLEURS-आधारित बहुभाषिक ट्रान्सक्रिप्शन आणि डायराइझेशन मूल्यमापन पेक्षा जास्त कामगिरी केली आहे, ज्यामध्ये शब्द त्रुटी दर कमी एकल आणि कमी एकल सेटिंग्जमध्ये सक्तीने उद्धृत केले आहेत. नेहमीप्रमाणे, विक्रेता-प्रकाशित बेंचमार्क स्वतंत्र पुष्टीकरणास पात्र आहेत, परंतु दाव्यामध्ये मिस्ट्रलच्या ट्रान्सक्रिबरला गर्दीच्या बहुभाषिक पॅकच्या समोर स्थान दिले जाते.

किंमत आक्रमक आहे. लहान ट्रान्स्क्रायबर, 4-अब्ज-पॅरामीटर मॉडेल, ऑडिओसाठी प्रति मिनिट $0.0035 खर्च येतो, ते सामान्य एंटरप्राइझ ट्रान्सक्रिप्शन बजेटमध्ये आणि उच्च-व्हॉल्यूम संपर्क केंद्र वर्कलोडच्या आवाक्यात ठेवते.

SDK स्वतःच संयोजी ऊतक आहे: ते एक पाइपलाइन उघड करते जेथे ट्रान्सक्रिप्शन, तर्कसंगत मॉडेल, व्यवसाय प्रणालींमध्ये टूल कॉल आणि स्पीच सिंथेसिस एक स्ट्रीमिंग सत्र म्हणून चालते. मिस्ट्रलच्या डेमोमध्ये, एजंट बुकिंग सिस्टम पुनर्प्राप्त करतो, स्लॉट आरक्षित करण्यासाठी टूल कॉल कार्यान्वित करतो आणि पुष्टीकरण बोलतो - हे सर्व थेट संभाषणादरम्यान.

सार्वभौमत्व ही विक्रीची खेळपट्टी आहे

मिस्ट्रल तैनात नियंत्रणावर कठोरपणे झुकत आहे. Voxtral 3 आज Mistral च्या EU-होस्ट केलेल्या API द्वारे किंवा ग्राहक पायाभूत सुविधांवर स्वयं-उपयोजनासाठी उपलब्ध आहे, ऑडिओवर कुठे प्रक्रिया केली जाते, डेटा कसा हाताळला जातो आणि संभाषणे अजिबात ठेवली जातात की नाही हे संस्थांना ठरवू देते.

ते फ्रेमिंग अपघाती नाही. युरोपीय रुग्णालये, बँका आणि सार्वजनिक संस्थांना व्हॉईस डेटावर कठोर नियमांचा सामना करावा लागतो आणि यूएस हायपरस्केलर्सच्या होस्ट केलेल्या व्हॉईस API ला डेटा रेसिडेन्सी आवश्यक असलेल्या खरेदी प्रक्रियेत विरोधाचा सामना करावा लागला आहे. Mistral, ज्याने "सार्वभौम AI" च्या आसपास आपला ब्रँड तयार केला आहे, ते व्हॉक्सट्रल 3 ला व्हॉईस स्टॅक म्हणून स्थान देत आहे जे युरोपियन कायदेशीर पुनरावलोकन उत्तीर्ण करते.

व्हॉईस एजंट कठोर का राहतात

त्याच्या घोषणेमध्ये, मिस्ट्रलने समस्या स्पष्टपणे मांडली: विश्वासार्ह व्हॉइस एजंटला एकाच वेळी चार कठीण गोष्टी करणे आवश्यक आहे. हे भाषा, उच्चार, स्पीकर आणि व्यत्ययांमध्ये अचूकपणे ऐकले पाहिजे; विशिष्ट संदर्भात वापरकर्त्याचा अर्थ काय आहे याबद्दल सखोल तर्क करा; भावना आणि अभिव्यक्तीसह नैसर्गिकरित्या बोला; आणि कनेक्ट केलेल्या सिस्टीममध्ये अनेक पायऱ्यांवर कारवाई करा. प्रत्येकाचे निराकरण कोणत्या ना कोणत्या उत्पादनाने केले आहे. लाइव्ह फोन कॉलवर, रिअल टाइममध्ये चौघांनाही एकत्र काम करायला मिळणे दुर्मिळ आहे.

ज्याने ऑटोमेटेड लाइन कॉल केली आहे त्यांना अपयश मोड परिचित आहेत: एजंट कॉलरशी बोलतो कारण त्याने वाक्य पूर्ण झाले आहे की नाही याचा चुकीचा अंदाज लावला आहे किंवा तो एखाद्या औषधाचे नाव योग्यरित्या लिप्यंतर करतो परंतु त्यावर कार्य करू शकत नाही कारण त्याचा शेड्यूलिंग सिस्टमशी कनेक्शन नाही. पॅकेजिंग एंड-ऑफ-टर्न डिटेक्शन, कॉन्टेक्स्ट बायसिंग, आणि टूल कॉलिंग ऐवजी एका SDK चे फर्स्ट क्लास भाग म्हणून वेगळे उत्पादने एकत्र जोडण्याऐवजी, Mistral हे एकीकरण साधेपणावर पैज लावत आहे — एकट्या कच्च्या मॉडेलची गुणवत्ता नाही — व्हॉइस AI पायलटला तैनातीमध्ये रूपांतरित करते.

गर्दीने भरलेली, वेगवान बाजारपेठ

डीकोडरने लाँचचे वैशिष्ट्य "संपूर्ण व्हॉईस एजंट स्टॅक जो ऐकतो, विचार करतो आणि रिअल टाइममध्ये बोलतो" असे केले आणि रिलीझने हॅकर न्यूजवर तात्काळ लक्ष वेधले, जिथे त्याने काही तासांतच 380 पेक्षा जास्त गुण गोळा केले. व्हॉईस AI हा AI स्टॅकच्या सर्वात स्पर्धात्मक स्तरांपैकी एक बनला आहे, ज्यामध्ये प्रत्येक प्रमुख लॅब शिपिंग स्पीच-टू-स्पीच मॉडेल्स आणि शीर्षस्थानी स्टार्टअप्स बिल्डिंग एजंट फ्रेमवर्कची लाट आहे.

Voxtral 3 ला किमान कागदावर वेगळे करता येते ते म्हणजे ओपन डिप्लॉयमेंट पर्याय, कमोडिटी लेव्हलवर प्रति-मिनिट किंमत आणि नंतर बोल्ड न करता व्हॉईस लूपच्या आत नेटिव्ह टूल-कॉलिंग. बेंचमार्क लीड्स प्रोडक्शन नॉइजमध्ये टिकून राहतात की नाही — उच्चारित भाषण, फोन-लाइन ऑडिओ, ओव्हरलॅपिंग स्पीकर — संपर्क केंद्र खरेदीदार खरोखर स्विच करतात की नाही हे ठरवेल.

Mistral साठी, लाँचमध्ये व्यस्त ताण देखील आहे ज्यामध्ये कंपनीने Timestral टाइम-सीरीजचे अंदाज मॉडेल जारी केले आहे, भौतिकशास्त्रासाठी AI वर CERN सोबत भागीदारी अधिक मजबूत केली आहे आणि दहा अब्ज युरोमध्ये मूल्यमापनाचा पाठपुरावा केला आहे. एक विश्वासार्ह व्हॉईस स्टॅक कंपनी एंटरप्राइझ खरेदीदारांसाठी उत्तर देतो ज्यांना संपूर्ण स्टॅक - मजकूर, कोड आणि आता स्पीच - यूएस प्रदात्याद्वारे सर्व काही रूट न करता.

_हा लेख Mistral AI च्या अधिकृत Voxtral 3 घोषणा आणि हॅकर न्यूजवरील समुदाय चर्चेवर आधारित आहे._

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →