मिस्ट्रल एआई ने मंगलवार को वोक्सट्रल 3 की घोषणा की, जो स्पीच मॉडल और वॉयस एजेंट एसडीके का एक नया परिवार है, जिसके बारे में फ्रांसीसी एआई कंपनी का कहना है कि यह एक ही वास्तविक समय स्ट्रीमिंग पाइपलाइन में सुनने, तर्क करने, टूल कॉलिंग और भाषण संश्लेषण को जोड़ती है। मिस्ट्रल के आधिकारिक ब्लॉग पर प्रकाशित रिलीज, संपर्क केंद्रों, सेवा डेस्क, वर्चुअल असिस्टेंट और हैंड्स-फ्री कोपायलट को लक्षित करती है - वॉयस एआई बाजार के वे हिस्से जहां विलंबता और सटीकता सीधे तौर पर यह बताती है कि कॉल करने वालों ने फोन काटा या नहीं।

घोषणा मिस्ट्रल की साइट पर एक लाइव प्रदर्शन के साथ हुई, जिसमें एक एजेंट को फ्रेंच में बोले गए अनुरोध को संभालते हुए दिखाया गया था: एक कॉलर अपने डॉक्टर से एक रेफरल पत्र पढ़ता है, एजेंट इसे ट्रांसक्रिप्ट करता है, एक बुकिंग टूल को कॉल करता है, और एक नियुक्ति की पुष्टि करता है - बातचीत के बीच भाषाओं के बीच स्विच करना। For more context on this story, see our ongoing AI news.

मिस्ट्रल ने वास्तव में क्या भेजा

वॉक्सट्रल 3 एक मॉडल नहीं बल्कि एक स्टैक है। स्पीच-टू-टेक्स्ट पक्ष का नेतृत्व वोक्सट्रल स्मॉल ट्रांसक्राइब 3 द्वारा किया जाता है, जिसे मिस्ट्रल बहुभाषी ट्रांसक्रिप्शन, स्पीकर डायराइजेशन और संदर्भ पूर्वाग्रह में अत्याधुनिक के रूप में वर्णित करता है। भाषा समर्थन अब 50 भाषाओं को कवर करता है, जिसमें सभी 24 आधिकारिक ईयू भाषाएं और कंपनी कई कम संसाधन वाली एशियाई और इंडिक भाषाओं को शामिल करती है।

तीन क्षमताओं पर विशेष जोर दिया जाता है। डायराइज़ेशन से पता चलता है कि मल्टी-स्पीकर ऑडियो में किसने क्या कहा। संदर्भ पूर्वाग्रह डेवलपर्स को प्रमुख शब्द - उत्पाद नाम, दवा कोड, तकनीकी शब्दावली - फ़ीड करने देता है ताकि प्रतिलेखक बिना किसी फ़ाइन-ट्यूनिंग के डोमेन-विशिष्ट शब्दों को याद कर सके। एंड-ऑफ-टर्न डिटेक्शन से एजेंट को पता चलता है कि स्पीकर वास्तव में कब समाप्त हुआ है, ताकि वह बिना किसी देरी या रुकावट के प्रतिक्रिया दे सके।

पीढ़ी के पक्ष में, वोक्सट्रल मिनी टीटीएस 3 35 से अधिक भाषाओं और 50 से अधिक बोलियों के समर्थन के साथ, बातचीत के संदर्भ के आधार पर भावनाओं, गति और जोर को समायोजित करने वाली आवाज़ें पेश करता है। एक अलग प्रो वॉयस अनुकूलन सुविधा केवल 30 मिनट के संदर्भ ऑडियो से विभिन्न भाषाओं में एक विशिष्ट वक्ता के मुखर चरित्र और बोलने की शैली को पुन: पेश करती है - एक ऐसी क्षमता जो वॉयस क्लोनिंग की ओर बढ़ती है और संभवतः सहमति के मोर्चे पर जांच करेगी।

बेंचमार्क दावे और मूल्य निर्धारण

घोषणा के अनुसार, वॉक्सट्रल स्मॉल ट्रांसक्राइब 3 ने ओपनएआई के व्हिस्पर, अमेज़ॅन के स्क्राइब वी2 और जेमिनी 3.5 ट्रांसक्राइब को आर्टिफिशियल एनालिसिस के फ्लेयर्स-आधारित बहुभाषी ट्रांसक्रिप्शन और डायराइजेशन मूल्यांकन पर बेहतर प्रदर्शन किया है, जिसमें फोर्स्ड और अनुमानित सेटिंग्स के लिए कम एकल अंकों में शब्द त्रुटि दर का हवाला दिया गया है। हमेशा की तरह, विक्रेता द्वारा प्रकाशित बेंचमार्क स्वतंत्र पुष्टि के पात्र हैं, लेकिन दावा मिस्ट्रल के प्रतिलेखक को एक भीड़ भरे बहुभाषी पैक के सामने रखता है।

मूल्य निर्धारण आक्रामक है. छोटे ट्रांसक्राइबर, एक 4-बिलियन-पैरामीटर मॉडल, की ऑडियो की लागत $0.0035 प्रति मिनट है, जो इसे सामान्य एंटरप्राइज़ ट्रांसक्रिप्शन बजट के तहत और उच्च-मात्रा संपर्क केंद्र वर्कलोड की पहुंच के भीतर रखता है।

एसडीके स्वयं संयोजी ऊतक है: यह एक पाइपलाइन को उजागर करता है जहां ट्रांसक्रिप्शन, एक तर्क मॉडल, बिजनेस सिस्टम में टूल कॉल और भाषण संश्लेषण एक स्ट्रीमिंग सत्र के रूप में चलता है। मिस्ट्रल के डेमो में, एजेंट एक बुकिंग प्रणाली को पुनः प्राप्त करता है, एक स्लॉट आरक्षित करने के लिए एक टूल कॉल निष्पादित करता है, और एक पुष्टिकरण बोलता है - यह सब एक लाइव बातचीत के दौरान।

संप्रभुता बिक्री की पिच है

मिस्ट्रल तैनाती नियंत्रण पर कड़ा रुख अपना रहा है। वोक्सट्राल 3 आज मिस्ट्रल के ईयू-होस्टेड एपीआई के माध्यम से या ग्राहक बुनियादी ढांचे पर स्व-परिनियोजन के लिए उपलब्ध है, जो संगठनों को यह तय करने देता है कि ऑडियो कहां संसाधित किया जाता है, डेटा कैसे प्रबंधित किया जाता है, और क्या बातचीत बरकरार रखी जाती है।

वह फ़्रेमिंग कोई दुर्घटना नहीं है. यूरोपीय अस्पतालों, बैंकों और सार्वजनिक एजेंसियों को वॉयस डेटा पर सख्त नियमों का सामना करना पड़ता है, और यूएस हाइपरस्केलर्स की होस्ट की गई वॉयस एपीआई को खरीद प्रक्रियाओं में प्रतिरोध का सामना करना पड़ता है जिसके लिए डेटा रेजिडेंसी की आवश्यकता होती है। मिस्ट्रल, जिसने "सॉवरेन एआई" के आसपास अपना ब्रांड बनाया है, वोक्सट्रल 3 को वॉयस स्टैक के रूप में पेश कर रहा है जो यूरोपीय कानूनी समीक्षा पास करता है।

वॉयस एजेंट सख्त क्यों रहते हैं

अपनी घोषणा में, मिस्ट्रल ने समस्या को स्पष्ट रूप से प्रस्तुत किया है: एक विश्वसनीय वॉयस एजेंट को एक साथ चार कठिन काम करने की आवश्यकता होती है। इसे सभी भाषाओं, उच्चारणों, वक्ताओं और रुकावटों को सटीक रूप से सुनना चाहिए; किसी विशिष्ट संदर्भ में उपयोगकर्ता का क्या मतलब है, इसके बारे में गहराई से तर्क करना; भावना और अभिव्यक्ति के साथ स्वाभाविक रूप से बोलें; और कनेक्टेड सिस्टम में कई चरणों में कार्रवाई करें। प्रत्येक को किसी न किसी उत्पाद द्वारा पृथक रूप से हल किया गया है। लाइव फ़ोन कॉल पर, वास्तविक समय में, चारों को एक साथ काम करना दुर्लभ है।

विफलता मोड किसी भी व्यक्ति से परिचित हैं जिसने स्वचालित लाइन पर कॉल किया है: एजेंट कॉल करने वाले से बात करता है क्योंकि यह गलत अनुमान लगाता है कि क्या वाक्य समाप्त हो गया था, या यह दवा का नाम सही ढंग से लिखता है लेकिन उस पर कार्रवाई नहीं कर सकता क्योंकि इसमें शेड्यूलिंग सिस्टम से कनेक्शन का अभाव है। अलग-अलग उत्पादों को एक साथ जोड़ने के बजाय एंड-ऑफ-टर्न डिटेक्शन, संदर्भ पूर्वाग्रह और टूल कॉलिंग को एक एसडीके के प्रथम श्रेणी भागों के रूप में पैकेजिंग करके, मिस्ट्रल यह शर्त लगा रहा है कि एकीकरण सादगी - अकेले कच्चे मॉडल की गुणवत्ता नहीं - जो वॉयस एआई पायलटों को तैनाती में परिवर्तित करती है।

एक भीड़भाड़ वाला, तेजी से बढ़ता बाजार

डिकोडर ने लॉन्च को "पूर्ण वॉयस एजेंट स्टैक जो वास्तविक समय में सुनता है, सोचता है और बात करता है" के रूप में चित्रित किया और रिलीज ने हैकर न्यूज पर तत्काल ध्यान आकर्षित किया, जहां इसने कुछ घंटों के भीतर 380 से अधिक अंक एकत्र किए। वॉइस एआई एआई स्टैक की सबसे विवादित परतों में से एक बन गया है, जिसमें हर प्रमुख लैब शिपिंग स्पीच-टू-स्पीच मॉडल और शीर्ष पर एजेंट फ्रेमवर्क बनाने वाले स्टार्टअप की एक लहर है।

कम से कम कागज़ पर वोक्सट्राल 3 को जो अलग करता है, वह खुले परिनियोजन विकल्प, कमोडिटी स्तर पर प्रति मिनट मूल्य निर्धारण और बाद में बोल्ट किए जाने के बजाय वॉयस लूप के अंदर देशी टूल-कॉलिंग का संयोजन है। क्या बेंचमार्क उत्पादन शोर में पकड़ रखता है - उच्चारण भाषण, फोन-लाइन ऑडियो, ओवरलैपिंग स्पीकर - यह तय करेगा कि संपर्क केंद्र खरीदार वास्तव में स्विच करते हैं या नहीं।

मिस्ट्रल के लिए, लॉन्च एक व्यस्त अवधि को भी पूरा करता है जिसमें कंपनी ने टाइमस्ट्रल टाइम-सीरीज़ पूर्वानुमान मॉडल जारी किए हैं, भौतिकी के लिए एआई पर सीईआरएन के साथ साझेदारी को गहरा किया है, और कथित तौर पर अरबों यूरो में मूल्यांकन किया है। एक विश्वसनीय वॉयस स्टैक कंपनी को उन एंटरप्राइज़ खरीदारों के लिए उत्तर देता है जो एक अमेरिकी प्रदाता के माध्यम से सब कुछ रूट किए बिना एक पूर्ण स्टैक - टेक्स्ट, कोड और अब भाषण - चाहते हैं।

_यह लेख मिस्ट्रल एआई की आधिकारिक वोक्सट्राल 3 घोषणा और हैकर न्यूज़ पर सामुदायिक चर्चा पर आधारित है।_

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →