Mistral AI ilitangaza Voxtral 3 Jumanne, familia mpya ya miundo ya usemi na wakala wa sauti SDK ambayo kampuni ya AI ya Ufaransa inasema inachanganya usikilizaji, hoja, upigaji simu wa zana, na usanisi wa usemi katika bomba moja la utiririshaji wa wakati halisi. Toleo hili, lililochapishwa kwenye blogu rasmi ya Mistral, linalenga vituo vya mawasiliano, madawati ya huduma, wasaidizi pepe, na marubani wasiotumia mikono - sehemu za soko la sauti la AI ambapo muda na usahihi hutafsiri moja kwa moja kuwa wapiga simu hukata simu.
Tangazo lilitua pamoja na onyesho la moja kwa moja kwenye tovuti ya Mistral linaloonyesha wakala anayeshughulikia ombi lililotamkwa kwa Kifaransa: mpiga simu anasoma barua ya rufaa kutoka kwa daktari wake, wakala anaiandika, anaita kifaa cha kuweka nafasi, na anathibitisha miadi - kubadilisha kati ya lugha katikati ya mazungumzo. For more context on this story, see our ongoing AI trends.
Nini Mistral Kweli Ilisafirishwa
Voxtral 3 sio mfano mmoja lakini safu. Upande wa hotuba-hadi-maandishi unaongozwa na Voxtral Small Transcribe 3, ambayo Mistral anaielezea kama ya hali ya juu katika unukuzi wa lugha nyingi, uwekaji sauti wa mzungumzaji, na upendeleo wa muktadha. Usaidizi wa lugha sasa unashughulikia lugha 50, ikiwa ni pamoja na lugha zote 24 rasmi za Umoja wa Ulaya na kile ambacho kampuni inaita lugha nyingi za rasilimali za chini za Asia na Indic.
Uwezo tatu hupata msisitizo maalum. Diarization hutambua nani alisema nini katika sauti ya spika nyingi. Upendeleo wa muktadha huruhusu wasanidi programu kulisha maneno muhimu - majina ya bidhaa, misimbo ya dawa, msamiati wa kiufundi - kwa hivyo mwandishi anakumbuka maneno mahususi ya kikoa bila kurekebisha vizuri. Ugunduzi wa mwisho wa zamu huruhusu wakala kujua wakati spika imemaliza, kwa hivyo inaweza kujibu bila ucheleweshaji au kukatizwa kwa shida.
Kwa upande wa kizazi, Voxtral Mini TTS 3 inatanguliza sauti zinazorekebisha hisia, kasi, na msisitizo kulingana na muktadha wa mazungumzo, kwa usaidizi wa zaidi ya lugha 35 na lahaja zaidi ya 50. Kipengele tofauti cha urekebishaji cha Pro Voice huzalisha mhusika mahususi wa sauti na mtindo wa kuzungumza katika lugha zote kutoka kwa dakika 30 tu za sauti ya marejeleo - uwezo unaoelekea kwenye uundaji wa sauti na kuna uwezekano utakagua sehemu ya mbele ya idhini.
Benchmark Madai na Bei
Kulingana na tangazo hilo, Voxtral Small Transcribe 3 inashinda Whisper ya OpenAI, Amazon's Scribe v2, na Gemini 3.5 Transcribe on Artificial Analysis' FLEURS-msingi wa unukuzi na tathmini za uwekaji sauti, huku viwango vya makosa ya maneno vilivyotajwa katika tarakimu moja ya chini kwa mipangilio ya kulazimishwa na inferred. Kama kawaida, vigezo vilivyochapishwa na muuzaji vinastahili uthibitisho huru, lakini madai hayo yanamweka mwandishi wa Mistral mbele ya pakiti iliyosongamana ya lugha nyingi.
Bei ni fujo. Kinakili mdogo, kielelezo cha kigezo cha bilioni 4, kinagharimu $0.0035 kwa kila dakika ya sauti, na kuiweka vizuri chini ya bajeti za kawaida za unukuzi wa biashara na kufikiwa na mizigo ya kazi ya kituo cha mawasiliano cha juu.
SDK yenyewe ni kiunganishi: inafichua njia ambapo unakili, muundo wa hoja, simu za zana kwenye mifumo ya biashara, na usanisi wa usemi huendeshwa kama kipindi kimoja cha utiririshaji. Katika onyesho la Mistral, wakala hurejesha mfumo wa kuweka nafasi, hutekeleza simu ya zana ili kuhifadhi nafasi, na kusema uthibitisho - yote hayo wakati wa mazungumzo ya moja kwa moja.
Ukuu Ni Njia ya Uuzaji
Mistral inaegemea sana udhibiti wa upelekaji. Voxtral 3 inapatikana leo kupitia API iliyopangishwa na Mistral ya EU au kwa kujituma kwenye miundombinu ya wateja, kuruhusu mashirika kuamua ni wapi sauti inachakatwa, jinsi data inavyoshughulikiwa, na ikiwa mazungumzo yatahifadhiwa hata kidogo.
Utungaji huo sio bahati mbaya. Hospitali za Ulaya, benki, na mashirika ya umma yanakabiliwa na sheria kali kuhusu data ya sauti, na API za sauti zinazopangishwa na wataalamu wa Marekani wamekabiliwa na upinzani katika michakato ya ununuzi inayohitaji ukaaji wa data. Mistral, ambayo imeunda chapa yake karibu na "AI huru," inaweka Voxtral 3 kama safu ya sauti inayopitisha ukaguzi wa kisheria wa Uropa.
Kwanini Mawakala wa Sauti Wanakaa Ngumu
Katika tangazo lake, Mistral huweka tatizo kwa uwazi: wakala wa sauti anayetegemeka anahitaji kufanya mambo manne magumu kwa wakati mmoja. Lazima isikilize kwa usahihi kati ya lugha, lafudhi, wazungumzaji na kukatizwa; sababu kwa kina juu ya kile mtumiaji anamaanisha katika muktadha maalum; zungumza kwa kawaida kwa hisia na kujieleza; na kuchukua hatua katika hatua nyingi katika mifumo iliyounganishwa. Kila moja imetatuliwa kwa kutengwa na bidhaa fulani au nyingine. Kuwafanya wote wanne kufanya kazi pamoja, kwa wakati halisi, kwenye simu ya moja kwa moja, bado ni nadra.
Njia za kutofaulu zinajulikana kwa mtu yeyote ambaye ameita laini ya kiotomatiki: wakala huzungumza juu ya mpigaji simu kwa sababu alifikiria vibaya ikiwa sentensi ilikamilika, au inanukuu jina la dawa kwa usahihi lakini haiwezi kuifanyia kazi kwa sababu haina muunganisho wa mfumo wa kuratibu. Kwa kufunga ugunduzi wa mwisho wa zamu, upendeleo wa muktadha, na kupiga simu kwa zana kama sehemu za daraja la kwanza za SDK moja badala ya kutenganisha bidhaa ili kuunganisha pamoja, Mistral inaweka dau kuwa usahili wa ujumuishaji - sio ubora wa muundo mbichi pekee - ndio unaobadilisha marubani wa sauti wa AI kuwa usambazaji.
Soko Lililojaa watu, Linalosonga Haraka
Dekoda iliangazia uzinduzi kama "sauti kamili ya wakala anayesikiliza, kufikiria na kuzungumza kwa wakati halisi," na toleo hilo lilivuta hisia za haraka kwenye Habari za Hacker, ambapo ilikusanya zaidi ya pointi 380 ndani ya saa moja. Sauti AI imekuwa mojawapo ya safu zinazoshindaniwa zaidi za rafu ya AI, ikiwa na kila miundo kuu ya usafirishaji ya hotuba hadi hotuba na wimbi la miundo ya mawakala wa ujenzi juu.
Kinachotofautisha Voxtral 3, angalau kwenye karatasi, ni mchanganyiko wa chaguo wazi za utumaji, bei ya kila dakika katika viwango vya bidhaa, na upigaji simu wa asili wa zana ndani ya kitanzi cha sauti badala ya kuunganishwa baadaye. Ikiwa kigezo kinaongoza kushikilia kelele ya uzalishaji - usemi wa lafudhi, sauti ya laini ya simu, spika zinazopishana - zitaamua ikiwa wanunuzi wa kituo cha mawasiliano watabadilika.
Kwa Mistral, uzinduzi huo pia unajumuisha kipindi chenye shughuli nyingi ambacho kimeshuhudia kampuni ikitoa mifano ya utabiri wa mfululizo wa saa wa Timestral, kuimarisha ushirikiano na CERN kwenye AI kwa ajili ya fizikia, na kufuatilia hesabu inayoripotiwa kuwa makumi ya mabilioni ya euro. Mkusanyiko wa sauti unaoaminika huipa kampuni jibu kwa wanunuzi wa biashara wanaotaka rafu kamili - maandishi, msimbo na hotuba ya sasa - bila kuelekeza kila kitu kupitia mtoa huduma wa Marekani.
_Makala haya yanatokana na tangazo rasmi la Mistral AI la Voxtral 3 na majadiliano ya jumuiya kuhusu Habari za Hacker._
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
