Mistral AI روز سه‌شنبه Voxtral 3 را معرفی کرد، خانواده جدیدی از مدل‌های گفتار و یک SDK عامل صوتی که به گفته شرکت فرانسوی هوش مصنوعی، گوش دادن، استدلال، فراخوانی ابزار و ترکیب گفتار را در یک خط لوله پخش هم‌زمان ترکیب می‌کند. این نسخه که در وبلاگ رسمی Mistral منتشر شده است، مراکز تماس، میزهای خدمات، دستیاران مجازی و خلبان‌های هندزفری را هدف قرار می‌دهد – بخش‌هایی از بازار هوش مصنوعی صوتی که در آن تأخیر و دقت مستقیماً به قطع تماس‌گیرندگان ترجمه می‌شود.

این اعلامیه در کنار یک تظاهرات زنده در سایت Mistral قرار گرفت که نشان می‌دهد یک نماینده در حال رسیدگی به درخواست‌های گفتاری به زبان فرانسوی است: تماس‌گیرنده نامه‌ای را از پزشک خود می‌خواند، نماینده آن را رونویسی می‌کند، با یک ابزار رزرو تماس می‌گیرد و قرار ملاقات را تأیید می‌کند — جابجایی بین زبان‌ها در اواسط مکالمه. For more context on this story, see our ongoing breaking AI news.

آنچه که Mistral واقعاً ارسال شد

Voxtral 3 یک مدل واحد نیست بلکه یک پشته است. سمت گفتار به نوشتار توسط Voxtral Small Transcript 3 هدایت می‌شود، که Mistral آن را به‌عنوان پیشرفته‌ترین در رونویسی چندزبانه، دیاریشن گوینده، و سوگیری زمینه توصیف می‌کند. پشتیبانی زبان اکنون 50 زبان را پوشش می‌دهد، از جمله تمامی 24 زبان رسمی اتحادیه اروپا و آنچه که شرکت آن را بسیاری از زبان‌های آسیایی و هندی با منابع کم می‌نامد.

سه قابلیت تاکید خاصی دارند. Diarization مشخص می کند که چه کسی در صدای چند بلندگو چه گفته است. سوگیری زمینه به توسعه‌دهندگان اجازه می‌دهد تا عبارات کلیدی را تغذیه کنند - نام محصول، کد دارو، واژگان فنی - بنابراین رونویس‌کننده کلمات خاص دامنه را بدون تنظیم دقیق به یاد می‌آورد. تشخیص پایان نوبت به نماینده اجازه می‌دهد بفهمد که بلندگو واقعاً چه زمانی تمام شده است، بنابراین می‌تواند بدون تأخیر یا وقفه‌های ناخوشایند پاسخ دهد.

در سمت نسل، Voxtral Mini TTS 3 صداهایی را معرفی می‌کند که احساسات، سرعت و تاکید را بر اساس زمینه مکالمه تنظیم می‌کند و از بیش از 35 زبان و بیش از 50 گویش پشتیبانی می‌کند. یک ویژگی اقتباسی جداگانه Pro Voice، شخصیت آوازی و سبک صحبت کردن یک گوینده خاص را تنها با 30 دقیقه صدای مرجع در زبان‌ها بازتولید می‌کند - قابلیتی که به سمت شبیه‌سازی صدا پیش می‌رود و احتمالاً در جبهه رضایت مورد بررسی قرار می‌گیرد.

ادعاها و قیمت گذاری معیار

بر اساس این اعلامیه، Voxtral Small Transcript 3 بهتر از OpenAI's Whisper، Amazon's Scribe v2، و Gemini 3.5 Transcribe در ارزیابی رونویسی چندزبانه و diarization مبتنی بر FLEURS بر مبنای FLEURS، با نرخ خطای کلمه در تنظیمات تک رقمی پایین ذکر شده است. مثل همیشه، معیارهای منتشر شده توسط فروشنده مستحق تایید مستقل هستند، اما این ادعا، رونویس کننده Mistral را در جلوی یک بسته چندزبانه شلوغ قرار می دهد.

قیمت گذاری تهاجمی است. رونویسی کوچکتر، مدلی با 4 میلیارد پارامتر، 0.0035 دلار در هر دقیقه صدا هزینه دارد، که آن را به خوبی تحت بودجه رونویسی معمولی سازمانی قرار می دهد و در دسترس حجم کاری مرکز تماس با حجم بالا قرار می گیرد.

SDK خود بافت همبند است: خط لوله‌ای را نشان می‌دهد که رونویسی، مدل استدلال، فراخوانی ابزار به سیستم‌های تجاری و سنتز گفتار به عنوان یک جلسه جریان اجرا می‌شود. در نسخه ی نمایشی Mistral، نماینده یک سیستم رزرو را بازیابی می کند، یک تماس ابزار را برای رزرو یک اسلات اجرا می کند و یک تایید را بیان می کند - همه در طول یک مکالمه زنده.

حاکمیت پیش فروش است

میسترال به شدت به کنترل استقرار متکی است. Voxtral 3 امروزه از طریق API میزبانی شده توسط Mistral در اتحادیه اروپا یا برای استقرار خود در زیرساخت مشتری در دسترس است و به سازمان‌ها اجازه می‌دهد تصمیم بگیرند که کجا صدا پردازش می‌شود، چگونه داده‌ها مدیریت می‌شوند و آیا اصلاً مکالمات حفظ می‌شوند یا خیر.

این قاب بندی تصادفی نیست. بیمارستان‌ها، بانک‌ها و آژانس‌های دولتی اروپایی با قوانین سخت‌گیرانه‌ای در مورد داده‌های صوتی مواجه هستند و APIهای صوتی میزبانی شده توسط hyperscalers ایالات متحده در فرآیندهای تدارکاتی که نیاز به اقامت داده دارند با مقاومت مواجه شده‌اند. Mistral که نام تجاری خود را بر اساس "هوش مصنوعی مستقل" ساخته است، Voxtral 3 را به عنوان پشته صوتی قرار می دهد که بررسی قانونی اروپا را پشت سر می گذارد.

چرا عوامل صدا سخت می مانند

Mistral در اعلامیه خود مشکل را به وضوح بیان می کند: یک عامل صوتی قابل اعتماد باید چهار کار دشوار را به طور همزمان انجام دهد. باید با دقت به زبان‌ها، لهجه‌ها، سخنرانان و وقفه‌ها گوش دهد. به طور عمیق در مورد معنای یک کاربر در یک زمینه خاص استدلال کنید. طبیعی با احساسات و بیان صحبت کنید. و در چند مرحله در سیستم های متصل اقدام کنید. هر کدام به تنهایی توسط برخی از محصولات یا محصولات دیگر حل شده است. کار کردن هر چهار نفر با هم، در زمان واقعی، در یک تماس تلفنی، نادر است.

حالت‌های خرابی برای هر کسی که با خط خودکار تماس گرفته است آشنا است: نماینده با تماس‌گیرنده صحبت می‌کند زیرا قضاوت اشتباهی در مورد تمام شدن جمله دارد یا نام دارو را به درستی رونویسی می‌کند اما نمی‌تواند روی آن عمل کند زیرا ارتباطی با سیستم زمان‌بندی ندارد. Mistral با بسته‌بندی تشخیص پایان نوبت، بایاس کردن زمینه و فراخوانی ابزار به‌عنوان بخش‌های درجه یک یک SDK به‌جای محصولات مجزا برای به هم پیوستن، شرط می‌بندد که سادگی یکپارچه‌سازی - نه کیفیت مدل خام به تنهایی - چیزی است که خلبان‌های هوش مصنوعی صوتی را به استقرار تبدیل می‌کند.

بازار شلوغ و سریع

Decoder راه اندازی را به عنوان یک "پشته عامل صوتی کامل که در زمان واقعی گوش می دهد، فکر می کند و صحبت می کند" توصیف کرد و انتشار بلافاصله توجه فوری را در Hacker News جلب کرد، جایی که بیش از 380 امتیاز را در عرض چند ساعت جمع آوری کرد. هوش مصنوعی صوتی به یکی از چالش برانگیزترین لایه‌های پشته هوش مصنوعی تبدیل شده است، با هر آزمایشگاه بزرگ مدل‌های گفتار به گفتار و موجی از استارت‌آپ‌ها که چارچوب‌های عامل ایجاد می‌کنند.

چیزی که Voxtral 3 را حداقل روی کاغذ متمایز می کند، ترکیبی از گزینه های استقرار باز، قیمت گذاری در دقیقه در سطوح کالا، و فراخوانی ابزار بومی در داخل حلقه صوتی به جای پیچ و مهره پس از آن است. اینکه آیا سرنخ‌های معیار در نویز تولید باقی می‌مانند - گفتار برجسته، صدای خط تلفن، بلندگوهای همپوشانی - تصمیم می‌گیرد که آیا خریداران مرکز تماس واقعاً تغییر می‌کنند یا خیر.

برای Mistral، این راه‌اندازی همچنین دوره شلوغی را تکمیل می‌کند که باعث شده این شرکت مدل‌های پیش‌بینی سری‌های زمانی Timestral را منتشر کند، همکاری با CERN در زمینه هوش مصنوعی برای فیزیک را عمیق‌تر کند، و طبق گزارش‌ها، ارزش‌گذاری ده‌ها میلیارد یورو را دنبال کند. یک پشته صوتی معتبر به این شرکت پاسخی برای خریداران سازمانی می دهد که می خواهند یک پشته کامل - متن، کد و اکنون گفتار - بدون مسیریابی همه چیز از طریق یک ارائه دهنده آمریکایی داشته باشند.

_این مقاله بر اساس اعلامیه رسمی Mistral AI Voxtral 3 و بحث اجتماعی در Hacker News است.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →