Mistral AI মঙ্গলবার Voxtral 3 ঘোষণা করেছে, স্পিচ মডেলের একটি নতুন পরিবার এবং একটি ভয়েস এজেন্ট SDK যা ফরাসি AI কোম্পানি বলেছে একটি একক রিয়েল-টাইম স্ট্রিমিং পাইপলাইনে শোনা, যুক্তি, টুল কলিং এবং বক্তৃতা সংশ্লেষণকে একত্রিত করে। মিস্ট্রালের অফিসিয়াল ব্লগে প্রকাশিত রিলিজটি যোগাযোগ কেন্দ্র, পরিষেবা ডেস্ক, ভার্চুয়াল সহকারী এবং হ্যান্ডস-ফ্রি কপিলটদের লক্ষ্য করে — ভয়েস এআই মার্কেটের অংশ যেখানে কলকারীরা হ্যাং আপ হয় কিনা তা সরাসরি অনুবাদ করে।

মিস্ট্রালের সাইটে একটি লাইভ ডেমোনস্ট্রেশনের পাশাপাশি ঘোষণাটি অবতরণ করা হয়েছে যেখানে একজন এজেন্টকে ফরাসি ভাষায় একটি কথ্য অনুরোধ পরিচালনা করছে: একজন কলার তার ডাক্তারের কাছ থেকে একটি রেফারেল চিঠি পড়েন, এজেন্ট এটি প্রতিলিপি করে, একটি বুকিং টুলকে কল করে এবং একটি অ্যাপয়েন্টমেন্ট নিশ্চিত করে — কথোপকথনের মাঝামাঝি ভাষার মধ্যে পরিবর্তন। For more context on this story, see our ongoing breaking AI news.

কি মিস্ট্রাল আসলে পাঠানো হয়েছে

Voxtral 3 একটি একক মডেল নয় বরং একটি স্ট্যাক। স্পিচ-টু-টেক্সট সাইডটি ভক্সট্রাল স্মল ট্রান্সক্রাইব 3 দ্বারা পরিচালিত হয়, যা মিস্ট্রাল বহুভাষিক ট্রান্সক্রিপশন, স্পীকার ডায়ারাইজেশন এবং কনটেক্সট বায়াসিং-এ অত্যাধুনিক হিসাবে বর্ণনা করেছেন। ভাষা সমর্থন এখন 50টি ভাষাকে কভার করে, যার মধ্যে সমস্ত 24টি অফিসিয়াল ইইউ ভাষা এবং কোম্পানি যাকে অনেক কম-সম্পদ এশিয়ান এবং ভারতীয় ভাষা বলে।

তিনটি ক্ষমতা বিশেষ গুরুত্ব পায়। মাল্টি-স্পিকার অডিওতে কে কী বলেছে তা ডায়ারাইজেশন শনাক্ত করে। কনটেক্সট বায়াসিং ডেভেলপারদের মূল পদগুলি — পণ্যের নাম, ওষুধের কোড, প্রযুক্তিগত শব্দভাণ্ডার — যাতে ট্রান্সক্রিবার ফাইন-টিউনিং ছাড়াই ডোমেন-নির্দিষ্ট শব্দগুলি স্মরণ করে। এন্ড-অফ-টার্ন ডিটেকশন একজন এজেন্টকে জানতে দেয় যখন একজন স্পিকার আসলে শেষ হয়ে গেছে, তাই এটি বিশ্রী বিলম্ব বা বাধা ছাড়াই প্রতিক্রিয়া জানাতে পারে।

প্রজন্মের দিক থেকে, Voxtral Mini TTS 3 এমন কণ্ঠস্বর প্রবর্তন করে যা কথোপকথনের প্রেক্ষাপটের উপর ভিত্তি করে আবেগ, গতি এবং জোরকে সামঞ্জস্য করে, 35টিরও বেশি ভাষা এবং 50টিরও বেশি উপভাষার সমর্থন সহ। একটি পৃথক প্রো ভয়েস অভিযোজন বৈশিষ্ট্য শুধুমাত্র 30 মিনিটের রেফারেন্স অডিও থেকে একটি নির্দিষ্ট স্পিকারের কণ্ঠস্বর এবং কথা বলার শৈলীকে বিভিন্ন ভাষায় পুনরুত্পাদন করে — এমন একটি ক্ষমতা যা ভয়েস ক্লোনিংয়ের দিকে অগ্রসর হয় এবং সম্ভবত সম্মতির সামনে যাচাই-বাছাই করবে।

বেঞ্চমার্ক দাবি এবং মূল্য নির্ধারণ

ঘোষণা অনুযায়ী, Voxtral Small Transcribe 3 OpenAI এর Whisper, Amazon-এর Scribe v2 এবং Gemini 3.5 কৃত্রিম বিশ্লেষণের FLEURS-ভিত্তিক বহুভাষিক ট্রান্সক্রিপশন এবং ডায়েরাইজেশন মূল্যায়নে ট্রান্সক্রাইব করে, শব্দের ত্রুটির হারগুলি বাধ্যতামূলকভাবে এবং নিম্ন একক সেটিং-এর জন্য উদ্ধৃত করা হয়েছে। বরাবরের মতো, বিক্রেতা-প্রকাশিত বেঞ্চমার্কগুলি স্বাধীন নিশ্চিতকরণের যোগ্য, কিন্তু দাবিটি মিস্ট্রালের ট্রান্সক্রিবারকে একটি ভিড় বহুভাষিক প্যাকের সামনে রাখে।

মূল্য আক্রমনাত্মক. ছোট ট্রান্সক্রিবার, একটি 4-বিলিয়ন-প্যারামিটার মডেল, অডিও প্রতি মিনিটে $0.0035 খরচ করে, এটিকে সাধারণ এন্টারপ্রাইজ ট্রান্সক্রিপশন বাজেটের অধীনে এবং উচ্চ-ভলিউম যোগাযোগ কেন্দ্রের কাজের চাপের নাগালের মধ্যে রাখে।

SDK নিজেই সংযোগকারী টিস্যু: এটি একটি পাইপলাইন প্রকাশ করে যেখানে ট্রান্সক্রিপশন, একটি যুক্তি মডেল, ব্যবসায়িক সিস্টেমে টুল কল করা হয় এবং বক্তৃতা সংশ্লেষণ একটি স্ট্রিমিং সেশন হিসাবে চলে। মিস্ট্রালের ডেমোতে, এজেন্ট একটি বুকিং সিস্টেম পুনরুদ্ধার করে, একটি স্লট রিজার্ভ করার জন্য একটি টুল কল চালায় এবং একটি নিশ্চিতকরণের কথা বলে - সবই একটি লাইভ কথোপকথনের সময়।

সার্বভৌমত্ব হল বিক্রয় পিচ

মিস্ট্রাল স্থাপনা নিয়ন্ত্রণে কঠোরভাবে ঝুঁকছে। Voxtral 3 আজ Mistral-এর EU-হোস্টেড API-এর মাধ্যমে বা গ্রাহক পরিকাঠামোতে স্ব-নিয়োগের জন্য উপলব্ধ, যেখানে অডিও প্রক্রিয়া করা হয়, কীভাবে ডেটা পরিচালনা করা হয় এবং কথোপকথনগুলি আদৌ ধরে রাখা হয় কিনা তা সংস্থাগুলিকে সিদ্ধান্ত নিতে দেয়।

যে ফ্রেমিং কোন দুর্ঘটনা নয়. ইউরোপীয় হাসপাতাল, ব্যাঙ্ক এবং পাবলিক এজেন্সিগুলি ভয়েস ডেটার উপর কঠোর নিয়মের সম্মুখীন হয় এবং ইউএস হাইপারস্কেলারদের হোস্ট করা ভয়েস এপিআইগুলি ডেটা রেসিডেন্সি প্রয়োজন এমন ক্রয় প্রক্রিয়াগুলিতে প্রতিরোধের সম্মুখীন হয়েছে৷ Mistral, যেটি "সার্বভৌম AI" এর আশেপাশে তার ব্র্যান্ড তৈরি করেছে, ভক্সট্রাল 3 কে ভয়েস স্ট্যাক হিসাবে অবস্থান করছে যা ইউরোপীয় আইনি পর্যালোচনা পাস করে।

ভয়েস এজেন্টরা কেন শক্ত থাকে

তার ঘোষণায়, মিস্ট্রাল সমস্যাটি পরিষ্কারভাবে ফ্রেম করেছেন: একটি নির্ভরযোগ্য ভয়েস এজেন্টকে একসাথে চারটি কঠিন কাজ করতে হবে। এটি অবশ্যই ভাষা, উচ্চারণ, স্পিকার এবং বাধা জুড়ে সঠিকভাবে শুনতে হবে; একটি নির্দিষ্ট প্রেক্ষাপটে ব্যবহারকারীর অর্থ কী তা সম্পর্কে গভীরভাবে যুক্তি দেখান; আবেগ এবং অভিব্যক্তি সহ স্বাভাবিকভাবে কথা বলুন; এবং সংযুক্ত সিস্টেমে একাধিক ধাপ জুড়ে পদক্ষেপ নিন। প্রতিটি কিছু পণ্য বা অন্য দ্বারা বিচ্ছিন্নভাবে সমাধান করা হয়েছে. রিয়েল টাইমে, একটি লাইভ ফোন কলে চারজনকে একসাথে কাজ করার জন্য পাওয়া বিরল।

ব্যর্থতার মোডগুলি যে কেউ একটি স্বয়ংক্রিয় লাইনে কল করেছে তাদের কাছে পরিচিত: এজেন্ট কলারের সাথে কথা বলে কারণ এটি বাক্যটি শেষ হয়েছে কিনা তা ভুল ধারণা করে, বা এটি একটি ওষুধের নাম সঠিকভাবে প্রতিলিপি করে কিন্তু এটিতে কাজ করতে পারে না কারণ এটির সময়সূচী সিস্টেমের সাথে সংযোগ নেই৷ প্যাকেজিং এন্ড-অফ-টার্ন ডিটেকশন, কনটেক্সট বায়াসিং, এবং টুল কলিং একটি SDK-এর ফার্স্ট-ক্লাস পার্টস হিসেবে আলাদা প্রোডাক্ট একসাথে স্টিচ করার পরিবর্তে, মিস্ট্রাল বাজি ধরছেন যে ইন্টিগ্রেশন সরলতা — শুধুমাত্র কাঁচা মডেলের গুণমান নয় — যা ভয়েস AI পাইলটদের স্থাপনায় রূপান্তরিত করে৷

একটি ভিড়, দ্রুত-চলমান বাজার

ডিকোডার লঞ্চটিকে একটি "সম্পূর্ণ ভয়েস এজেন্ট স্ট্যাক যা রিয়েল টাইমে শোনে, চিন্তা করে এবং কথা বলে" হিসাবে চিহ্নিত করে এবং রিলিজটি হ্যাকার নিউজের প্রতি অবিলম্বে মনোযোগ আকর্ষণ করে, যেখানে এটি কয়েক ঘন্টার মধ্যে 380 টিরও বেশি পয়েন্ট সংগ্রহ করেছিল। ভয়েস এআই এআই স্ট্যাকের সবচেয়ে প্রতিদ্বন্দ্বিতার একটি স্তরে পরিণত হয়েছে, প্রতিটি বড় ল্যাব শিপিং স্পিচ-টু-স্পিচ মডেল এবং স্টার্টআপস বিল্ডিং এজেন্ট ফ্রেমওয়ার্ক শীর্ষে রয়েছে।

অন্তত কাগজে ভক্সট্রাল 3কে যা আলাদা করে তা হল ওপেন ডিপ্লয়মেন্ট অপশন, কমোডিটি লেভেলে প্রতি মিনিটের মূল্য নির্ধারণ এবং পরে বোল্ট করার পরিবর্তে ভয়েস লুপের ভিতরে নেটিভ টুল-কলিং। বেঞ্চমার্ক লিডগুলি প্রোডাকশনের শব্দে ধরে রাখবে কিনা — উচ্চারিত বক্তৃতা, ফোন-লাইন অডিও, ওভারল্যাপিং স্পিকার — ঠিক করবে যোগাযোগ কেন্দ্র ক্রেতারা আসলেই পরিবর্তন করবে কিনা৷

মিস্ট্রালের জন্য, লঞ্চটি একটি ব্যস্ত প্রসারণকেও বৃত্তাকার করে যা কোম্পানিটিকে টাইমস্ট্রাল টাইম-সিরিজের পূর্বাভাস মডেলগুলি প্রকাশ করতে দেখেছে, পদার্থবিদ্যার জন্য AI-তে CERN-এর সাথে একটি অংশীদারিত্বকে আরও গভীর করেছে, এবং কয়েক বিলিয়ন ইউরোর মূল্যায়নের জন্য রিপোর্ট করা হয়েছে৷ একটি বিশ্বাসযোগ্য ভয়েস স্ট্যাক কোম্পানিকে এন্টারপ্রাইজ ক্রেতাদের জন্য একটি উত্তর দেয় যারা একটি সম্পূর্ণ স্ট্যাক চান — টেক্সট, কোড, এবং এখন স্পিচ — মার্কিন প্রদানকারীর মাধ্যমে সবকিছু রুট না করেই।

_এই নিবন্ধটি Mistral AI-এর অফিসিয়াল Voxtral 3 ঘোষণা এবং হ্যাকার নিউজের উপর সম্প্রদায়ের আলোচনার উপর ভিত্তি করে তৈরি করা হয়েছে।_

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →