ایجنت‌های صوتی با MAI-Voice-2.1 و MAI-Transcribe-2؛ مدل‌های گفتار تازه مایکروسافت

ساخت دستیار صوتی‌ای که مثل آدم وسط حرفت بفهمد چه می‌گویی، به دو چیز نیاز دارد: تشخیص گفتار لحظه‌ای و صدای طبیعی. مایکروسافت با دو مدل تازه دقیقاً همین دو تکه را هدف گرفته است.

✍️ تیم کاردارو📅 ۲۲ مهر ۱۴۰۵🔄 به‌روزرسانی ۳ آبان ۱۴۰۵⏱️ ۳ دقیقه مطالعه

کاور مقاله ایجنت‌های صوتی با MAI-Voice-2.1 و MAI-Transcribe-2؛ مدل‌های گفتار تازه مایکروسافت در وبلاگ کاردارو

فهرست مطالب

سه مدل تازه
تشخیص گفتار «جریانی» یعنی چه؟
MAI-Voice-2.1: صدایی که در متن طولانی خسته نمی‌شود
قیمت‌ها
چه چیزهایی با این مدل‌ها می‌شود ساخت؟
یک نکته برای فارسی‌زبان‌ها
مقایسه با نسل قبل
یک ایجنت صوتی ساده چطور ساخته می‌شود؟
جمع‌بندی
منابع

دستیارهای صوتی قدیمی یک مشکل آزاردهنده داشتند: باید صبر می‌کردی تا جمله‌ات تمام شود، بعد چند ثانیه سکوت، و تازه جواب می‌آمد. ایجنت‌های صوتی نسل جدید این فاصله را از بین می‌برند و مایکروسافت در ۹ مهر ۱۴۰۵ دو قطعه کلیدی این پازل را منتشر کرد.

سه مدل تازه#

مدل	کار	ویژگی کلیدی
MAI-Transcribe-2-Streaming	تبدیل گفتار به متن لحظه‌ای	۶۰ زبان، تشخیص خودکار زبان، شروع خروجی حدود ۱۰۰ میلی‌ثانیه بعد از شنیدن
MAI-Voice-2.1	تبدیل متن به گفتار	۲۳ زبان، صدای استودیویی و بیان طبیعی
MAI-Voice-2.1-Flash	تبدیل متن به گفتار سریع	تأخیر حدود ۱۵۰ میلی‌ثانیه

تشخیص گفتار «جریانی» یعنی چه؟#

مدل‌های معمولی صبر می‌کنند جمله تمام شود و بعد آن را به متن تبدیل می‌کنند. MAI-Transcribe-2-Streaming:

حدود ۱۰۰ میلی‌ثانیه بعد از شنیدن صدا، حدس‌های اولیه را تولید می‌کند؛
با رسیدن کانتکست بیشتر، آن حدس‌ها را اصلاح می‌کند؛
و متن پایدار را سریع قطعی می‌کند.

نتیجه: ایجنت می‌تواند قبل از تمام شدن حرف تو شروع به فکر کردن یا صدا زدن ابزار کند، و زیرنویس زنده همزمان با گفتار روی صفحه بیاید. تشخیص زبان هم پیوسته است؛ یعنی اگر وسط مکالمه از یک زبان به زبان دیگر بروی، مدل دنبالت می‌آید.

MAI-Voice-2.1: صدایی که در متن طولانی خسته نمی‌شود#

مایکروسافت روی سه چیز تأکید کرده است:

آهنگ و لحن دقیق (Prosody)
بیان احساسی ظریف
ثبات صدای گوینده در محتوای طولانی؛ یعنی صدای راوی در دقیقه سی‌ام همان صدای دقیقه اول است.

قیمت‌ها#

MAI-Transcribe-2-Streaming: حدود ۰٫۵۴ دلار برای هر ساعت صدا (قیمت مقدماتی تا پایان ۲۰۲۶)
MAI-Voice-2.1: حدود ۲۲ دلار برای هر یک میلیون کاراکتر
MAI-Voice-2.1-Flash: حدود ۱۵ دلار برای هر یک میلیون کاراکتر

چه چیزهایی با این مدل‌ها می‌شود ساخت؟#

مرکز تماس هوشمند که وسط حرف مشتری متوجه مشکل می‌شود.
زیرنویس زنده برای جلسه‌ها، کلاس‌ها و پخش زنده.
کتاب صوتی و پادکست با یک صدای ثابت و طبیعی.
دستیار صوتی چندزبانه برای اپ‌ها و فروشگاه‌ها.

یک نکته برای فارسی‌زبان‌ها#

مایکروسافت در اطلاعیه‌ها فهرست کامل زبان‌ها را به‌صورت برجسته اعلام نکرده و ما نتوانستیم به‌طور قطعی تأیید کنیم که فارسی در فهرست ۲۳ زبان تولید صدا هست یا نه. قبل از برنامه‌ریزی برای پروژه فارسی، فهرست زبان‌های پشتیبانی‌شده را در مستندات Azure بررسی کن.

مقایسه با نسل قبل#

مایکروسافت در فروردین ۱۴۰۵ نسل اول این خانواده (MAI-Voice-1 و MAI-Transcribe-1 با ۲۵ زبان) را معرفی کرده بود. نسل جدید با ۶۰ زبان و حالت جریانی عملاً برای کار تعاملی و ایجنت‌های صوتی ساخته شده است.

یک ایجنت صوتی ساده چطور ساخته می‌شود؟#

برای اینکه تصویر روشن‌تری داشته باشی، اجزای یک ایجنت صوتی مثل پشتیبانی تلفنی یک فروشگاه این‌هاست:

شنیدن: صدای مشتری لحظه‌به‌لحظه با MAI-Transcribe-2-Streaming به متن تبدیل می‌شود.
فهمیدن و تصمیم: متن به یک مدل زبانی داده می‌شود که منظور مشتری را می‌فهمد و در صورت نیاز ابزاری مثل «پیگیری سفارش» را صدا می‌زند. برای تصمیم‌های ساده و سریع می‌توان از مدل‌های تصمیم‌گیر هم کمک گرفت.
جواب دادن: پاسخ با MAI-Voice-2.1-Flash به صدا تبدیل و پخش می‌شود.

کل این زنجیره باید زیر حدود یک ثانیه بماند تا مکالمه طبیعی حس شود؛ برای همین هر میلی‌ثانیه در مرحله شنیدن و گفتن مهم است. اگر می‌خواهی این ایده را بدون کدنویسی امتحان کنی، حالت صوتی دستیارهایی مثل ChatGPT Plus نمونه آماده همین تجربه است.

جمع‌بندی#

اگر در حال ساخت دستیار صوتی، ربات تماس یا سیستم زیرنویس هستی، MAI-Transcribe-2-Streaming و MAI-Voice-2.1 دو قطعه آماده برای «گفتگوی بدون مکث» هستند. برای دیدن نسخه تصویری این ایده، مقاله Tavus Griffin و آزمون تورینگ ویدیویی را بخوان.