Index-Translate؛ مدل ترجمه متن‌باز ۱۵۰ زبانه بیلیبیلی و کاربردش برای ترجمه فارسی

بیشتر کسانی که با ترجمه ماشینی کار می‌کنند یا سراغ ابزارهای بسته مثل Google Translate و DeepL می‌روند یا از چت‌بات‌های عمومی کمک می‌گیرند. حالا یک گزینه تازه و متن‌باز وارد بازی شده: Index-Translate، خانواده مدل‌های ترجمه‌ای که تیم Index LLM شرکت چینی بیلیبیلی (Bilibili) منتشر کرده است.

Index-Translate در یک نگاه#

اعضای خانواده#

Index-Translate فقط یک مدل نیست:

• Index-Translate-2B و 9B: مدل‌های متراکم برای ترجمه متن. نسخه 2B برای ترجمه با محدودیت‌های صریح روی اصطلاحات، سبک و قالب خروجی ساخته شده است.
• Echo (2B و 9B): ترجمه گفتار به متن و گفتار به گفتار.
• Homura (2B و 9B): دوبله با کنترل تعداد هجا؛ یعنی ترجمه‌ای که با طول دیالوگ اصلی هماهنگ باشد.
• NativeLong (2B و 9B): ترجمه کل سند بدون شکستن متن به تکه‌های جدا.

کیفیت ترجمه#

طبق کارت مدل، نسخه preview در معیار COMET-22 روی مجموعه آزمون FLORES امتیاز ۰٫۸۷۹۴ گرفته و نرخ «ترجمه به زبان اشتباه» (off-target) آن روی زبان‌های کم‌منبع ۲٫۴٪ گزارش شده که کمترین مقدار در مجموعه مقایسه بوده است. این دومی برای زبان‌هایی مثل فارسی مهم است؛ چون مدل‌های عمومی گاهی وسط ترجمه به عربی یا انگلیسی می‌لغزند.

این اعداد توسط خود سازنده گزارش شده‌اند. برای کار جدی، مدل را روی متن‌های واقعی خودت امتحان کن.

کاربردها برای فارسی‌زبان‌ها#

1. ترجمه حجیم محتوا: فروشگاه‌ها و سایت‌هایی که هزاران توضیح محصول یا مقاله دارند، می‌توانند پیش‌نویس ترجمه را خودکار بسازند.
2. زیرنویس و دوبله: با Echo و Homura، ترجمه گفتار و ساخت دیالوگ هماهنگ با طول جمله اصلی ممکن می‌شود.
3. ترجمه اسناد طولانی: NativeLong کل سند را یک‌جا ترجمه می‌کند تا اصطلاحات در سراسر متن یکدست بمانند.
4. اجرای خصوصی: چون متن‌باز است، می‌توانی آن را روی سرور خودت اجرا کنی و متن‌های حساس را به هیچ سرویس خارجی نفرستی.

محدودیت‌ها#

• نسخه اصلی هنوز preview است.
• کیفیت در زبان‌های مختلف یکسان نیست و گزارش مستقلی درباره عملکرد دقیق آن روی فارسی منتشر نشده است.
• برای متن‌های ادبی، حقوقی و تبلیغاتی، بازبینی انسانی ضروری است.

اگر ترجیح می‌دهی بدون نصب از دستیارهای آماده استفاده کنی، مقاله توکن و کانتکست به زبان ساده توضیح می‌دهد چرا متن فارسی در چت‌بات‌ها سهمیه بیشتری مصرف می‌کند. برای فهرست مدل‌هایی که روی کامپیوتر خودت اجرا می‌شوند، راهنمای مدل‌های محلی ۲۰۲۶ را ببین.

اجرای Index-Translate روی کامپیوتر خودت#

سه مسیر برای استفاده، از ساده به پیشرفته:

• API عمومی رایگان: برای امتحان سریع و حجم کم، بدون نصب هیچ چیز. فقط یادت باشد متن به سرور سازنده فرستاده می‌شود؛ برای متن محرمانه مناسب نیست.
• نسخه‌های 2B و 9B روی کامپیوتر شخصی: نسخه 2B روی بیشتر لپ‌تاپ‌های امروزی با رم کافی اجرا می‌شود و نسخه 9B به یک کارت گرافیک میان‌رده نیاز دارد. ابزارهایی مثل llama.cpp و Ollama این کار را ساده کرده‌اند.
• مدل اصلی 35B-A3B روی سرور: چون فقط ۳ میلیارد پارامتر در هر لحظه فعال است، با وجود ۳۵ میلیارد پارامتر کل، سرعت خوبی دارد؛ ولی برای بارگذاری کامل به حافظه زیاد نیاز دارد.

یک روش عملی برای ترجمه فارسی: پیش‌نویس را با Index-Translate بساز، یک واژه‌نامه از اصطلاحات کلیدی کارت به مدل بده (نسخه 2B برای همین محدودیت‌ها ساخته شده) و در آخر، متن را یک فارسی‌زبان ویرایش کند. برای مقایسه با مدل‌های محلی دیگر، راهنمای هوش مصنوعی روی کامپیوتر خودت و برای ترجمه گفتار، مدل‌های صوتی مایکروسافت را ببین.

جمع‌بندی#

Index-Translate یکی از کامل‌ترین خانواده‌های ترجمه متن‌باز است: ۱۵۰ زبان، مجوز آزاد، API رایگان و نسخه‌های تخصصی برای گفتار، دوبله و سند. برای مترجم‌ها، استودیوهای زیرنویس و سایت‌های چندزبانه ارزش امتحان کردن را دارد.

منابع#

• Hugging Face: IndexTeam model cards
• AI Weekly: Bilibili open-sources Index-Translate 35B MoE for 150 languages
• Gradually AI: Index-Translate-35B-A3B Preview