بهترین مدل زبانی بزرگ برای ترجمه در سال ۲۰۲۶: آنچه جدیدترین بنچمارک‌ها نشان می‌دهند
هیچ مدل زبانی بزرگ جهانی و بهترین برای ترجمه وجود ندارد. ببینید WMT25، WMT24++ و TOWER+ چه چیزی را نشان می‌دهند، سپس از یک آزمون تکرارپذیر برای جفت‌زبان و محتوای خود استفاده کنید.
پاسخ کوتاه: هیچ مدل زبانی بزرگ جهانی و بهترین وجود ندارد
بهترین مدل زبانی بزرگ برای ترجمه به جفت‌زبان، حوزه، طول سند، قواعد اصطلاح‌شناسی و اینکه چه چیزی خطای غیرقابل‌قبول تلقی می‌شود بستگی دارد. بنچمارک‌های معتبر اخیر نشان می‌دهند که مدل‌های زبانی بزرگ سیستم‌های ترجمه قدرتمندی هستند، اما از یک برنده جهانی و دائمی حمایت نمی‌کنند.
قابل‌دفاع‌ترین نتیجه‌گیری سال ۲۰۲۶ این است:
- مدل‌های عمومی و تخصصی ترجمه فعلی را در فهرست کوتاه قرار دهید.
- دقیقاً همان جهت زبانی و نوع محتوایی را که نیاز دارید آزمایش کنید.
- پیش از امتیازدهی به روانی، حذف‌ها، ابداعات، اعداد تغییر‌یافته و خطاهای اصطلاح‌شناسی را رد کنید.
- برای کارهای مهم از مقایسه انسانی واجد شرایط استفاده کنید.
- مدل را درون گردش‌کار واقعی فایل آزمایش کنید، نه فقط در یک جعبه چت.
این مقاله جدول رتبه‌بندی مدل BookTranslator را ارائه نمی‌دهد. ما پیکره داخلی منتشرشده و تکرارپذیری نداریم که نام‌بردن از یک برنده جهانی را توجیه کند. در عوض، توضیح می‌دهد که جدیدترین بنچمارک‌های عمومی چه چیزی را اثبات می‌کنند، چه چیزی را اثبات نمی‌کنند، و چگونه می‌توان یک ارزیابی مخصوص پروژه انجام داد.
آنچه جدیدترین بنچمارک‌های ترجمه واقعاً نشان می‌دهند
| بنچمارک | دامنه | قوی‌ترین یافته مفید | محدودیت مهم |
|---|---|---|---|
| ترجمه ماشینی عمومی WMT25 | ۳۰ جفت‌زبان؛ ۶۰ سیستم؛ ارزیابی انسانی حرفه‌ای برای ۱۵ جفت در چندین حوزه | مجموعه‌های آزمون دشوارتر در سطح سند، تفاوت‌های پنهان‌مانده توسط آزمون‌های ساده جمله‌ای را آشکار می‌کنند | نتایج بر اساس جفت‌زبان، حوزه و سیستم متفاوت است؛ هیچ مدل واحدی در همه شرایط برنده نمی‌شود |
| WMT24++ | ۵۵ زبان و گویش؛ حوزه‌های ادبی، خبری، اجتماعی و گفتاری | مدل‌های زبانی بزرگ ارزیابی‌شده در هر ۵۵ زبان بر اساس معیارهای خودکار انتخاب‌شده، از ارائه‌دهندگان ترجمه ماشینی آزمایش‌شده پیشی گرفتند | نویسندگان صریحاً هشدار می‌دهند که امتیازهای خودکار به تأیید انسانی نیاز دارند |
| TOWER+ | ترجمه WMT24++ به‌همراه ارزیابی‌های عمومی و پیروی از دستور | آموزش تخصصی پس از آموزش برای ترجمه می‌تواند با سیستم‌های اختصاصی قدرتمند برابری کند و در عین حال پیروی از دستور را بهبود بخشد | این مقاله نسخه‌های خاصی از مدل‌ها و مجموعه‌های زبانی پشتیبانی‌شده را ارزیابی می‌کند، نه همه مدل‌های API فعلی را |
| وظیفه مشترک معیارهای WMT24 | داده‌های MQM انسانی و ارزیابی معیارها برای انگلیسی–اسپانیایی، ژاپنی–چینی و انگلیسی–آلمانی | معیارهای عصبی تنظیم‌شده همچنان برای ارزیابی ترجمه LLM مفید هستند | معیارهای خودکار ابزارهای ارزیابی هستند، نه جایگزینی برای بازبینی زبان مقصد |
روند بنچمارک این نیست که «LLMهای عمومی جایگزین سیستم‌های ترجمه شدند». بلکه این است که مرز میان آن‌ها کمتر مفید می‌شود. LLMهای عمومی می‌توانند مترجمان قوی باشند؛ مدل‌های تخصصی می‌توانند کیفیت ترجمه را حفظ کنند و در عین حال پیروی از دستور را بهبود بخشند؛ و سیستم برنده هنوز با جهت زبانی و طراحی آزمون تغییر می‌کند.
WMT25: آزمون‌های دشوار و ارزیابی انسانی اهمیت دارند
وظیفه مشترک ترجمه ماشینی عمومی WMT25 ۶۰ سیستم را در ۳۰ جفت زبان ارزیابی کرد. برای نیمی از این جفت‌ها، حاشیه‌نویسان حرفه‌ای خروجی‌ها را در چهار یا پنج حوزه با استفاده از حاشیه‌نویسی بازه خطا ارزیابی کردند و برای دو جفت از MQM استفاده شد. این وظیفه همچنین بیشتر به سمت ورودی در سطح سند شامل چند پاراگراف حرکت کرد.
این طراحی مهم است زیرا مجموعه‌های آزمون جمله‌ای آسان می‌توانند موارد زیر را پنهان کنند:
- خطاهای ضمیر و ارجاع که فقط در بین پاراگراف‌ها ظاهر می‌شوند؛
- انحراف اصطلاحات؛
- حذف‌های در سطح سند؛
- شکست‌های حوزه‌ای؛
- ابداعات روان؛ و
- تفاوت‌های بین جهت‌های زبانی با منابع بالا و پایین.
درس عملی این نیست که رتبه‌بندی WMT را در انتخاب ابزار خود کپی کنید. بلکه این است که انضباط ارزیابی را کپی کنید: مواد منبع دشوار، حوزه‌های متعدد، زمینه سند و حاشیه‌نویسی خطای انسانی.
WMT24++: پوشش زبانی گسترده، با یک هشدار مهم
WMT24++ مجموعه داده WMT24 را به ۵۵ زبان و گویش گسترش داد، از جمله مراجع جدید نوشته‌شده توسط انسان و مراجع پس‌ویرایش‌شده. این مجموعه محتوای ادبی، خبری، اجتماعی و گفتاری را پوشش می‌دهد.
این مقاله گزارش می‌دهد که LLMها بهترین سیستم‌های ترجمه ماشینی ارزیابی‌شده در هر ۵۵ زبان تحت معیارهای خودکار آن بودند. این شواهد مهمی است که ترجمه LLM مدرن به چند جفت زبان انگلیسی‌محور محدود نمی‌شود.
اما نویسندگان همچنین بیان می‌کنند که این نتیجه نباید بدون ارزیابی انسانی برای نتیجه‌گیری‌های قوی درباره کیفیت استفاده شود. معیارهای خودکار می‌توانند خروجی‌هایی را پاداش دهند که با قضاوت انسانی متفاوت هستند و نمرات میانگین می‌توانند خطاهای بحرانی در یک جهت زبانی را پنهان کنند.
از WMT24++ برای توجیه آزمایش گسترده LLMها استفاده کنید—نه برای اعلام اینکه هر LLM نام‌برده‌شده برای هر زبانی بهترین است.
TOWER+: کیفیت ترجمه و پیروی از دستور، دو محور متفاوت‌اند
مقاله TOWER+ در ۲۰۲۶ سیستم‌های ترجمه‌محور و عمومی را روی WMT24++، بنچمارک‌های چندزبانه عمومی، و بنچمارک جدید IF-MT که ترجمه را با دستورهایی مانند قواعد اصطلاح‌شناسی و قالب‌بندی ترکیب می‌کند، ارزیابی می‌کند.
یافته اصلی آن برای پروژه‌های واقعی مفید است: بیشینه‌سازی کیفیت خام ترجمه می‌تواند به توانایی پیروی از دستورهای عمومی آسیب بزند. یک سیستم ترجمه ممکن است جملات خوبی تولید کند اما در پیروی از واژه‌نامه، حفظ الگوی موردنیاز، یا رعایت محدودیت‌های خروجی ناکام بماند.
TOWER+ گزارش می‌دهد که:
- مدل ۷۲B آن به عملکرد ترجمه TOWER-V2 رسید و در همان حال قابلیت‌های عمومی را بسیار بهبود داد؛
- مدل ۹B آن در ۲۴ جفت‌زبان رقابتی باقی ماند؛
- مدل ۷۲B با نسخه‌های اختصاصی GPT-4o و Claude Sonnet که در مقاله بررسی شده بودند رقابتی بود؛ و
- عملکرد همچنان با گسترش ارزیابی از زبان‌های پرمنبع به مجموعه زبانی گسترده‌تر تغییر می‌کرد.
این TOWER+ را پاسخ همه کاربران نمی‌کند. اثبات می‌کند که «کیفیت ترجمه» و «توانایی پیروی قابل‌اعتماد از دستور تولید» هر دو باید سنجیده شوند.
چرا یک بنچمارک عمومی نمی‌تواند مدل شما را انتخاب کند
نتیجه یک بنچمارک به این موارد مربوط می‌شود:
- نسخه دقیق مدل؛
- تنظیم پرامپت و رمزگشایی؛
- جهت‌های زبانی؛
- حوزه‌های مبدأ؛
- مرزهای قطعه یا سند؛
- ترجمه‌های مرجع؛
- معیارها و پروتکل انسانی؛ و
- تاریخ آزمون.
پروژه شما می‌تواند در هر بُعد متفاوت باشد. مدلی که در ترجمه خبری انگلیسی به آلمانی پیشتاز است، ممکن است در داستان ژاپنی به انگلیسی، نثر دانشگاهی عربی به فرانسوی، یا ترجمه زیرنویس با محدودیت زمان‌بندی پیشتاز نباشد.
APIهای مدل نیز تغییر می‌کنند. نامی مانند GPT، Claude، Gemini، Qwen یا DeepSeek یک واحد آزمایشی پایدار نیست. شناسه دقیق مدل و تاریخ را ثبت کنید.
«بهترین» برای ترجمه شما باید چه معنایی داشته باشد
| نیازمندی | رفتار قبول‌شده | خطای مهم |
|---|---|---|
| معنا | ادعاها، عدم‌قطعیت، روابط و نفی را حفظ می‌کند | خروجی روان، معنای مخالف را بیان می‌کند |
| کامل بودن | هر بخش موردنیاز را ترجمه می‌کند | پاراگراف، هشدار، یادداشت یا پایان ناپدید می‌شود |
| اصطلاح‌شناسی | نام‌ها و اصطلاحات را به‌طور یکدست به کار می‌برد | یک مفهوم ترجمه‌های متعددی دریافت می‌کند |
| پیروی از دستورالعمل | واژه‌نامه، لحن، قالب‌بندی و قواعد خروجی را رعایت می‌کند | توضیح اضافه می‌کند یا توکن‌های محافظت‌شده را نادیده می‌گیرد |
| زمینه | ارجاع‌ها را در سراسر پاراگراف‌ها حل می‌کند | ضمایر، موجودیت‌ها یا روابط دچار لغزش می‌شوند |
| تناسب با حوزه | از زبان تخصصی یا ژانری مناسب استفاده می‌کند | نثر عمومی جای معنای تخصصی را می‌گیرد |
| قابلیت اطمینان عملیاتی | خروجی تکرارپذیر و پاکیزه تولید می‌کند | برش، امتناع یا تلاش‌های مجدد جریان کار را شکننده می‌کند |
| هزینه بازبینی | خطاها محدود و بررسی آن‌ها آسان است | تولید ارزان، اصلاح گران‌قیمت می‌سازد |
برای آثار ادبی، صدا، ریتم، شخصیت‌پردازی، ابهام و قضاوت فرهنگی را نیز اضافه کنید. یک مطالعه در سال ۲۰۲۵، How Good Are LLMs for Literary Translation, Really?، نشان داد که ترجمه‌های انسانی منتشرشده در ارزیابی آن عملکرد بهتری داشتند و خروجی‌های اخیر LLM تمایل داشتند تحت‌اللفظی‌تر و کم‌تنوع‌تر باشند.
یک پیکره آزمون نمونه بسازید
از قطعه‌هایی استفاده کنید که مالک آن‌ها هستید یا مجاز به پردازش آن‌ها هستید. شامل موارد زیر باشد:
| نمونه | اندازه پیشنهادی | چه چیزی را به چالش می‌کشد |
|---|---|---|
| نثر معمولی | ۵۰۰–۱٬۰۰۰ کلمه | معنا و روانی پایه |
| گفت‌وگو | ۴۰۰–۷۰۰ کلمه | صدا، لحن، وقفه و زیرمتن |
| متن پر از اصطلاحات تخصصی | ۵۰۰–۱٬۰۰۰ کلمه | پایبندی به واژه‌نامه و تکرار |
| محتوای ساخت‌یافته | ۳۰۰–۶۰۰ کلمه | سرتیترها، فهرست‌ها، جدول‌ها، ارجاع‌ها یا نشانگرها |
| قطعه دشوار | ۳۰۰–۵۰۰ کلمه | اصطلاح، ابهام، بازی با کلمات یا ارجاع فرهنگی |
| بخش یا فصل بلند | ۲٬۰۰۰–۵٬۰۰۰ کلمه | کامل بودن و یکدستی میان پاراگراف‌ها |
پیش از اجرای مدل‌ها، زبان مبدأ، زبان مقصد، حوزه، اصطلاحات لازم، نام‌ها و اعداد محافظت‌شده، دام‌های شناخته‌شده و صلاحیت بازبین را ثبت کنید.
پرامپت و تنظیمات را ثابت نگه دارید
برای همهٔ گزینه‌ها از همان منبع، دستورها، واژه‌نامه، قطعه‌بندی و سیاست تلاش مجدد استفاده کنید.
Translate the source into [target language] for [audience].
Preserve meaning, uncertainty, names, numbers, citations, paragraph boundaries,
and formatting markers. Apply the glossary exactly.
Do not summarize, explain, censor, or add translator notes.
Output only the translation.
ثبت کنید:
- ارائه‌دهنده و شناسهٔ دقیق مدل؛
- تاریخ آزمون و سطح API یا محصول؛
- پرامپت‌های سیستم و کاربر؛
- تنظیمات نمونه‌گیری یا استدلال افشاشده؛
- واژه‌نامه و قواعد سبک؛
- تلاش‌های مجدد، شکست‌ها و برش‌ها؛
- خروجی‌های خام ویرایش‌نشده؛ و
- هزینهٔ ورودی، خروجی و بازبینی.
اگر یک گزینه به نجات دستی مکرر نیاز دارد، آن را شکست در تولید به حساب آورید، نه چیزی که از مقایسه پاک شود.
بازبینی در دو مرحله
مرحلهٔ ۱: رد شکست‌های حیاتی
رد کنید یا به‌شدت جریمه کنید:
- محتوای حذف‌شده یا جعل‌شده؛
- معنای معکوس یا نفی ازدست‌رفته؛
- نام‌ها، اعداد، واحدها، فرمول‌ها یا ارجاع‌های تغییرکرده؛
- قطعه‌های ترجمه‌نشده؛
- بخش‌های تکراری یا بریده؛
- توضیحات دستیار درون ترجمه؛ و
- نادیده گرفتن واژه‌نامه یا قواعد خروجی.
مرحله ۲: مقایسه کیفیت
خروجی‌های باقی‌مانده را ناشناس کنید و از داوران واجد شرایط بخواهید آن‌ها را کنار هم مقایسه کنند. از دسته‌های خطا مانند دقت، روانی، اصطلاح‌شناسی، کامل بودن، لحن و ساختار استفاده کنید.
WMT24 Metrics Shared Task از استفاده از معیارهای عصبی قوی به عنوان بخشی از ارزیابی پشتیبانی می‌کند، اما امتیازدهی خودکار نباید تنها داور باشد. این شواهد به‌ویژه زمانی ضعیف است که محتوا ادبی، کم‌منبع، بسیار تخصصی یا حیاتی از نظر ایمنی باشد.
گردش کار واقعی را آزمایش کنید، نه فقط مدل را
یک مدل می‌تواند یک پاراگراف را خوب ترجمه کند و همچنان انتخاب اشتباهی برای تولید باشد.
برای یک سند کامل، بررسی کنید:
- بخش‌های اول و آخر وجود دارند؛
- عنوان‌ها و تعداد پاراگراف‌ها با هم مطابقت دارند؛
- نام‌ها و اصطلاحات واژه‌نامه ثابت می‌مانند؛
- هیچ خروجی‌ای در مرز توکن تمام نمی‌شود؛
- جدول‌ها، یادداشت‌ها و ارجاع‌ها به هم متصل باقی می‌مانند؛
- فایل دانلودشده باز می‌شود و قابل پیمایش است؛ و
- زمان کل بازبینی و اصلاح قابل قبول است.
برای EPUB، PDF و DOCX، یک خط لوله اختصاصی فایل، تجزیه، قطعه‌بندی، بازسازی و دانلود را انجام می‌دهد. BookTranslator این گردش کار را برای قالب‌های پشتیبانی‌شده کتاب و سند فراهم می‌کند. مدل تنها یک جزء است؛ یک مدل قوی نمی‌تواند PDFی را که با ترتیب اشتباه خوانده شده یا EPUBی را که با ناوبری خراب بازسازی شده، ترمیم کند.
یک قاعده عملی برای انتخاب
یک گزینه را تنها در صورتی انتخاب کنید که همه معیارها را برآورده کند:
- هیچ خطای حیاتی در معنا یا کامل بودن وجود نداشته باشد.
- ترجیح قوی در مقایسه کنار هم از سوی داوران واجد شرایط.
- اصطلاح‌شناسی پایدار در نمونه طولانی.
- پیروی قابل اعتماد از دستورالعمل‌ها.
- خروجی تمیز بدون نیاز به نجات دستی شکننده.
- هزینه کل بازبینی قابل قبول.
- سازگاری با خط لوله واقعی سند یا زیرنویس.
اگر دو مدل نزدیک بودند، مدلی را ترجیح دهید که خطاهای حیاتی کمتری و تنوع کمتری بین داوران دارد. بیش‌ازحد با یک تفاوت کوچک در یک امتیاز خودکار هماهنگ نشوید.
برای تصمیم‌گیری دربارهٔ ترجمهٔ یک کتاب کامل، این روش را با چارچوب ترجمهٔ کتاب با هوش مصنوعی در برابر مترجم انسانی ترکیب کنید. برای مقایسهٔ گردش‌کارهای کامل فایل به‌جای مقایسهٔ صرف مدل‌ها، از راهنمای بهترین ابزارهای ترجمهٔ کتاب استفاده کنید.
مطالب مرتبط
