BookTranslator
BookTranslator

LLM Terbaik untuk Penerjemahan pada 2026: Apa yang Ditunjukkan Tolok Ukur Terbaru

Tidak ada LLM terbaik yang universal untuk penerjemahan. Lihat apa yang ditunjukkan WMT25, WMT24++, dan TOWER+, lalu gunakan uji yang dapat direproduksi untuk pasangan bahasa dan konten Anda.

BookTranslator

BookTranslator Team

10 min read

Jawaban Singkat: Tidak Ada LLM Terbaik yang Universal

LLM terbaik untuk penerjemahan bergantung pada pasangan bahasa, domain, panjang dokumen, aturan terminologi, dan apa yang dianggap sebagai kesalahan yang tidak dapat diterima. Tolok ukur otoritatif terbaru menunjukkan bahwa LLM adalah sistem penerjemahan yang kuat, tetapi tidak mendukung satu pemenang global yang permanen.

Kesimpulan 2026 yang paling dapat dipertahankan adalah:

  1. Buat daftar pendek model serbaguna dan khusus penerjemahan saat ini.
  2. Uji arah bahasa dan jenis konten yang Anda butuhkan secara tepat.
  3. Tolak penghilangan, penambahan, perubahan angka, dan kegagalan terminologi sebelum menilai kelancaran.
  4. Gunakan perbandingan manusia yang berkualifikasi untuk pekerjaan penting.
  5. Uji model di dalam alur kerja file yang sebenarnya, bukan hanya di kotak obrolan.

Artikel ini tidak menyajikan papan peringkat model BookTranslator. Kami tidak memiliki korpus internal yang dipublikasikan dan dapat direproduksi yang akan membenarkan penamaan pemenang universal. Sebaliknya, artikel ini menjelaskan apa yang ditetapkan oleh tolok ukur publik terbaru, apa yang tidak ditetapkannya, dan cara menjalankan evaluasi khusus proyek.

Apa yang Sebenarnya Ditunjukkan Tolok Ukur Penerjemahan Terbaru

Tolok UkurCakupanTemuan berguna terkuatKeterbatasan penting
WMT25 General Machine Translation30 pasangan bahasa; 60 sistem; evaluasi manusia profesional untuk 15 pasangan di berbagai domainSet uji tingkat dokumen yang lebih sulit mengungkap perbedaan yang tersembunyi oleh uji kalimat yang mudahHasil bervariasi menurut pasangan, domain, dan sistem; tidak ada satu model yang menang di setiap kondisi
WMT24++55 bahasa dan dialek; domain sastra, berita, sosial, dan ucapanLLM yang dievaluasi memimpin penyedia MT yang diuji di semua 55 bahasa pada metrik otomatis yang dipilihPenulis secara eksplisit memperingatkan bahwa skor otomatis memerlukan konfirmasi manusia
TOWER+Evaluasi terjemahan WMT24++ serta evaluasi umum dan pengikutan instruksiPelatihan lanjutan yang dikhususkan untuk terjemahan dapat menyamai sistem proprietary yang kuat sekaligus meningkatkan pengikutan instruksiMakalah ini mengevaluasi versi model tertentu dan kumpulan bahasa yang didukung, bukan setiap model API yang ada saat ini
Tugas Bersama Metrik WMT24Data MQM manusia dan evaluasi metrik untuk Inggris–Spanyol, Jepang–Tionghoa, dan Inggris–JermanMetrik neural yang disetel halus tetap berguna untuk evaluasi terjemahan LLMMetrik otomatis adalah alat evaluasi, bukan pengganti peninjauan oleh penutur bahasa sasaran

Tren tolok ukur bukanlah “LLM umum menggantikan sistem terjemahan.” Yang terjadi adalah batas di antara keduanya semakin tidak berguna. LLM umum dapat menjadi penerjemah yang kuat; model khusus dapat mempertahankan kualitas terjemahan sekaligus meningkatkan pengikutan instruksi; dan sistem yang menang tetap berubah bergantung pada arah bahasa dan desain pengujian.

WMT25: Ujian Sulit dan Evaluasi Manusia Itu Penting

Tugas bersama Terjemahan Mesin Umum WMT25 mengevaluasi 60 sistem di 30 pasangan bahasa. Untuk separuh pasangan tersebut, anotator profesional mengevaluasi keluaran di empat atau lima domain menggunakan Error Span Annotation, dengan MQM digunakan untuk dua pasangan. Tugas ini juga bergerak lebih jauh ke arah masukan tingkat dokumen yang berisi beberapa paragraf.

Desain itu penting karena kumpulan uji kalimat yang mudah dapat menyembunyikan:

  • kesalahan pronomina dan rujukan yang hanya muncul antarparagraf;
  • pergeseran terminologi;
  • penghilangan di tingkat dokumen;
  • kegagalan khusus domain;
  • penemuan yang lancar; dan
  • perbedaan antara arah bahasa dengan sumber daya tinggi dan rendah.

Pelajaran praktisnya bukan menyalin peringkat WMT ke dalam pemilihan alat Anda. Melainkan menyalin disiplin evaluasinya: materi sumber yang sulit, berbagai domain, konteks dokumen, dan anotasi kesalahan manusia.

WMT24++: Cakupan Bahasa yang Luas, dengan Satu Catatan Penting

WMT24++ memperluas kumpulan data WMT24 menjadi 55 bahasa dan dialek, termasuk referensi baru yang ditulis manusia dan referensi yang disunting pascaterjemahan. Cakupannya meliputi konten sastra, berita, sosial, dan tuturan.

Makalah ini melaporkan bahwa LLM adalah sistem MT yang dievaluasi dengan performa terbaik di semua 55 bahasa berdasarkan metrik otomatisnya. Itu adalah bukti penting bahwa terjemahan LLM modern tidak terbatas pada beberapa pasangan yang berpusat pada bahasa Inggris.

Namun penulis juga menyatakan bahwa hasil tersebut tidak boleh digunakan untuk menarik kesimpulan kualitas yang kuat tanpa evaluasi manusia. Metrik otomatis dapat memberi imbalan pada keluaran yang berbeda dari penilaian manusia, dan skor rata-rata dapat menyembunyikan kesalahan kritis dalam satu arah bahasa.

Gunakan WMT24++ untuk membenarkan pengujian LLM secara luas—bukan untuk menyatakan bahwa LLM tertentu adalah yang terbaik untuk setiap bahasa.

TOWER+: Kualitas Terjemahan dan Kepatuhan Instruksi adalah Dua Sumbu yang Berbeda

Makalah TOWER+ tahun 2026 mengevaluasi sistem khusus terjemahan dan serbaguna pada WMT24++, tolok ukur multibahasa umum, dan tolok ukur IF-MT baru yang menggabungkan terjemahan dengan instruksi seperti aturan terminologi dan pemformatan.

Temuan utamanya berguna untuk proyek nyata: memaksimalkan kualitas terjemahan mentah dapat merusak kemampuan mengikuti instruksi secara umum. Sistem terjemahan mungkin menghasilkan kalimat yang baik namun gagal mengikuti glosarium, mempertahankan pola yang diwajibkan, atau mematuhi batasan keluaran.

TOWER+ melaporkan bahwa:

  • model 72B-nya menyamai performa terjemahan TOWER-V2 sekaligus meningkatkan kemampuan umum secara signifikan;
  • model 9B-nya tetap kompetitif di 24 pasangan bahasa;
  • model 72B-nya kompetitif dengan versi GPT-4o dan Claude Sonnet milik pihak ketiga yang disertakan dalam makalah; dan
  • performa tetap berubah ketika evaluasi diperluas dari bahasa beresumber tinggi ke kumpulan bahasa yang lebih luas.

Ini tidak menjadikan TOWER+ jawaban untuk setiap pengguna. Ini membuktikan bahwa "kualitas terjemahan" dan "dapat diandalkan mengikuti brief produksi" keduanya harus diukur.

Mengapa Tolok Ukur Publik Tidak Dapat Memilih Model Anda

Hasil tolok ukur berlaku untuk:

  • versi model yang tepat;
  • pengaturan prompt dan decoding;
  • arah bahasa;
  • domain sumber;
  • batas segmen atau dokumen;
  • terjemahan referensi;
  • metrik dan protokol manusia; serta
  • tanggal pengujian.

Proyek Anda dapat berbeda pada setiap dimensi. Model yang unggul dalam terjemahan berita Inggris-ke-Jerman mungkin tidak unggul dalam fiksi Jepang-ke-Inggris, prosa akademik Arab-ke-Prancis, atau terjemahan subtitle dengan batasan waktu.

API model juga berubah. Nama vendor seperti GPT, Claude, Gemini, Qwen, atau DeepSeek bukanlah unit eksperimen yang stabil. Catat pengenal model dan tanggal yang tepat.

Apa yang Seharusnya Dimaksud "Terbaik" untuk Terjemahan Anda

PersyaratanPerilaku yang memenuhi syaratKegagalan yang berarti
MaknaMempertahankan klaim, ketidakpastian, hubungan, dan negasiOutput yang lancar justru menyatakan sebaliknya
KelengkapanMenerjemahkan setiap segmen yang diperlukanParagraf, peringatan, catatan, atau bagian akhir menghilang
TerminologiMenerapkan nama dan istilah secara konsistenSatu konsep mendapat beberapa terjemahan
Kepatuhan pada instruksiMematuhi glosarium, nada, format, dan aturan outputMenambahkan komentar atau mengabaikan token yang dilindungi
KonteksMenyelesaikan rujukan antarparagrafPronomina, entitas, atau hubungan menjadi kabur
Kesesuaian domainMenggunakan bahasa teknis atau genre yang sesuaiProsa generik menggantikan makna khusus
Keandalan operasionalMenghasilkan output yang konsisten dan bersihPemotongan, penolakan, atau percobaan ulang membuat alur kerja rapuh
Biaya peninjauanKesalahan terbatas dan mudah diperiksaGenerasi murah menciptakan koreksi yang mahal

Untuk karya sastra, tambahkan suara, ritme, penokohan, ambiguitas, dan pertimbangan budaya. Sebuah studi tahun 2025, How Good Are LLMs for Literary Translation, Really?, menemukan bahwa terjemahan manusia yang diterbitkan tampil lebih baik dalam evaluasinya dan bahwa keluaran LLM terkini cenderung lebih literal dan kurang beragam.

Bangun Korpus Uji yang Representatif

Gunakan bagian yang Anda miliki atau diizinkan untuk diproses. Sertakan:

SampelUkuran yang disarankanApa yang diuji
Prosa normal500–1.000 kataMakna dan kelancaran dasar
Dialog400–700 kataSuara, register, interupsi, dan subteks
Teks padat terminologi500–1.000 kataKepatuhan glosarium dan pengulangan
Konten terstruktur300–600 kataJudul, daftar, tabel, kutipan, atau penanda
Bagian sulit300–500 kataIdiom, ambiguitas, permainan kata, atau referensi budaya
Bagian atau bab panjang2.000–5.000 kataKelengkapan dan konsistensi antarparagraf

Sebelum menjalankan model, catat bahasa sumber, bahasa target, domain, istilah wajib, nama dan angka yang dilindungi, jebakan yang diketahui, dan kualifikasi peninjau.

Bekukan Prompt dan Pengaturan

Gunakan sumber, instruksi, glosarium, segmentasi, dan kebijakan percobaan ulang yang sama untuk setiap kandidat.

Translate the source into [target language] for [audience].
Preserve meaning, uncertainty, names, numbers, citations, paragraph boundaries,
and formatting markers. Apply the glossary exactly.
Do not summarize, explain, censor, or add translator notes.
Output only the translation.

Catat:

  • penyedia dan pengenal model yang tepat;
  • tanggal pengujian dan API atau antarmuka produk;
  • prompt sistem dan pengguna;
  • pengaturan sampling atau penalaran yang diungkapkan;
  • glosarium dan aturan gaya;
  • percobaan ulang, kegagalan, dan pemotongan;
  • keluaran mentah yang belum diedit; dan
  • biaya masukan, keluaran, dan peninjauan.

Jika satu kandidat memerlukan penyelamatan manual berulang, hitung itu sebagai kegagalan produksi alih-alih membersihkannya dari perbandingan.

Tinjau dalam Dua Tahap

Tahap 1: Tolak kegagalan kritis

Tolak atau beri penalti berat:

  • konten yang dihilangkan atau diciptakan;
  • makna terbalik atau negasi yang hilang;
  • nama, angka, satuan, rumus, atau kutipan yang diubah;
  • fragmen yang tidak diterjemahkan;
  • bagian yang diduplikasi atau dipotong;
  • komentar asisten di dalam terjemahan; dan
  • glosarium atau aturan keluaran yang diabaikan.

Tahap 2: Bandingkan kualitas

Anonimkan keluaran yang tersisa dan minta peninjau yang berkualifikasi untuk membandingkannya secara berdampingan. Gunakan kategori kesalahan seperti akurasi, kelancaran, terminologi, kelengkapan, gaya bahasa, dan struktur.

WMT24 Metrics Shared Task mendukung penggunaan metrik neural yang kuat sebagai bagian dari evaluasi, tetapi penilaian otomatis tidak boleh menjadi satu-satunya hakim. Bukti ini sangat lemah terutama ketika kontennya bersifat sastra, sumber daya rendah, sangat teknis, atau kritis terhadap keselamatan.

Uji Alur Kerja Nyata, Bukan Hanya Modelnya

Sebuah model dapat menerjemahkan satu paragraf dengan baik namun tetap menjadi pilihan produksi yang salah.

Untuk dokumen lengkap, verifikasi:

  • bagian pertama dan terakhir ada;
  • jumlah judul dan paragraf sesuai;
  • nama dan istilah glosarium tetap konsisten;
  • tidak ada keluaran yang berakhir di batas token;
  • tabel, catatan, dan kutipan tetap terhubung;
  • file yang diunduh dapat dibuka dan dinavigasi; dan
  • total waktu peninjauan dan perbaikan dapat diterima.

Untuk EPUB, PDF, dan DOCX, alur pemrosesan file khusus menangani penguraian, segmentasi, rekonstruksi, dan pengunduhan. BookTranslator menyediakan alur kerja tersebut untuk format buku dan dokumen yang didukung. Model hanyalah salah satu komponen; model yang kuat tidak dapat memperbaiki PDF yang dibaca dalam urutan yang salah atau EPUB yang dibangun ulang dengan navigasi yang rusak.

Aturan Pemilihan yang Praktis

Pilih kandidat hanya jika memenuhi setiap syarat:

  1. Tidak ada kegagalan makna atau kelengkapan yang kritis.
  2. Preferensi berdampingan yang kuat dari peninjau yang berkualifikasi.
  3. Terminologi yang stabil dalam sampel panjang.
  4. Mengikuti instruksi dengan andal.
  5. Keluaran bersih tanpa penyelamatan manual yang rapuh.
  6. Total biaya peninjauan yang dapat diterima.
  7. Kompatibilitas dengan alur dokumen atau subtitle yang nyata.

Jika dua model berdekatan, pilih yang memiliki lebih sedikit kesalahan kritis dan variasi antarpeninjau yang lebih rendah. Jangan terlalu menyesuaikan pada perbedaan kecil dalam satu skor otomatis.

Untuk keputusan menerjemahkan buku secara utuh, padukan metode ini dengan kerangka kerja terjemahan buku AI vs. manusia. Untuk membandingkan alur kerja berkas secara lengkap, bukan sekadar modelnya saja, gunakan panduan alat terjemahan buku terbaik.

Artikel Terkait

LLM Terbaik untuk Penerjemahan pada 2026: Apa yang Ditunjukkan Tolok Ukur Terbaru