Cara Menterjemah Dokumen Panjang dengan LLM Tempatan: Cebisan dan Semakan

Orang menterjemah dokumen dengan LLM tempatan atas satu sebab: fail itu tidak boleh meninggalkan mesin mereka. Model tempatan boleh melakukan kerja itu, tetapi ia memberikan teks biasa, bukan fail terjemahan, dan kesilapan teruknya adalah yang senyap. Dalam ujian kami, satu permintaan untuk petikan 3,179 patah perkataan kembali dengan bilangan perenggan yang betul dan isyarat tamat yang bersih, namun satu perenggan telah kehilangan lebih daripada satu pertiga kandungannya dan mendapat ayat yang tiada dalam sumber.

Jawapan ringkas: pecahkan teks pada sempadan perenggan kepada cebisan kira-kira 600 patah perkataan, letakkan glosari nama dan istilah berulang dalam arahan sistem, matikan mod pemikiran model, dan bandingkan setiap cebisan dengan perenggan sumbernya satu demi satu sebelum anda mempercayainya. Setiap daripada tiga cara kami menjalankan ujian itu gagal di suatu tempat, dan tiada kegagalan menghasilkan mesej ralat. Jangkakan model sederhana besar pada komputer riba mengambil masa berjam-jam untuk sebuah buku penuh, dan rancang untuk membina semula pemformatan itu sendiri.

Semua yang berikut datang daripada satu larian pada 23 Oktober 2026: Qwen 3.6 27B (Q4_K_M GGUF) dalam LM Studio 0.4.8 pada Apple M4 Max dengan memori 64 GB, menterjemah pembukaan Die Verwandlung karya Kafka daripada bahasa Jerman ke bahasa Inggeris. Skrip ujian, keputusan, dan contoh kegagalan mentah boleh dimuat turun secara percuma supaya anda boleh mengulanginya dengan model anda sendiri.

Bila LLM Tempatan Adalah Alat yang Tepat

Jalankan terjemahan secara tempatan apabila peraturan dokumen, bukan kemudahan, yang membuat keputusan:

• kontrak pelanggan, perjanjian penyelidikan, atau polisi majikan melarang memuat naik fail itu ke perkhidmatan luar;
• teks itu bersifat peribadi atau sulit dan anda tidak boleh membuang bahagian sensitif terlebih dahulu; atau
• anda perlu memproses banyak fail tanpa kos setiap dokumen dan anda sudah memiliki perkakasan yang sesuai.

Jika tiada satu pun daripada ini terpakai, model tempatan biasanya merupakan laluan yang lebih perlahan menuju hasil yang lebih teruk. Anda melepaskan tiga perkara yang disediakan oleh perkhidmatan terjemahan dokumen: fail terjemahan dalam format asal, model yang lebih besar daripada yang mampu ditampung mesin anda, dan aliran kerja yang dibina untuk konsistensi merentas keseluruhan buku. Sebelum memilih mana-mana laluan, teliti senarai semak privasi terjemahan dokumen. Ia merangkumi kuasa untuk memproses fail, salinan kerja minimum, dan apa yang dilakukan oleh perkhidmatan dengan muat naik.

"Tempatan" juga memerlukan makna yang tepat. Model itu berjalan pada komputer anda, dan dalam ujian kami permintaan hanya pergi ke localhost. Itu tidak memberitahu anda apa yang dilog, dikemas kini, atau dilaporkan oleh aplikasi di sekeliling model itu. Jika peraturan anda memerlukan bukti bahawa tiada apa-apa yang meninggalkan peranti, semak tetapan dan polisi runtime itu sendiri, atau jalankannya pada mesin tanpa akses rangkaian.

Apa yang Kami Uji

Kami menterjemah 19 perenggan pertama Die Verwandlung (3,179 patah perkataan Jerman) daripada edisi Project Gutenberg domain awam. Bahasa Jerman sastera ialah ujian tekanan yang adil: perenggannya panjang, ayatnya bersarang, dan watak serta jawatan kerja yang sama berulang.

Ketiga-tiga larian menggunakan model dan tetapan yang sama: suhu 0.2, maksimum 12,000 token output, dan tetingkap konteks 16,384 token. Arahan itu meminta satu perenggan bahasa Inggeris bagi setiap perenggan bahasa Jerman dan tiada yang lain.

Setiap larian tamat dengan isyarat henti normal, dan setiap larian mengandungi ralat senyap yang berbeza. Larian C menggugurkan dan mencipta teks. Larian B menterjemah teks yang diarahkan untuk dilangkau. Larian A, yang paling bersih, memberikan tugasan yang salah kepada satu watak dalam serpihan terakhirnya.

Kegagalan 1: Satu Permintaan Besar Menggugurkan Sebahagian Perenggan

Larian C tamat secara normal dan memulangkan tepat 19 perenggan. Semakan kiraan perenggan akan meluluskannya. Namun, perenggan 6 dikembalikan dengan 214 patah perkataan berbanding 260 patah perkataan dalam sumber.

Dalam sumber, Gregor memandang jam, menyedari dia telah terlepas kereta apinya, dan kemudian mempertimbangkan untuk memanggil sakit: bosnya akan datang bersama doktor insurans kesihatan, yang menganggap semua orang sihat tetapi malas bekerja, dan Gregor mengakui dia sebenarnya berasa sihat kecuali rasa mengantuk dan selera makan yang luar biasa. Larian C menterjemah bahagian pertama, kemudian menggugurkan keseluruhan petikan cuti sakit, 98 daripada 260 patah perkataan Jerman dalam perenggan itu. Sebagai gantinya, ia menulis bahawa Gregor "akan dipecat serta-merta," bahawa pembantu pejabat cenderung "melihat segala yang dilaporkan kepadanya sebagai peluang untuk menunjuk-nunjuk," dan bahawa pemikiran itu "membawa senyuman ke bibirnya." Tiada satu pun daripada itu terdapat dalam teks Jerman.

Larian berperingkat menterjemah perenggan yang sama sepenuhnya, dengan 267 patah perkataan.

Satu sampel tidak membuktikan bahawa permintaan panjang sentiasa gagal. Ia menunjukkan perkara yang perlu diperiksa: satu permintaan panjang tunggal boleh memampatkan atau mencipta teks secara senyap walaupun kelihatan lengkap dari segi struktur. Pembaca yang tidak tahu bahasa Jerman tidak akan mempunyai sebab untuk menyedarinya.

Kegagalan 2: Model Menterjemah "Konteks" yang Diarahkan untuk Dilangkau

Petua biasa ialah menghantar perenggan sebelumnya bersama setiap serpihan supaya model mengekalkan kesinambungan. Dalam larian B, kami menambahkannya ke dalam mesej di bawah label "Konteks (sudah diterjemah, JANGAN terjemah)."

Dalam serpihan 4, model tetap menterjemahnya. Serpihan itu memulangkan empat perenggan untuk tiga perenggan sumber, dan yang pertama ialah terjemahan kedua bagi perenggan terakhir serpihan 3. Jika digabungkan, buku itu akan mengandungi perenggan tersebut dua kali, dengan perkataan yang berbeza setiap kali.

Peraturan praktikal: jika anda menghantar konteks, jauhkannya daripada teks yang diminta untuk diterjemah oleh model, pastikan ia pendek, dan semak kiraan perenggan setiap serpihan. Jika anda tidak dapat menyemak, tinggalkannya.

Kegagalan 3: Serpihan yang Dihantar Bersendirian Memberikan Tugasan Salah kepada Watak

Larian A menghantar setiap serpihan tanpa glosari dan tanpa konteks. Untuk lima serpihan pertama, ini berfungsi dengan baik: Prokurist menjadi "kerani ketua" dalam kesemua 16 tempat ia muncul. Serpihan keenam ialah satu perenggan di mana kerani ketua memarahi Gregor melalui pintu. Dilihat bersendirian, model menterjemah der Prokurist sebagai "jurujual kembara," iaitu pekerjaan Gregor sendiri. Kiraan perenggan sepadan dan nisbah panjang ialah 1.00, jadi kedua-dua semakan struktur tidak menyedarinya.

Dalam larian B, yang mempunyai glosari dalam arahan sistem dan perenggan sebelumnya sebagai konteks, perenggan yang sama menggunakan "kerani ketua" dengan betul. Ujian ini tidak dapat menentukan yang mana antara kedua-duanya yang membetulkannya. Oleh kerana konteks juga menyebabkan kegagalan 2, glosari ialah tempat yang lebih selamat untuk membawa nama dan peranan dari serpihan ke serpihan: ia pendek, ia terletak dalam arahan, dan anda boleh menyemaknya secara mekanikal.

Aliran Kerja yang Bertahan

1. Dapatkan teks biasa daripada fail terlebih dahulu

LLM setempat menterjemah teks, bukan fail. Tukar dokumen sebelum anda bermula:

• DOCX atau EPUB: eksport ke teks biasa atau Markdown dengan satu perenggan setiap blok, kekalkan tajuk sebagai baris berasingan.
• PDF dengan lapisan teks: ekstrak teks, kemudian baiki baris terputus dan pemisahan kata. Panduan kami untuk membaiki pemisahan baris OCR dan pemisahan kata merangkumi pembersihan yang sama. Penukar seperti Docling boleh menghasilkan Markdown daripada PDF dan fail Office.
• PDF imbasan: jalankan OCR terlebih dahulu. Jika anda tidak pasti sama ada PDF mempunyai teks yang boleh digunakan, lihat Pengekstrakan teks PDF vs OCR.

Kekalkan struktur perenggan. Setiap semakan kemudian bergantung pada padanan satu-satu antara perenggan sumber dan terjemahan.

2. Matikan mod pemikiran dan sahkan

Banyak model terbuka semasa membuat penaakulan sebelum menjawab. Untuk terjemahan, ini membazirkan masa dan token output. Dalam persediaan kami, permintaan ujian 200 token menghabiskan 199 token untuk penaakulan dan mengembalikan jawapan kosong.

Kami mencuba tiga suis biasa. Menambah /no_think pada gesaan tidak berkesan, dan chat_template_kwargs dengan enable_thinking: false juga tidak berkesan. Menghantar "reasoning_effort": "none" dalam permintaan mematikan penaakulan: respons melaporkan 0 token penaakulan dan mengembalikan terjemahan secara terus. Parameter ini tidak disenaraikan pada halaman penyempurnaan sembang LM Studio, jadi anggap ia sebagai tingkah laku yang kami perhatikan dalam versi 0.4.8 dengan model ini. Semak kiraan reasoning_tokens dalam respons anda sendiri daripada mempercayai mana-mana suis.

3. Saiz tetingkap konteks sebelum cebisan

Tetingkap konteks mesti memuatkan arahan, cebisan, dan terjemahan penuh. Dalam larian bercebisan kami, cebisan Jerman 500 hingga 670 patah perkataan menggunakan kira-kira 800 hingga 1,500 token input, bergantung pada glosari dan konteks, dan 640 hingga 870 token output, jadi beberapa ribu token sudah memadai. Permintaan tunggal 3,179 patah perkataan memerlukan 4,953 token input dan 3,930 token output.

Ollama menetapkan panjang konteks lalai berdasarkan memori tersedia: 4k token di bawah 24 GiB VRAM, 32k dari 24 hingga 48 GiB, dan 256k pada 48 GiB atau lebih, menurut dokumentasi panjang konteks yang disemak pada 23 Oktober 2026. Anda boleh menaikkannya dengan OLLAMA_CONTEXT_LENGTH. Dalam LM Studio, tetapkan panjang konteks semasa anda memuatkan model. Jika cebisan ditambah terjemahannya tidak muat, output boleh terpotong.

4. Cebiskan pada sempadan perenggan, kira-kira 600 patah perkataan

Jangan sekali-kali memisahkan dalam perenggan atau ayat. Cebisan kami menyasarkan 700 patah perkataan dan berakhir pada sempadan perenggan terdekat, yang menghasilkan enam cebisan 243 hingga 667 patah perkataan. Cebisan yang lebih kecil kurang kosnya: larian A mengambil masa 10.4 minit berbanding 9.5 minit untuk permintaan tunggal, dan cebisan yang gagal murah untuk dijalankan semula.

Kekalkan arahan pendek dan sama untuk setiap cebisan. Arahan kami ialah: terjemah ke bahasa Inggeris, kekalkan tepat satu perenggan output bagi setiap perenggan input yang dipisahkan oleh baris kosong, dan outputkan terjemahan sahaja. Tambah glosari pada arahan yang sama: satu baris bagi setiap nama, gelaran, atau istilah berulang, dalam bentuk Prokurist = chief clerk. Panduan kami untuk membina glosari terjemahan merangkumi perkara yang perlu disertakan. Cebisan pendek kehilangan cerita di sekelilingnya, dan glosari itulah yang membawanya.

5. Semak setiap cebisan sebelum anda menggabungkannya

Jalankan tiga semakan pada setiap cebisan:

1. Kiraan perenggan. Output mesti mempunyai bilangan perenggan yang sama dengan input. Ini menangkap kegagalan 2.
2. Nisbah panjang setiap perenggan. Bandingkan kiraan perkataan setiap perenggan terjemahan dengan sumbernya. Ini menangkap kegagalan 1, yang terlepas oleh kiraan perenggan.
3. Istilah glosari setiap perenggan. Di mana istilah sumber muncul, terjemahan yang diperlukan sepatutnya muncul dengan bilangan yang sama. Ini menangkap kegagalan 3, yang terlepas oleh kedua-dua semakan lain. Bahasa yang berinfleksi memerlukan sedikit pertimbangan di sini, kerana istilah Jerman atau Rusia berubah bentuk.

Untuk prosa Jerman ke Inggeris, perenggan larian A kekal antara 0.98 dan 1.17 patah perkataan keluar bagi setiap patah perkataan masuk. Perenggan rosak larian C ialah 0.82. Tetapkan julat anda sendiri dengan menyemak beberapa perenggan yang anda percayai dalam pasangan bahasa anda; nilai lalai dalam skrip kami ialah titik permulaan, bukan piawaian.

Perenggan yang ditandakan ialah tempat untuk dibaca dahulu, bukan bukti kesilapan. Kemudian baca terjemahan itu sendiri, terutamanya nama, nombor, penafian, dan apa-apa yang akan diambil tindakan oleh pembaca. Senarai semak jaminan kualiti terjemahan buku merangkumi semakan itu.

6. Bina semula dokumen

Model mengembalikan teks. Tajuk, nota kaki, jadual, imej, susun atur halaman, dan gaya mesti dikembalikan secara manual atau dengan alat penukaran. Untuk laporan pendek ini kecil. Untuk buku dengan nota kaki dan jadual, ia boleh mengambil masa lebih lama daripada terjemahan.

Berapa Lama Satu Buku Penuh Mengambil Masa

Larian bercebisan kami menterjemah 3,179 patah perkataan dalam 10.4 minit, kira-kira 300 patah perkataan seminit pada mesin ini. Pada kadar itu, novel 90,000 patah perkataan akan mengambil masa kira-kira lima jam penjanaan, sebelum semakan dan larian semula. Itu aritmetik mudah daripada satu larian, bukan penanda aras. Kelajuan berubah dengan saiz model, kuantisasi, perkakasan, pasangan bahasa, dan berapa banyak perkara lain yang dilakukan oleh mesin.

Fail model ialah 17.5 GB pada cakera, dan cache konteks serta penimbal masa jalan memerlukan memori tambahan, jadi mesin memerlukan memori bebas yang jauh lebih banyak daripada saiz fail. Model yang lebih kecil akan berjalan lebih pantas dan dengan memori yang lebih sedikit, biasanya dengan sedikit kos kualiti. Ujinya pada sampel yang mewakili sebelum komited dengan keseluruhan buku. Panduan kami untuk LLM terbaik untuk terjemahan menerangkan cara membina sampel itu dan membandingkan model secara adil.

LLM Tempatan atau Perkhidmatan Terjemahan Dokumen

Jika peraturan anda membenarkan fail dimuat naik, perkhidmatan dokumen menghapuskan sebahagian besar kerja di atas. BookTranslator menterjemah fail PDF, EPUB, dan DOCX lengkap dan mengembalikan fail terjemahan, dan FAQnya menyatakan fail yang dimuat naik dan output terjemahan tidak digunakan untuk melatih model AI. Ia perkhidmatan awan, jadi ia bukan pilihan apabila fail mesti kekal pada mesin anda. Jika anda sedang membuat keputusan antara menjalankan model sendiri dan membayar untuk perkhidmatan, apakah kos sebenar terjemahan LLM menunjukkan cara untuk membelanjakan bahagian token.

Dapatkan Fail Ujian

Semua fail berada dalam folder /files/blog/translate-with-local-llm/:

• local_llm_translation_test.py: ujian penuh terhadap API tempatan LM Studio, dengan ketiga-tiga larian. Halakan ke model atau teks sumber lain untuk mengulangi ujian.
• check_translation.py: membandingkan teks sumber dan terjemahan perenggan demi perenggan dan mencetak ketidakpadanan bilangan perenggan, nisbah panjang di luar julat, dan istilah glosari yang hilang (dengan --term "Prokurist=chief clerk"). Ia berfungsi dengan output daripada mana-mana alat.
• results.csv: setiap permintaan dengan bilangan perenggan, bilangan perkataan, bilangan token, dan masa.
• failure-examples.txt: sumber Jerman dan output mentah model untuk ketiga-tiga kegagalan.

Jalankan check_translation.py dengan istilah glosari anda pada mana-mana terjemahan panjang sebelum anda bergantung padanya. Ia mengambil masa beberapa saat sahaja, dan ia telah menandakan ketiga-tiga kegagalan dalam ujian ini. Ia tidak dapat memberitahu anda sama ada ayat yang lancar itu salah, jadi perenggan yang ditandakan ialah tempat bacaan anda bermula, bukan tempat ia berakhir.