TXT ဖိုင်ကြီးတစ်ခုကို ဘယ်လိုဘာသာပြန်မလဲ- ကုဒ်ပြောင်းခြင်း၊ အခန်းများနှင့် စာကြောင်းချိုးခြင်း

TXT ဖိုင်ကြီးတစ်ခုကို ဘာသာပြန်ရန် မည်သည့်နေရာတွင်မဆို မတင်မီ အချက်သုံးချက်ကို ပြင်ဆင်ပါ။ ပထမ၊ စာသားကို မှန်ကန်စွာ ကုဒ်ဖြည်ပြီး UTF-8 အဖြစ် သိမ်းဆည်းပါ။ ဒုတိယ၊ အခန်းခေါင်းစဉ်တိုင်းကို ကိုယ်ပိုင်စာကြောင်းတစ်ကြောင်းစီတွင် ထားပြီး အပေါ်အောက် စာကြောင်းအလွတ်တစ်ကြောင်း ခြားပါ။ တတိယ၊ ဖိုင်က ပုံသေအကျယ်ဖြင့် စာကြောင်းချိုးထားပါက စာပိုဒ်တစ်ခုစီသည် စာကြောင်းတစ်ကြောင်းတည်းဖြစ်အောင် ထိုစာကြောင်းများကို ပေါင်းစည်းပြီး စာပိုဒ်များကြားတွင် စာကြောင်းအလွတ်တစ်ကြောင်း ထားပါ။ ထို့နောက် ဖိုင်တစ်ခုလုံးကို ဘာသာပြန်ပြီး မူရင်းနှင့် ဘာသာပြန်ချက်ကြား စာပိုဒ်နှင့် အခန်းအရေအတွက်ကို နှိုင်းယှဉ်ပါ။

ရိုးရိုးစာသားဖိုင်တွင် စတိုင်များ၊ ခေါင်းစဉ်များနှင့် မက်တာဒေတာများ မပါဝင်ပါ။ ဘာသာပြန်ကိရိယာတစ်ခုက ၎င်း၏ဖွဲ့စည်းပုံအကြောင်း သိရှိသမျှသည် ဘိုက်များနှင့် စာကြောင်းချိုးခြင်းများမှ လာပါသည်။ ထို့ကြောင့် တူညီသော ပြဿနာသုံးခု ထပ်ခါတလဲလဲ ပေါ်လာခြင်းဖြစ်သည်- ဘိုက်များကို မှားယွင်းသော ကုဒ်ဖြင့် ဖတ်ခြင်း၊ အခန်းများကို သာမန်စာကြောင်းများနှင့် ခွဲခြား၍မရခြင်း သို့မဟုတ် စာကြောင်းချိုးခြင်းများက ဝါကျအဆုံးသတ်သည့်နေရာကို မည်သည့်အရာမျှ မဖော်ပြခြင်း။

ကျွန်ုပ်တို့သည် ကုဒ်ပြောင်းခြင်းလေးမျိုးဖြင့် နမူနာဖိုင်များ ကို ဖန်တီးပြီး အခမဲ့စစ်ဆေးစနစ် ကို ရေးသားကာ မာကျောစွာချိုးထားသော ဝတ္ထုတိုတစ်ပုဒ်ကို ဒေသခံမော်ဒယ်ဖြင့် ရိုးရှင်းသောတရုတ်ဘာသာသို့ ကိုးကြိမ် ဘာသာပြန်ခဲ့သည်။ မော်ဒယ်သည် ဖိုင်တစ်ခုလုံးကို မြင်သောအခါ မာကျောသောစာကြောင်းချိုးခြင်းကို ကောင်းစွာ ကိုင်တွယ်နိုင်ခဲ့သည်။ ဖိုင်ကို စာကြောင်းအရေအတွက်ဖြင့် အပိုင်းပိုင်းဖြတ်ထားသော သုံးကြိမ်စလုံးတွင် ဝါကျများကို ချိုးဖျက်ပြီး ဇာတ်ကောင်တစ်ဦး၏ လုပ်ရပ်ကို အခြားတစ်ဦးထံ ပေးအပ်ခဲ့သည်။

အမြန်စစ်ဆေးရန်စာရင်း

စစ်ဆေးရေးကိရိယာသည် အတန်းတိုင်းအတွက် အစီရင်ခံပြီး ကုဒ်ပြောင်းခြင်း၊ ဘိုက်အစီအစဉ်အမှတ်အသား၊ စာကြောင်းအဆုံးသတ်ပုံနှင့် မာကျောသော စာကြောင်းခွဲခြင်းတို့ကို ပြုပြင်ပေးသည်။ အခန်းခေါင်းစဉ်များနှင့် ပျောက်ဆုံးနေသော လိုင်းအလွတ်များကို သင်ကိုယ်တိုင် ကိုင်တွယ်ရပါမည်။ အစီရင်ခံစာကို ကြည့်ရှုရန် python3 check_txt.py inspect yourfile.txt ကို လုပ်ဆောင်ပါ၊ ပြီးနောက် စာပိုဒ်များ ပေါင်းစည်းထားသော UTF-8 မိတ္တူတစ်ခု ရေးသားရန် python3 check_txt.py convert yourfile.txt clean.txt --unwrap ကို လုပ်ဆောင်ပါ။ ၎င်းသည် Python 3 သာ လိုအပ်ပြီး မူရင်းဖိုင်ကို ဘယ်တော့မှ မပြောင်းလဲပါ။

အဆင့် ၁: ကုဒ်ပြောင်းခြင်းကို မှန်ကန်အောင် လုပ်ပါ

TXT ဖိုင်တစ်ခုသည် ဘိုက်များ၏ အစီအစဉ်တစ်ခု ဖြစ်သည်။ ကုဒ်ပြောင်းခြင်းဆိုသည်မှာ ထိုဘိုက်များကို စာလုံးများအဖြစ် ပြောင်းလဲပေးသော စည်းမျဉ်းဖြစ်ပြီး မည်သည့်စည်းမျဉ်းကို အသုံးပြုခဲ့သည်ကို ဖိုင်က မဖော်ပြပါ။ ပရိုဂရမ်တစ်ခုက မှားယွင်းစွာ ခန့်မှန်းပါက mojibake ဟုခေါ်သော စာသားများ ရောထွေးပျက်စီးခြင်း သို့မဟုတ် ပို၍ဆိုးသည်မှာ စာသားသည် ကောင်းမွန်နေပုံရသော်လည်း ရေးသားခဲ့သည့်အတိုင်း မဟုတ်ခြင်းတို့ ဖြစ်ပေါ်နိုင်သည်။

ဤတွင် တူညီသော တရုတ်စကားစု 最后一班渡轮 ("နောက်ဆုံးကူးတို့သင်္ဘော") ကို မှားယွင်းသော စည်းမျဉ်းဖြင့် ဖတ်ရှုထားသည်ကို ပြထားသည်။ ကျွန်ုပ်တို့သည် ၎င်းတို့ကို Python ၏ ပါဝင်သော ကုဒ်ဒက်များဖြင့် ထုတ်လုပ်ထားပြီး နမူနာဖိုင်များဖြင့် သင်လည်း ပြန်လည်ထုတ်လုပ်နိုင်ပါသည်။

နောက်ဆုံးအတန်းသည် အန္တရာယ်ရှိသော အတန်းဖြစ်သည်။ ဂျပန်ဘိုက်များကို တရုတ်စာလုံးများအဖြစ် ဖတ်ရှုခြင်းသည် အမှားအယွင်းမရှိ၊ � လည်းမပါဘဲ တရုတ်စာလုံးအစစ်များကို ထုတ်ပေးသည်။ ဘာသာပြန်ကိရိယာတစ်ခုက ၎င်းတို့ကို ပျော်ရွှင်စွာ ဘာသာပြန်ပေးမည်ဖြစ်ပြီး ရလဒ်မှာ သဒ္ဒါကောင်းမွန်သော်လည်း အဓိပ္ပာယ်မရှိသော စာသားဖြစ်လိမ့်မည်။

"အမှားအယွင်းမရှိဘဲ ဖွင့်နိုင်ခဲ့သည်" ဟူသော အချက်ကို အဘယ်ကြောင့် မမှီခိုနိုင်သည်ကို ကျွန်ုပ်တို့၏ စစ်ဆေးရေးကိရိယာက ပြသသည်။ Shift_JIS နမူနာပေါ်တွင် ၎င်းကို လုပ်ဆောင်သောအခါ ကုဒ်ပြောင်းခြင်း နှစ်မျိုးက ဖိုင်တစ်ခုလုံးကို အမှားတစ်ခုမျှမရှိဘဲ ကုဒ်ဖော်နိုင်ခဲ့သည်:

encoding: unknown (not UTF-8)
these legacy encodings decode without errors; read the previews,
because a wrong one can still produce real-looking characters:
  gb18030  戞堦榖丂嵟屻偺僼僃儕乕
  cp932    第一話　最後のフェリー

ဒုတိယအတန်းသာ ဂျပန်စာဖြစ်သည်။ ပထမအတန်းသည် မည်သူမျှ မရေးသားခဲ့သော ရှားပါးတရုတ်စာလုံးများ၏ စာလုံးအစီအစဉ်ဖြစ်သည်။ GB18030 တရုတ်နမူနာပေါ်တွင် ကုဒ်ပြောင်းခြင်း ငါးမျိုးက အမှားအယွင်းမရှိဘဲ ကုဒ်ဖော်နိုင်ခဲ့ပြီး ၎င်းတို့အနက် တစ်မျိုးတည်းဖြစ်သော GB18030 ကသာ အခန်းခေါင်းစဉ် 第一章 最后一班渡轮 ကို ပြသခဲ့သည်။ ထို့ကြောင့် စည်းမျဉ်းမှာ ရိုးရှင်းသည်: ပရိုဂရမ်က ညည်းညူခြင်း ရှိ/မရှိဖြင့် မဟုတ်ဘဲ ပထမစာကြောင်းများကို ဖတ်ရှုခြင်းဖြင့် ကုဒ်ပြောင်းခြင်းကို ဆုံးဖြတ်ပါ။

ခန့်မှန်းချက်များ မှားယွင်းလေ့ရှိသည့် နေရာများ:

• Windows စနစ်ဟောင်းများ သို့မဟုတ် တရုတ်ဆိုက်များမှ တရုတ်စာသား သည် များသောအားဖြင့် GBK သို့မဟုတ် GB18030 ဖြစ်သည်။ GB18030 သည် GBK ဖော်ပြသည့် အရာအားလုံးကို ဖုံးလွှမ်းပြီး၊ ဘရောက်ဇာများ လိုက်နာသည့် WHATWG Encoding Standard က ပိုမိုတိုးချဲ့ထားသည်: ၎င်းက "GBK ၏ ဒီကုဒ်ဒါသည် gb18030 ၏ ဒီကုဒ်ဒါ ဖြစ်သည်" ဟု ဆိုထားသည်။ ဖိုင်တစ်ခုသည် GBK ဖြစ်ပါက GB18030 အဖြစ် ဖွင့်ခြင်းက အလုပ်ဖြစ်သည်။
• ထိုင်ဝမ် သို့မဟုတ် ဟောင်ကောင်မှ ရိုးရာတရုတ်စာ သည် များသောအားဖြင့် Big5 ဖြစ်သည်။
• ဂျပန်စာ သည် များသောအားဖြင့် Shift_JIS သို့မဟုတ် Windows နှင့် Python တို့က cp932 ဟု ခေါ်သည့် မိုက်ခရိုဆော့ဖ်၏ တိုးချဲ့ဗားရှင်း ဖြစ်သည်။
• ကိုရီးယားစာ သည် များသောအားဖြင့် EUC-KR ဖြစ်သည်။
• NUL ဘိုက်များ ပြည့်နေသော ဖိုင် သို့မဟုတ် စာလုံးတိုင်း လွတ်နေသကဲ့သို့ ထင်ရသော ဖိုင်သည် များသောအားဖြင့် byte order mark မပါသော UTF-16 ဖြစ်သည်။

byte order mark (BOM) သည် ဖိုင်၏ အစတွင် UTF-8၊ UTF-16 သို့မဟုတ် UTF-32 ဖြစ်ကြောင်း ကြေညာသည့် မမြင်ရသော ကုဒ်အတိုလေး ဖြစ်သည်။ ၎င်းပါရှိပါက ယုံကြည်ပါ။ အဆိုပါ စံနှုန်းက "byte order mark သည် အခြားမည်သည့်အရာထက်မဆို ပိုမိုခိုင်လုံသည်" ဟု ဆိုထားသည်။ ကျွန်ုပ်တို့၏ စစ်ဆေးကိရိယာသည် BOM ကို ဦးစွာ ဖတ်ပြီး မရှိမှသာ ခန့်မှန်းသည်။

ဖိုင်ကို UTF-8 အဖြစ် သိမ်းဆည်းပါ

စာသားများ မှန်ကန်စွာ ဖတ်နိုင်ပြီဆိုပါက UTF-8 အဖြစ် သိမ်းဆည်းပါ။ WHATWG စံနှုန်းက UTF-8 ကို "ယူနီကုဒ် ဖလှယ်ရာတွင် အသင့်တော်ဆုံး ကုဒ်ပြောင်းခြင်း" ဟု ခေါ်ဆိုပြီး၊ မည်သည့် ဘာသာပြန်ကိရိယာအတွက်မဆို အန္တရာယ်အကင်းဆုံး ရွေးချယ်မှု ဖြစ်သည်။

အထူးသဖြင့် ဘာသာပြန်ခြင်းအတွက် အရေးကြီးသော ဒုတိယအကြောင်းရင်း ရှိသေးသည်။ ရှေးဟောင်း ကုဒ်ပြောင်းခြင်းများသည် ၎င်းတို့၏ ဒေသဆိုင်ရာ စာလုံးများကိုသာ ဖုံးလွှမ်းသည်။ Shift_JIS တွင် 这 (这是最后一班渡轮 ၏ ပထမဆုံးစာလုံး) အတွက် ကုဒ် မရှိသလို Big5 တွင်လည်း မရှိပါ၊ အကြောင်းမှာ ၎င်းသည် ရိုးရှင်းတရုတ်စာလုံး ဖြစ်သည်။ Windows-1252 သည် ဆစ်ရီလစ်စာလုံးများကို သိမ်းဆည်း၍ မရပါ။ ဘာသာပြန်ထားသော ဖိုင်ကို မူရင်း ရှေးဟောင်း ကုဒ်ပြောင်းခြင်းဖြင့် ပြန်ရေးရပါက ပစ်မှတ်ဘာသာစကားသည် ကိုက်ညီချင်မှ ကိုက်ညီမည်။ BookTranslator ၏ TXT ဘာသာပြန်ကိရိယာ သည် အသုံးများသော ကုဒ်ပြောင်းခြင်းများကို အလိုအလျောက် ရှာဖွေပြီး ဘာသာပြန်ထားသော ဖိုင်ကို "ထည့်သွင်းသည့် ဖိုင်နှင့် တူညီသော ကုဒ်ပြောင်းခြင်းဖြင့်" ပြန်ပေးသည်ဟု ဆိုထားသောကြောင့် UTF-8 မှ စတင်ခြင်းက ဤမေးခွန်းကို လုံးဝ ဖယ်ရှားပေးသည်။

မည်သည့် စာသားတည်းဖြတ်ကိရိယာဖြင့်မဆို ပြောင်းနိုင်သည် (မှန်ကန်သော ကုဒ်ပြောင်းခြင်းဖြင့် ဖွင့်ပြီး UTF-8 အဖြစ် "Save as" လုပ်ပါ)၊ macOS သို့မဟုတ် Linux တွင် iconv -f GB18030 -t UTF-8 in.txt > out.txt ဖြင့် သို့မဟုတ် စစ်ဆေးကိရိယာဖြင့် ပြောင်းနိုင်သည်:

python3 check_txt.py convert book.txt book-utf8.txt --encoding gb18030

ဖိုင်တွင် � စာလုံးများ ပါဝင်နေပြီဆိုပါက ပျက်စီးမှုသည် သင်လက်ခံရရှိမီ ဖြစ်ပွားခဲ့ခြင်း ဖြစ်သည်။ ထပ်မံပြောင်းလဲခြင်းက ပျောက်ဆုံးနေသော စာလုံးများကို ပြန်လည်မရယူနိုင်ပါ။ ပိုမိုကောင်းမွန်သော မူရင်းမိတ္တူကို ရှာပါ။

အဆင့် ၂: အခန်းများကို ရှာဖွေရလွယ်ကူအောင် ပြုလုပ်ပါ

အခန်းများသည် အကြောင်းရင်း သုံးခုကြောင့် အရေးကြီးသည်။ ဖိုင်ရှည်ကြီးကို အပိုင်းပိုင်း ဘာသာပြန်ရပြီး အခန်းခွဲခြားမှုများသည် ဖြတ်တောက်ရန် အကောင်းဆုံး နေရာများ ဖြစ်သည်။ ဘာသာပြန်ပြီးနောက် အခန်းတစ်ခန်းချင်းစီကို စစ်ဆေးလိုပါလိမ့်မည်။ နောက်ပိုင်း စာသားကို အီးဘွတ်အဖြစ် ပြောင်းလဲပါက အခန်းခေါင်းစဉ်များသည် မာတိကာ ဖြစ်လာမည်။

ခေါင်းစဉ်တစ်ခုစီကို သီးခြားလိုင်းတွင် ထားပါ၊ ၎င်း၏ အပေါ်နှင့် အောက်တွင် လိုင်းအလွတ်တစ်ခု ထားပါ၊ စာအုပ်တစ်လျှောက်လုံး ပုံစံတစ်မျိုးတည်းကို အသုံးပြုပါ။ ကျွန်ုပ်တို့၏ စစ်ဆေးကိရိယာက ရေတွက်သည့် ပုံစံများမှာ ဤသို့ဖြစ်သည်:

• Chapter 1, Chapter One: The Last Ferry, Part Two, Prologue, Epilogue
• 第一章, 第12回, 第三話, 第二卷
• လိုင်းတစ်ခုတွင် ဂဏန်း သို့မဟုတ် ရောမဂဏန်း တစ်ခုတည်း၊ ဥပမာ 12 သို့မဟုတ် XII.

inspect ကို လုပ်ဆောင်ပြီး ၎င်းတွေ့ရှိသော ခေါင်းစဉ်များစာရင်းကို ဖတ်ပါ။ စာအုပ်တွင် အခန်း ၄၀ ရှိပြီး စစ်ဆေးကိရိယာက ၃၇ ခုကို တွေ့ရှိပါက ခေါင်းစဉ် သုံးခု ပုန်းနေသည်: တစ်ခုက ပထမစာကြောင်းနှင့် ရောနေသည်၊ တစ်ခုက "Ch. 7" ကဲ့သို့ မတူညီသော စကားလုံးကို အသုံးပြုထားသည်၊ သို့မဟုတ် တစ်ခုတွင် တူညီသောလိုင်းပေါ် စာသားပါနေသည်။ ထို သုံးခုကို ကိုယ်တိုင် ပြုပြင်ပါ။ ဘာသာပြန်ထားသော ဖိုင်တွင် ပြဿနာကို ရှာဖွေခြင်းထက် အချိန်ကုန်သက်သာသည်။

အဆင့် ၃: ခက်ခဲသော လိုင်းချိုးမှုများကို ဂရုတစိုက် ဖြေလျှော့ပါ

TXT ဖိုင်အချို့သည် စာသားများ ရိုးရှင်းသော တာမီနယ် သို့မဟုတ် ကျဉ်းမြောင်းသော ဝင်းဒိုးတွင် အံကိုက်ဖြစ်စေရန် လိုင်းတိုင်းကို ပုံသေ အကျယ်ဖြင့် ချိုးထားသည်။ PDF များမှ ကူးယူထားသော စာသားနှင့် OCR ရလဒ်များသည်လည်း ပုံနှိပ်စာမျက်နှာ၏ အကျယ်ဖြင့် အလားတူ ပြုလုပ်သည်။ ဤဖိုင်များတွင် လိုင်းချိုးမှုဆိုသည်မှာ "လိုင်းပြည့်သွားပြီ" ဟု အဓိပ္ပာယ်ရပြီး "စာကြောင်း သို့မဟုတ် စာပိုဒ် ပြီးဆုံးသွားပြီ" ဟု မဆိုလိုပါ။

ခက်ခဲသော လိုင်းချိုးမှုကို ဖော်ထုတ်ရလွယ်ကူသည်။ ကျွန်ုပ်တို့၏ ခက်ခဲစွာချိုးထားသော နမူနာတွင် စစ်ဆေးကိရိယာက ဤသို့ အစီရင်ခံခဲ့သည်:

non-empty lines: 43; longest line: 66 chars; 25 lines within 12 chars of the longest
line breaks inside paragraphs that do not end a sentence: 23
looks hard-wrapped: consider convert --unwrap

ပြုပြင်ရမည့်နည်းလမ်းမှာ စာပိုဒ်တစ်ခုစီအတွင်း လိုင်းများကို ပေါင်းစည်းပြီး စာပိုဒ်များကြားရှိ လိုင်းအလွတ်များကို ထိန်းသိမ်းထားခြင်း ဖြစ်သည်။ ထောင်ချောက်မှာ လိုင်းချိုးမှုများ စစ်မှန်သော စာသားများ ဖြစ်သည်: ကဗျာ၊ သီချင်းစာသား၊ စာများ၊ လိပ်စာများ၊ ချက်ပြုတ်နည်းများနှင့် စာရင်းများ။ ကျွန်ုပ်တို့၏ နမူနာတွင် ငါးလိုင်းပါ စာတစ်စောင် ပါဝင်သည်:

My dear Mara,
The key is under the blue pot.
Do not let your uncle sell the boat.
With love, always,
Nonna

"လိုင်းချိုးမှုတိုင်းကို နေရာလွတ်ဖြင့် အစားထိုးပါ" ဟူသော တိုက်ရိုက်နည်းလမ်းက ၎င်းကို စာကြောင်းရှည်ကြီး တစ်ကြောင်းအဖြစ် ပြောင်းလဲပစ်မည်။ စစ်ဆေးကိရိယာ၏ --unwrap သည် စာပိုဒ်တစ်ခု၏ လိုင်းအများစုသည် အပြည့်အကျယ်နှင့် နီးကပ်နေမှသာ ပေါင်းစည်းသည်၊ ထို့ကြောင့် ဤစာကဲ့သို့ လိုင်းတိုအုပ်စုများကို ချန်ထားခဲ့သည်။ ကျွန်ုပ်တို့၏ နမူနာတွင် ၎င်းသည် မူရင်း မချိုးထားသော ဖိုင်ကို ဘိုက်တစ်ဘိုက်ချင်း အတိအကျ၊ စာပါ အပါအဝင် ပြန်လည်တည်ဆောက်နိုင်ခဲ့သည်။ သင့်ကိုယ်ပိုင်ဖိုင်တွင် ပေါင်းစည်းထားသော စာပိုဒ်အနည်းငယ်နှင့် ကဗျာတိုင်းကို မယုံကြည်မီ စစ်ဆေးပါ။

နောက်ထပ် အသေးစိတ် နှစ်ချက်။ တရုတ် သို့မဟုတ် ဂျပန်စာသား၏ လိုင်းများကို ပေါင်းစည်းသောအခါ ၎င်းတို့ကြားတွင် နေရာလွတ် မထည့်ပါနှင့်; စစ်ဆေးကိရိယာသည် CJK လိုင်းများကို ပေါင်းစည်းရာတွင် CJK သတ်ပုံပါ လိုင်းများ အပါအဝင် နေရာလွတ်မပါဘဲ ပေါင်းစည်းသည်။ သင့်စာသားသည် OCR မှ ရရှိပါက စကားလုံးများကို လိုင်းအဆုံးတွင် တုံးတိုက်ဖြင့် ခွဲထားနိုင်ပြီး ၎င်းအတွက် သီးခြား ဆုံးဖြတ်ချက်များ လိုအပ်သည်။ ကျွန်ုပ်တို့၏ OCR လိုင်းချိုးမှုနှင့် တုံးတိုက်ခြင်းကို ပြုပြင်ရန် လမ်းညွှန် က ထိုအကြောင်းကို ဖော်ပြထားသည်။

ကျွန်ုပ်တို့ စမ်းသပ်ခဲ့သည်များ: ခက်ခဲစွာချိုးထားသော စာသား၊ အပြည့်အစုံနှင့် ဖြတ်တောက်ထားခြင်း

ကျွန်ုပ်တို့သည် hard wrapping သည် ဘာသာပြန်ခြင်းကို အမှန်တကယ် ထိခိုက်စေသလား သို့မဟုတ် ရုပ်ထွက်မလှပုံသာဖြစ်သလားကို သိလိုခဲ့သည်။ စမ်းသပ်မှုအတွက် စကားလုံး ၃၉၆ လုံးပါသော ဝတ္ထုတိုတစ်ပုဒ်ကို ရေးသားခဲ့သည်- အခန်းသုံးခန်း၊ စာပိုဒ်ဆယ့်ငါးပိုဒ်၊ ဆွေးနွေးချက်၊ အထက်ပါစာနှင့် * * * မြင်ကွင်းခွဲခြားမှု။ စကားလုံးများတူညီစွာဖြင့် နှစ်ကြိမ်သိမ်းဆည်းခဲ့သည်- မခြုံထားသော (တစ်ကြောင်းလျှင် စာပိုဒ်တစ်ပိုဒ်) နှင့် စာလုံး ၆၆ လုံးတွင် hard-wrap လုပ်ထားသော (အလွတ်မဟုတ်သော လိုင်း ၄၃ လိုင်းရှိပြီး ၁၉ လိုင်းအစား)။

ထို့နောက် ဒေသတွင်းမော်ဒယ်တစ်ခုကို ရိုးရှင်းသော တရုတ်ဘာသာသို့ နည်းလမ်းသုံးမျိုးဖြင့် တစ်မျိုးလျှင် သုံးကြိမ်စီ ဘာသာပြန်စေခဲ့သည်-

1. Hard-wrap လုပ်ထားသော၊ ဖိုင်တစ်ခုလုံး။ Hard-wrap လုပ်ထားသောဖိုင်ကို တောင်းဆိုမှုတစ်ခုတည်းဖြင့်။
2. မခြုံထားသော၊ ဖိုင်တစ်ခုလုံး။ မခြုံထားသောဖိုင်ကို တောင်းဆိုမှုတစ်ခုတည်းဖြင့်။
3. Hard-wrap လုပ်ထားသော၊ လိုင်း ၁၂ လိုင်းတိုင်း ဖြတ်ထားသည်။ Hard-wrap လုပ်ထားသောဖိုင်ကို လိုင်း ၁၂ လိုင်းတိုင်း ခွဲပြီး အပိုင်းတစ်ခုလျှင် တောင်းဆိုမှုတစ်ခု၊ ပြန်ကြားချက်များကို ပြန်လည်ပေါင်းစပ်ထားသည်။ ဤသည်မှာ script သို့မဟုတ် ကိရိယာတစ်ခုက ရှည်လျားသောဖိုင်ကို စာပိုဒ်အလိုက်မဟုတ်ဘဲ လိုင်းအရေအတွက်အလိုက် ခွဲသည့်အခါ ဖြစ်ပျက်သည့်အရာဖြစ်သည်။

မော်ဒယ်မှာ LM Studio ထဲရှိ Qwen 3.6 27B (Q4_K_M) ဖြစ်ပြီး thinking ကို ပိတ်ထားကာ temperature 0.3၊ Apple M4 Max (မမ်မိုရီ 64 GB) ပေါ်တွင် အသုံးပြုခဲ့သည်။ တောင်းဆိုမှုတိုင်းတွင် တစ်ကြောင်းတည်းသော prompt ကို အသုံးပြုခဲ့သည်။ ၂၀၂၆ ခုနှစ် အောက်တိုဘာလ ၂၈ ရက်နေ့တွင် လုပ်ဆောင်ခဲ့သည်။ script မှာ run_llm_txt_test.py ဖြစ်ပြီး ရလဒ်ကိုးခုစလုံးကို တည်းဖြတ်ခြင်းမရှိဘဲ ထုတ်ဝေထားကာ results.csv တွင် တစ်ကြိမ်လျှင် အတန်းတစ်တန်းစီ ပါဝင်သည်။

ပထမတွေ့ရှိချက်က ကျွန်ုပ်တို့ကို အံ့အားသင့်စေခဲ့သည်။ မော်ဒယ်သည် ခက်ခဲစွာထုပ်ပိုးထားသော ဖိုင်တစ်ခုလုံးကို မြင်သောအခါ လိုင်းများကို သူကိုယ်တိုင် ပေါင်းစပ်လိုက်သည်။ ထွက်ရှိမှုသုံးခုစလုံးတွင် တစ်လိုင်းလျှင် တစ်ပိုဒ်စီပါဝင်ပြီး မထုပ်ပိုးထားသော အပြေးများနှင့် တူညီသော ၁၉ လိုင်းရှိကာ ဖတ်ရလည်း ကောင်းမွန်ပါသည်။ ထို့ကြောင့် ခက်ခဲစွာထုပ်ပိုးခြင်းတစ်ခုတည်းက ဤအတိုဖိုင်တွင် ဤမော်ဒယ်ကို မထိခိုက်စေခဲ့ပါ။

လိုင်းအရေအတွက်ဖြင့် ဖိုင်ကို ဖြတ်တောက်ခြင်းက ထိခိုက်မှုရှိခဲ့ပြီး နေရာတိုင်းတွင် တူညီသောနေရာများ၌ ဖြစ်ပွားခဲ့သည်။ ၁၂ လိုင်းပါ အပိုင်းသုံးပိုင်းသည် ဝါကျတစ်ခု၏ အလယ်တွင် အဆုံးသတ်သွားခဲ့သည်။ ပထမအပိုင်းသည် "He pointed with his" တွင် အဆုံးသတ်ပြီး နောက်အပိုင်းက "pen at a three-storey building on the corner." ဖြင့် စတင်သည်။ သီးခြားဘာသာပြန်သောအခါ ဒုတိယတစ်ဝက်သည် ၎င်း၏ကတ္တားကို ဆုံးရှုံးသွားသည်။ အပြေးနှစ်ခုတွင် ၎င်းသည် 她瞥了一眼街角那栋三层楼的建筑၊ "she glanced at the three-storey building on the corner." အဖြစ် ပြန်လာခဲ့သည်။ တတိယအပြေးတွင် ၎င်းသည် 随后她重新回到填字游戏上၊ "then she went back to the crossword." ဖြင့် အဆုံးသတ်ခဲ့သည်။ ဇာတ်လမ်းထဲတွင် လက်မှတ်ရုံမှ လူက လက်ညှိုးထိုးပြပြီး သူ၏စကားဝှက်ပဟေဠိသို့ ပြန်သွားသည်။ အပြေးသုံးခုစလုံးတွင် တရုတ်စာဖတ်သူက Mara က လုပ်ခဲ့သည်ဟု ထင်မြင်လိမ့်မည်။

ဒုတိယဖြတ်တောက်မှုသည် "the careful, slightly old-fashioned hand she had learned at a" နှင့် "convent school," အကြားတွင် ရှိပြီး တရုတ်ဝါကျကို 那是她在၊ "that was where she," တွင် အပြေးသုံးခုစလုံး၌ ချိတ်ဆွဲထားခဲ့သည် (အပြေးတစ်ခုတွင် ပိုလျှံသော 一 ကို ထည့်ခဲ့သည်)၊ "learned" ဟူသော စကားလုံးလည်း ပျောက်ကွယ်သွားခဲ့သည်။ တတိယဖြတ်တောက်မှုက ပြတင်းပေါက်များအကြောင်း ဝါကျကို လိုင်းနှစ်လိုင်းအဖြစ် ခွဲခြမ်းခဲ့ပြီး ဒုတိယတစ်ဝက်က "painted, not well, but not long ago" ကို ဆေးသုတ်ခြင်း ကွာကျနေသည့်အဖြစ် ပြောင်းလဲခဲ့သည်- အပြေးနှစ်ခုတွင် 油漆虽已斑驳 နှင့် တတိယအပြေးတွင် 油漆剥落။ ထို့ပြင် အပိုင်းများကို လိုင်းချိုးတစ်ခုတည်းဖြင့် ပေါင်းစပ်ထားသောကြောင့် မြင်ကွင်းခွဲခြားမှုမတိုင်မီ ကွက်လပ်လိုင်းသည် ပျောက်ကွယ်သွားခဲ့ပြီး ထို့ကြောင့် အပြေးတစ်ခုစီတွင် ပိုဒ် ၁၅ ခုအစား ၁၄ ခု ရှိခဲ့သည်။ ကျွန်ုပ်တို့၏ စစ်ဆေးမှုစနစ်က ပိုဒ်အရေအတွက်ကို ဖမ်းမိခဲ့သည်။ မှားယွင်းသော စာလုံးကို မဖမ်းမိနိုင်ခဲ့ပါ။ ကျွန်ုပ်တို့ ဖတ်ကြည့်ခြင်းဖြင့် တွေ့ရှိခဲ့သည်။

ဤအချက်က သင့်ဖိုင်အတွက် ဘာကို ဆိုလိုသနည်း-

• ထုပ်ပိုးမှုဖြေလျော့ခြင်းက သင်မထိန်းချုပ်နိုင်သော ခွဲခြမ်းစက်များမှ သင့်ကို ကာကွယ်ပေးသည်။ ရှည်လျားသော ဖိုင်တိုင်းကို သင့်ကိုယ်ပိုင် script၊ chat window ၏ ကန့်သတ်ချက် သို့မဟုတ် သင်တင်သော ကိရိယာဖြင့် တစ်နေရာရာတွင် ခွဲခြမ်းရသည်။ ပိုဒ်များသည် ကွက်လပ်လိုင်းများဖြင့် ကွဲထားသော လိုင်းတစ်လိုင်းစီဖြစ်ပါက ကျိုးကြောင်းဆီလျော်သော ခွဲခြမ်းစက်တိုင်းသည် ဝါကျအတွင်းမဟုတ်ဘဲ ပိုဒ်များအကြားတွင် ဖြတ်တောက်နိုင်သည်။
• အဆိုးဆုံး အမှားများသည် ချောမွေ့သော ဘာသာပြန်ချက်များ ဖြစ်ခဲ့သည်။ "She glanced at the building" သည် ကောင်းမွန်သော တရုတ်စာဖြစ်သည်။ ဖတ်သူသည် ဖြတ်တောက်မှုတစ်ခုစီတွင် ထူးဆန်းသော လိုင်းချိုးမှုများနှင့် ချိတ်ဆွဲနေသော 那是她在 ကို သတိထားမိမည်ဖြစ်သော်လည်း မှားယွင်းသော စာလုံး သို့မဟုတ် ကွာကျနေသော ဆေးသုတ်ခြင်းကို အမှားအဖြစ် မည်သည့်အရာကမျှ အမှတ်အသားမပြုပါ။ ဖြတ်တောက်မှုနေရာများရှိ အမှားများသည် ပထမဦးစွာ အဓိပ္ပာယ်အမှားများဖြစ်ပြီး ဒုတိယမှသာ ဖော်မတ်အမှားများဖြစ်သည်။
• ဤသည်မှာ မော်ဒယ်တစ်ခုနှင့် ဇာတ်လမ်းတိုတစ်ပုဒ်သာ ဖြစ်သည်။ ဤမျှတိုသောဖိုင်သည် တောင်းဆိုမှုတစ်ခုတည်းတွင် ဆန့်ဝင်သောကြောင့် ဖိုင်တစ်ခုလုံး အပြေးများသည် မည်သည့်အရာကိုမျှ ခွဲခြမ်းရန် မလိုအပ်ခဲ့ပါ။ ဝတ္ထုတစ်ပုဒ်လုံးကိုမူ ခွဲခြမ်းရမည်ဖြစ်ပြီး ထိုအချိန်တွင်ပင် အဆင့် ၁ မှ ၃ အထိ ပြင်ဆင်မှုသည် အကျိုးရှိလာသည်။ ဤဖိုင်များသည် ပြင်ဆင်မှုနှင့် ခွဲခြမ်းမှုကို စမ်းသပ်ခြင်းဖြစ်ပြီး BookTranslator ၏ ကိုယ်ပိုင် pipeline ကို မဟုတ်ပါ။

အသေးစားလေ့လာတွေ့ရှိချက်တစ်ခု- ဖိုင်တစ်ခုလုံး အပြေးခြောက်ခုအနက် မော်ဒယ်သည် Mara ၏အမည်ကို ငါးခုတွင် 玛拉 ဟူ၍လည်းကောင်း၊ တစ်ခုတွင် 马拉 ဟူ၍လည်းကောင်း ရေးသားခဲ့သည်။ ထွက်ရှိမှုတစ်ခုစီသည် မိမိကိုယ်တိုင် ညီညွတ်သော်လည်း သီးခြားတောင်းဆိုမှုများသည် တစ်ခုနှင့်တစ်ခု မကိုက်ညီခဲ့ပါ။ အပိုင်းများစွာဖြင့် ဘာသာပြန်သော ရှည်လျားသည့် စာအုပ်တစ်အုပ်အတွက် အမည်များနှင့် ၎င်းတို့၏ သဘောတူညီထားသော စာလုံးပေါင်းများစာရင်းက အခန်းတိုင်းကို ညီညွတ်စေသည်။ ကျွန်ုပ်တို့၏ glossary လမ်းညွှန် တွင် တစ်ခုကို မည်သို့တည်ဆောက်ရမည်ကို ပြသထားသည်။

အဆင့် ၄- ဘာသာပြန်ပြီးနောက် အရေအတွက်များကို စစ်ဆေးပါ

ဖိုင်သန့်ရှင်းသောအခါ ဘာသာပြန်ခြင်းသည် လွယ်ကူသောအပိုင်းဖြစ်သည်။ သင်သည် ၎င်းကို BookTranslator ၏ TXT ဘာသာပြန်ကိရိယာ သို့ တင်နိုင်ပြီး ၎င်းသည် .txt၊ .md နှင့် .mdx ဖိုင်များကို လက်ခံသည်၊ TXT ဖိုင်များကို 300 MB အထိ ကိုင်တွယ်နိုင်သည်ဟု ဆိုကာ ငွေရှင်းမတိုင်မီ စျေးနှုန်းကို ပြသသည်။ အခမဲ့ ဘာသာပြန်ခြင်း အပြည့်အစုံ မရှိသော်လည်း တင်ခြင်းကိုယ်တိုင်က ကုန်ကျစရိတ်ကို ပြောပြသည်။ သင်သည် chat မော်ဒယ် သို့မဟုတ် ဒေသတွင်း LLM ဖြင့် အလုပ်လုပ်လိုပါက ဖိုင်ကို အခန်း သို့မဟုတ် ပိုဒ်နယ်နိမိတ်များတွင် သင်ကိုယ်တိုင် ခွဲခြမ်းပြီး အမည်များအတွက် glossary တစ်ခု ထားရှိပါ။ သင့်စာသားသည် ရိုးရှင်းသော စကားပြေမဟုတ်ဘဲ Markdown ဖြစ်ပါက ကျွန်ုပ်တို့၏ Markdown ဘာသာပြန်လမ်းညွှန် ကို ကြည့်ပါ၊ အကြောင်းမှာ Markdown syntax တွင် ၎င်း၏ကိုယ်ပိုင် စည်းမျဉ်းများ လိုအပ်သည်။

ဘာသာပြန်ပြီးနောက် ဖိုင်နှစ်ခုကို နှိုင်းယှဉ်ပါ-

python3 check_txt.py compare book-utf8.txt book-translated.txt

ဖိုင်တစ်ခုခုသည် UTF-8 မဟုတ်ပါက --source-encoding သို့မဟုတ် --translated-encoding ကို ထည့်ပါ။ အခန်းစစ်ဆေးမှုသည် အင်္ဂလိပ်နှင့် တရုတ်/ဂျပန် ခေါင်းစဉ်ပုံစံများကို သိသည်။ အခြားပစ်မှတ်ဘာသာစကားများအတွက် script ၏ထိပ်ရှိ ပုံစံသို့ "အခန်း" အတွက် ဒေသခံစကားလုံးကို ထည့်ပါ။

ဤသည်မှာ ကျွန်ုပ်တို့၏ ဖြတ်တောက်ထားသော အပြေးတစ်ခုအတွက် အစီရင်ခံစာဖြစ်သည်-

                            source  translated
paragraphs                      15          14  <- differs
chapter headings                 3           3
non-empty lines                 43          24  <- differs
scene breaks (* * *)             1           1
replacement chars                0           0
source script LATIN characters left in translation: 0

ဤသို့ဖတ်ပါ-

• ပိုဒ်များနှင့် အခန်းခေါင်းစဉ်များ ကိုက်ညီသင့်သည်။ ပျောက်ဆုံးနေသော ပိုဒ်တစ်ခုသည် မကြာခဏ နှစ်ခုကို ပေါင်းစပ်လိုက်ခြင်း သို့မဟုတ် တစ်ခုကို ချန်လှပ်လိုက်ခြင်းကို ဆိုလိုသည်။
• ဗလာမဟုတ်သော လိုင်းများ သည် ကောင်းသောအကြောင်းပြချက်ဖြင့် ကွဲပြားနိုင်သည်။ ကျွန်ုပ်တို့၏ ဖိုင်တစ်ခုလုံး ထုပ်ပိုးထားသော အပြေးများသည် လိုင်း ၄၃ လိုင်းမှ ၁၉ လိုင်းသို့ ရောက်သွားခဲ့ပြီး အကြောင်းမှာ မော်ဒယ်က ခက်ခဲစွာထုပ်ပိုးထားသော လိုင်းများကို ပေါင်းစပ်လိုက်ခြင်းဖြစ်ပြီး ၎င်းသည် တိုးတက်မှုတစ်ခုဖြစ်သည်။ မူရင်းသည် ထုပ်ပိုးမှုမရှိဘဲ ဖြစ်နေမှသာ လိုင်းများကို နှိုင်းယှဉ်ပါ။
• ကျန်ရှိနေသော မူရင်းစာလုံးများ သည် လုံးဝဘာသာမပြန်သော အပိုဒ်များကို ညွှန်ပြသည်။ အမည်များ၊ ထုတ်ကုန်ဝေါဟာရများ သို့မဟုတ် ကိုးကားချက်များအတွက် အနည်းငယ်သည် ပုံမှန်ဖြစ်သည်။ ၎င်းတို့ဆက်တိုက်ပါလာပါက ကျော်လွှားထားသော အပိုင်းတစ်ခုဖြစ်သည်။
• ဘာသာပြန်ချက်ထဲရှိ အစားထိုးစာလုံးများ သည် ထွက်ရှိလာစဉ် encoding ပြဿနာတစ်ခုကို ဆိုလိုသည်။

အရေအတွက်များက ဘာသာပြန်ချက် မှန်/မမှန်ကို မပြောနိုင်ပါ။ အခန်းတစ်ခန်းစီ၏ ပထမနှင့် နောက်ဆုံးပိုဒ်များနှင့် ဖိုင်ကို ခွဲခြမ်းခဲ့သည့် နေရာတိုင်း၏ နှစ်ဖက်စလုံးရှိ ပိုဒ်များကို ဖတ်ပါ။ ကျွန်ုပ်တို့၏ စမ်းသပ်မှုက ကြီးလေးသော အမှားတိုင်းကို တွေ့ရှိခဲ့သည်မှာ ထိုနေရာများတွင်ဖြစ်သည်။

အမေးများသော မေးခွန်းများ

ကျွန်ုပ်၏ TXT ဖိုင်သည် ပရိုဂရမ်တစ်ခုတွင် ကောင်းမွန်နေပြီး အခြားတစ်ခုတွင် လွဲမှားနေရသည်မှာ အဘယ်ကြောင့်နည်း။

ပရိုဂရမ်နှစ်ခုက မတူညီသော encoding များကို ခန့်မှန်းခဲ့သည်။ တစ်ခုက မှန်ကန်စွာ ခန့်မှန်းခဲ့သည်။ စာသားကို မှန်ကန်စွာ ပြသသော encoding ကို ရှာပြီး ဖိုင်ကို UTF-8 အဖြစ် သိမ်းဆည်းပါ၊ သို့မှသာ ပရိုဂရမ်တိုင်းက ၎င်းကို တူညီစွာ ဖတ်နိုင်မည်ဖြစ်သည်။

ဘာသာမပြန်မီ TXT ဖိုင်ကို EPUB သို့မဟုတ် DOCX အဖြစ် ပြောင်းသင့်ပါသလား။

ထို format များ ထပ်တိုးပေးသည့် အရာများကို သင်လိုချင်မှသာ။ ရှင်းလင်းသော အခန်းများပါဝင်သည့် သန့်ရှင်းသော TXT ဖိုင်သည် ရှိပြီးသားအတိုင်း ကောင်းမွန်စွာ ဘာသာပြန်နိုင်ပါသည်။ မာတိကာ၊ အခန်း လမ်းညွှန်မှုနှင့် စက်ပစ္စည်းတစ်ခုပေါ်တွင် ဖတ်ရှုနိုင်သော ebook တစ်ခုကို သင်လိုချင်ပါက ဝဘ်ဝတ္ထုတစ်ခုကို ဘာသာပြန်ရန် အသင့်ဖြစ်သော EPUB အဖြစ် ပြောင်းလဲခြင်း ဆိုင်ရာ ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်တွင် အသေးစိတ် ရှင်းပြထားပါသည်။

ဘာသာစကား ရောနှောထားသော TXT ဖိုင်ကို ဘာသာပြန်နိုင်ပါသလား။

ရပါသည်၊ သို့သော် ဘာသာပြန်သူအား မည်သည့်အရာကို မပြောင်းလဲဘဲ ထားရမည်ကို ပြောပြပါ။ တတိယ ဘာသာစကားဖြင့် ကိုးကားချက်များ သို့မဟုတ် ဝေါဟာရများနှင့် မူရင်း အက္ခရာဖြင့် ထားရှိသင့်သော အမည်များကို နောက်မှ ပြင်ဆင်ခြင်းထက် ဝေါဟာရစာရင်း သို့မဟုတ် အတိုချုပ် ညွှန်ကြားချက်ဖြင့် ကာကွယ်ရန် ပိုမိုလွယ်ကူပါသည်။

ဝဘ်ဆိုက်တစ်ခုမှ ဒေါင်းလုဒ်လုပ်ထားသော TXT ဖိုင်ကော မည်သို့နည်း။

၎င်းကို အသုံးပြုရန် သင့်တွင် ရပိုင်ခွင့်ရှိကြောင်း စစ်ဆေးပါ။ အများပြည်သူပိုင် စာအုပ်များ သို့မဟုတ် သင်ကိုယ်တိုင် ရေးသားထားသော ဖိုင်များအတွက် အထက်ပါ အဆင့်များ အကျုံးဝင်ပါသည်။ ဖိုင်၏ encoding သို့မဟုတ် format သည် မူပိုင်ခွင့်နှင့် ပတ်သက်၍ မည်သည့်အရာကိုမျှ မဖော်ပြပါ။