ဒေသတွင်း LLM ဖြင့် စာရွက်စာတမ်းအရှည်ကြီးများကို ဘယ်လိုဘာသာပြန်မလဲ- အပိုင်းများနှင့် စစ်ဆေးမှုများ

လူများသည် ဒေသတွင်း LLM ဖြင့် စာရွက်စာတမ်းများကို ဘာသာပြန်ရသည့် အကြောင်းရင်းတစ်ခုမှာ ဖိုင်သည် ၎င်းတို့၏ စက်မှ မထွက်ခွာနိုင်သောကြောင့် ဖြစ်သည်။ ဒေသတွင်း မော်ဒယ်တစ်ခုက အလုပ်ကို လုပ်နိုင်သော်လည်း ၎င်းသည် သင့်အား ရိုးရိုးစာသားကို ပေးသည်၊ ဘာသာပြန်ထားသော ဖိုင်ကို မဟုတ်ပါ၊ ပြီးတော့ ၎င်း၏ အဆိုးဆုံး အမှားများသည် တိတ်ဆိတ်နေတတ်သည်။ ကျွန်ုပ်တို့၏ စမ်းသပ်မှုတွင် စကားလုံး ၃,၁၇၉ လုံးပါသော ကောက်နုတ်ချက်အတွက် တောင်းဆိုမှုတစ်ခုတည်းက မှန်ကန်သော စာပိုဒ်အရေအတွက်နှင့် သန့်ရှင်းသော အပြီးသတ် အချက်ပြမှုဖြင့် ပြန်လာခဲ့သော်လည်း စာပိုဒ်တစ်ခုတွင် ၎င်း၏ အကြောင်းအရာ သုံးပုံတစ်ပုံကျော် ဆုံးရှုံးသွားပြီး မူရင်းတွင် မပါသော စာကြောင်းများ ထပ်တိုးလာခဲ့သည်။

အတိုချုံးအဖြေ- စာသားကို စာပိုဒ်နယ်နိမိတ်များတွင် စကားလုံး ၆၀၀ ခန့်ရှိသော အပိုင်းများအဖြစ် ခွဲပါ၊ အမည်များနှင့် ထပ်တလဲလဲ သုံးသော ဝေါဟာရများ၏ ဝေါဟာရစာရင်းကို စနစ်ညွှန်ကြားချက်တွင် ထည့်ပါ၊ မော်ဒယ်၏ တွေးခေါ်မှုမုဒ်ကို ပိတ်ပါ၊ ပြီးတော့ မယုံကြည်မီ အပိုင်းတစ်ခုချင်းစီကို ၎င်း၏ မူရင်းစာပိုဒ်နှင့် စာပိုဒ်အလိုက် နှိုင်းယှဉ်ပါ။ ကျွန်ုပ်တို့ စမ်းသပ်မှု လုပ်ဆောင်ခဲ့သော နည်းလမ်းသုံးမျိုးစီသည် တစ်နေရာရာတွင် ကျရှုံးခဲ့ပြီး မည်သည့် ကျရှုံးမှုကမျှ အမှားအယွင်း သတင်းစကား မထုတ်ပေးခဲ့ပါ။ လက်တော့ပ်ပေါ်ရှိ အလတ်စား မော်ဒယ်တစ်ခုသည် စာအုပ်တစ်အုပ်လုံးအတွက် နာရီများစွာ ကြာနိုင်သည်ဟု မျှော်လင့်ပြီး ဖော်မတ်ကို သင်ကိုယ်တိုင် ပြန်လည်တည်ဆောက်ရန် စီစဉ်ပါ။

အောက်ပါအရာအားလုံးသည် ၂၀၂၆ ခုနှစ် အောက်တိုဘာလ ၂၃ ရက်နေ့က တစ်ကြိမ် လုပ်ဆောင်ခဲ့သည့် စမ်းသပ်မှုတစ်ခုမှ ရယူထားခြင်း ဖြစ်သည်- Apple M4 Max တွင် မမ်မိုရီ ၆၄ GB ဖြင့် LM Studio 0.4.8 တွင် Qwen 3.6 27B (Q4_K_M GGUF) ကို အသုံးပြု၍ Kafka ၏ Die Verwandlung အဖွင့်ပိုင်းကို ဂျာမန်မှ အင်္ဂလိပ်သို့ ဘာသာပြန်ခြင်း ဖြစ်သည်။ စမ်းသပ်မှု ဇာတ်ညွှန်း၊ ရလဒ်များနှင့် ကုန်ကြမ်း ကျရှုံးမှု ဥပမာများ ကို အခမဲ့ ဒေါင်းလုဒ်ရယူနိုင်ပြီး သင့်ကိုယ်ပိုင် မော်ဒယ်ဖြင့် ပြန်လည် စမ်းသပ်နိုင်သည်။

ဒေသတွင်း LLM သည် မှန်ကန်သော ကိရိယာ ဖြစ်သည့်အခါ

စာရွက်စာတမ်း၏ စည်းမျဉ်းများက အဆင်ပြေမှုမဟုတ်ဘဲ ဆုံးဖြတ်ချက်ကို ချမှတ်သောအခါ ဘာသာပြန်ခြင်းကို ဒေသတွင်းတွင် လုပ်ဆောင်ပါ-

• ဖောက်သည်စာချုပ်၊ သုတေသန သဘောတူညီချက် သို့မဟုတ် အလုပ်ရှင် မူဝါဒက ဖိုင်ကို ပြင်ပ ဝန်ဆောင်မှုသို့ တင်ခြင်းကို တားမြစ်ထားသည်။
• စာသားသည် ကိုယ်ရေးကိုယ်တာ သို့မဟုတ် လျှို့ဝှက်ချက် ဖြစ်ပြီး အရေးကြီးသော အစိတ်အပိုင်းများကို ဦးစွာ ဖယ်ရှားနိုင်ခြင်း မရှိပါ။ သို့မဟုတ်
• စာရွက်စာတမ်းတစ်ခုလျှင် ကုန်ကျစရိတ်မရှိဘဲ ဖိုင်များစွာကို လုပ်ဆောင်ရန် လိုအပ်ပြီး သင့်တွင် သင့်လျော်သော ဟာ့ဒ်ဝဲ ရှိပြီးသား ဖြစ်သည်။

ဤအချက်များထဲမှ တစ်ခုမျှ မသက်ဆိုင်ပါက ဒေသတွင်း မော်ဒယ်သည် ပိုမိုဆိုးရွားသော ရလဒ်ဆီသို့ ပိုမိုနှေးကွေးသော လမ်းကြောင်း ဖြစ်လေ့ရှိသည်။ စာရွက်စာတမ်း ဘာသာပြန် ဝန်ဆောင်မှုတစ်ခုက ပေးသော အရာသုံးခုကို သင်စွန့်လွှတ်ရသည်- မူရင်းဖော်မတ်ဖြင့် ဘာသာပြန်ထားသော ဖိုင်၊ သင့်စက် ထိန်းသိမ်းနိုင်သည်ထက် ပိုကြီးသော မော်ဒယ်၊ နှင့် စာအုပ်တစ်အုပ်လုံးအတွက် ညီညွတ်မှုအတွက် တည်ဆောက်ထားသော လုပ်ငန်းအသွားအလာ။ မည်သည့်လမ်းကြောင်းကို ရွေးချယ်ခြင်းမပြုမီ စာရွက်စာတမ်း ဘာသာပြန် ကိုယ်ရေးကိုယ်တာ လုံခြုံရေး စစ်ဆေးစာရင်း ကို ဖြတ်သန်းကြည့်ပါ။ ၎င်းတွင် ဖိုင်ကို လုပ်ဆောင်ရန် အခွင့်အာဏာ၊ အနည်းဆုံး အလုပ်လုပ်သော မိတ္တူများ၊ နှင့် ဝန်ဆောင်မှုတစ်ခုက တင်သွင်းမှုများနှင့် ဘာလုပ်သည်ကို ဖော်ပြထားသည်။

"ဒေသတွင်း" ဟူသော စကားလုံးသည်လည်း တိကျသော အဓိပ္ပာယ် လိုအပ်သည်။ မော်ဒယ်သည် သင့်ကွန်ပျူတာပေါ်တွင် အလုပ်လုပ်ပြီး ကျွန်ုပ်တို့၏ စမ်းသပ်မှုတွင် တောင်းဆိုမှုများသည် localhost သို့သာ သွားခဲ့သည်။ ယင်းက မော်ဒယ်၏ ပတ်ဝန်းကျင်ရှိ အက်ပ်က မည်သည့်အရာများကို မှတ်တမ်းတင်သည်၊ အပ်ဒိတ်လုပ်သည် သို့မဟုတ် အစီရင်ခံသည်ကို မပြောပါ။ သင့်စည်းမျဉ်းများက မည်သည့်အရာမျှ စက်မှ မထွက်ခွာကြောင်း သက်သေပြရန် လိုအပ်ပါက runtime ၏ ကိုယ်ပိုင် ဆက်တင်များနှင့် မူဝါဒကို စစ်ဆေးပါ၊ သို့မဟုတ် ကွန်ရက် မရှိသော စက်တွင် ၎င်းကို လုပ်ဆောင်ပါ။

ကျွန်ုပ်တို့ စမ်းသပ်ခဲ့သည့်အရာ

ကျွန်ုပ်တို့သည် Die Verwandlung ၏ ပထမ စာပိုဒ် ၁၉ ခု (ဂျာမန် စကားလုံး ၃,၁၇၉ လုံး) ကို အများပိုင် Project Gutenberg ထုတ်ဝေမှု မှ ဘာသာပြန်ခဲ့သည်။ စာပေ ဂျာမန်ဘာသာသည် သင့်လျော်သော ဖိစီးမှု စမ်းသပ်မှုတစ်ခု ဖြစ်သည်- စာပိုဒ်များသည် ရှည်သည်၊ စာကြောင်းများ ထပ်နေပြီး တူညီသော ဇာတ်ကောင်များနှင့် ရာထူးအမည်များ ထပ်တလဲလဲ ပါဝင်သည်။

အပြေးသုံးခုစီသည် တူညီသော မော်ဒယ်နှင့် ဆက်တင်များကို အသုံးပြုခဲ့သည်- အပူချိန် 0.2၊ အများဆုံး ထွက်ရှိ token ၁၂,၀၀၀ နှင့် ၁၆,၃၈၄ token ရှိသော ကွန်တက်စ် ဝင်းဒိုး။ ညွှန်ကြားချက်က ဂျာမန် စာပိုဒ်တစ်ခုလျှင် အင်္ဂလိပ် စာပိုဒ်တစ်ခု တောင်းဆိုပြီး အခြားမည်သည့်အရာမျှ မတောင်းဆိုပါ။

အကြိမ်တိုင်း ပုံမှန် ရပ်တန့်အချက်ပြမှုဖြင့် ပြီးဆုံးခဲ့ပြီး အကြိမ်တိုင်းတွင် မတူညီသော တိတ်ဆိတ်အမှားတစ်ခု ပါဝင်ခဲ့သည်။ Run C သည် စာသားများ ကျခဲ့ပြီး လုပ်ကြံရေးသားခဲ့သည်။ Run B သည် ကျော်လွှားရန် ပြောထားသော စာသားကို ဘာသာပြန်ခဲ့သည်။ အသန့်ရှင်းဆုံးဖြစ်သော Run A သည် ၎င်း၏ နောက်ဆုံးအပိုင်းတွင် ဇာတ်ကောင်တစ်ဦးကို မှားယွင်းသော တာဝန်ပေးခဲ့သည်။

မအောင်မြင်မှု ၁ − တစ်ကြိမ်တည်း ကြီးမားသော တောင်းဆိုမှုက စာပိုဒ်တစ်ပိုဒ်၏ အစိတ်အပိုင်းကို ကျခဲ့သည်

Run C သည် ပုံမှန်အတိုင်း ပြီးဆုံးခဲ့ပြီး စာပိုဒ် ၁၉ ခု အတိအကျ ပြန်လာခဲ့သည်။ စာပိုဒ်အရေအတွက် စစ်ဆေးမှုက ၎င်းကို အောင်မြင်စေမည် ဖြစ်သည်။ သို့သော် စာပိုဒ် ၆ သည် မူရင်း စကားလုံး ၂၆၀ ရှိရာမှ စကားလုံး ၂၁၄ ဖြင့် ပြန်လာခဲ့သည်။

မူရင်းတွင် Gregor သည် နာရီကို ကြည့်ပြီး ရထားလွတ်သွားကြောင်း သိရှိကာ နေမကောင်းဟု ဖုန်းဆက်ရန် စဉ်းစားသည်− သူ၏ အထက်လူကြီးသည် ကျန်းမာရေးအာမခံ ဆရာဝန်နှင့်အတူ ရောက်လာမည်ဖြစ်ပြီး ထိုဆရာဝန်က လူတိုင်းကို ကျန်းမာသော်လည်း အလုပ်မလုပ်လိုသူများအဖြစ် ရှုမြင်သည်။ Gregor ကမူ အိပ်ငိုက်ခြင်းနှင့် ပုံမှန်မဟုတ်သော အစားအသောက်စိတ်ကြွခြင်းမှလွဲ၍ အမှန်တကယ် နေကောင်းနေကြောင်း ဝန်ခံသည်။ Run C သည် ပထမပိုင်းကို ဘာသာပြန်ပြီးနောက် နေမကောင်းခွင့်ယူသည့် အပိုင်းတစ်ခုလုံးကို ကျခဲ့သည်− ထိုစာပိုဒ်၏ ဂျာမန်စကားလုံး ၂၆၀ အနက် ၉၈ လုံး ဖြစ်သည်။ ၎င်း၏ နေရာတွင် Gregor သည် "ချက်ချင်း အလုပ်ထုတ်ခံရမည်" ဖြစ်ကြောင်း၊ ရုံးအကူသည် "သူ့ထံ တင်ပြသမှုတိုင်းကို မိမိကိုယ်ကို ပြသရန် အခွင့်အရေးအဖြစ် ရှုမြင်တတ်" ကြောင်း၊ ထိုအတွေးက "သူ၏ နှုတ်ခမ်းပေါ်တွင် အပြုံးတစ်ခု ပေါ်စေ" ကြောင်း ရေးသားခဲ့သည်။ ထိုအရာများထဲမှ တစ်ခုမျှ ဂျာမန်မူရင်းတွင် မပါဝင်ပါ။

အပိုင်းခွဲထားသော run သည် တူညီသော စာပိုဒ်ကို စကားလုံး ၂၆၇ ဖြင့် အပြည့်အစုံ ဘာသာပြန်ခဲ့သည်။

နမူနာတစ်ခုတည်းက ရှည်လျားသော တောင်းဆိုမှုများ အမြဲတမ်း မအောင်မြင်ကြောင်း သက်သေမပြနိုင်ပါ။ သို့သော် စစ်ဆေးရမည့်အရာကို ပြသသည်− ရှည်လျားသော တစ်ကြိမ်တည်း တောင်းဆိုမှုတစ်ခုသည် ဖွဲ့စည်းပုံအရ ပြည့်စုံနေပုံရှိသော်လည်း စာသားများကို တိတ်ဆိတ်စွာ ချုံ့ခြင်း သို့မဟုတ် လုပ်ကြံခြင်း ပြုနိုင်သည်။ ဂျာမန်စကား မတတ်သော စာဖတ်သူအတွက် သတိထားမိရန် အကြောင်းမရှိပါ။

မအောင်မြင်မှု ၂ − မော်ဒယ်က ကျော်လွှားရန် ပြောထားသော "အကြောင်းအရာ" ကို ဘာသာပြန်ခဲ့သည်

အသုံးများသော အကြံပြုချက်တစ်ခုမှာ မော်ဒယ်က ဆက်စပ်မှုကို ထိန်းသိမ်းနိုင်ရန် အပိုင်းတစ်ခုစီနှင့်အတူ ယခင်စာပိုဒ်ကို ပို့ခြင်း ဖြစ်သည်။ Run B တွင် ကျွန်ုပ်တို့သည် ၎င်းကို "အကြောင်းအရာ (ဘာသာပြန်ပြီးသား၊ မဘာသာပြန်ပါနှင့်)" ဟူသော အမှတ်အသားအောက်တွင် မက်ဆေ့ချ်ထဲသို့ ထည့်ခဲ့သည်။

အပိုင်း ၄ တွင် မော်ဒယ်က မည်သို့ပင်ဖြစ်စေ ဘာသာပြန်ခဲ့သည်။ ထိုအပိုင်းသည် မူရင်းစာပိုဒ် ၃ ခုအတွက် စာပိုဒ် ၄ ခု ပြန်လာခဲ့ပြီး ပထမတစ်ခုမှာ အပိုင်း ၃ ၏ နောက်ဆုံးစာပိုဒ်ကို ဒုတိယအကြိမ် ဘာသာပြန်ထားခြင်း ဖြစ်သည်။ ပေါင်းစပ်လိုက်ပါက စာအုပ်တွင် ထိုစာပိုဒ်သည် နှစ်ကြိမ် ပါဝင်မည်ဖြစ်ပြီး တစ်ကြိမ်စီတွင် စကားလုံးအသုံးအနှုန်း မတူညီပါ။

လက်တွေ့ စည်းမျဉ်းမှာ− အကြောင်းအရာကို ပို့ပါက မော်ဒယ်ကို ဘာသာပြန်ရန် တောင်းဆိုသည့် စာသားနှင့် ခွဲထားပါ၊ တိုတိုတုတ်တုတ် ထားပါ၊ ပြီးလျှင် အပိုင်းတိုင်း၏ စာပိုဒ်အရေအတွက်ကို စစ်ဆေးပါ။ စစ်ဆေး၍ မရပါက ချန်လှပ်ထားပါ။

မအောင်မြင်မှု ၃ − တစ်ခုတည်း ပို့လိုက်သော အပိုင်းက ဇာတ်ကောင်တစ်ဦးကို မှားယွင်းသော တာဝန်ပေးခဲ့သည်

Run A သည် အပိုင်းတစ်ခုစီကို ဝေါဟာရစာရင်းမပါဘဲ၊ အကြောင်းအရာမပါဘဲ ပို့ခဲ့သည်။ ပထမအပိုင်း ၅ ခုအတွက် ကောင်းစွာ အလုပ်ဖြစ်ခဲ့သည်− Prokurist သည် ပေါ်ထွက်သည့် နေရာ ၁၆ ခုလုံးတွင် "အကြီးအကဲစာရေး" ဖြစ်လာခဲ့သည်။ ဆဋ္ဌမအပိုင်းမှာ အကြီးအကဲစာရေးက တံခါးမှတစ်ဆင့် Gregor ကို ဆူပူကြိမ်းမောင်းသည့် စာပိုဒ်တစ်ခု ဖြစ်သည်။ တစ်ခုတည်း ကြည့်လိုက်သောအခါ မော်ဒယ်က der Prokurist ကို "ခရီးသွား အရောင်းစာရေး" ဟု ဘာသာပြန်ခဲ့ပြီး ၎င်းမှာ Gregor ၏ ကိုယ်ပိုင်အလုပ်ဖြစ်သည်။ စာပိုဒ်အရေအတွက် ကိုက်ညီပြီး အရှည်အချိုးမှာ ၁.၀၀ ဖြစ်သောကြောင့် ဖွဲ့စည်းပုံစစ်ဆေးမှု နှစ်ခုစလုံးက သတိမထားမိခဲ့ပါ။

စနစ်ညွှန်ကြားချက်တွင် ဝေါဟာရစာရင်းနှင့် အကြောင်းအရာအဖြစ် ယခင်စာပိုဒ်ပါဝင်သော Run B တွင် တူညီသောစာပိုဒ်က "အကြီးအကဲစာရေး" ကို မှန်ကန်စွာ အသုံးပြုခဲ့သည်။ ဤစမ်းသပ်မှုက နှစ်ခုအနက် မည်သည့်အရာက ပြုပြင်ပေးခဲ့သည်ကို မပြောနိုင်ပါ။ အကြောင်းအရာက မအောင်မြင်မှု ၂ ကိုလည်း ဖြစ်စေခဲ့သောကြောင့် အပိုင်းတစ်ခုမှ တစ်ခုသို့ အမည်များနှင့် ရာထူးများကို သယ်ဆောင်ရန် ဝေါဟာရစာရင်းက ပိုမိုလုံခြုံသော နေရာဖြစ်သည်− ၎င်းသည် တိုတောင်းပြီး ညွှန်ကြားချက်ထဲတွင် ရှိကာ စက်ဖြင့် စစ်ဆေးနိုင်သည်။

ခံနိုင်ရည်ရှိခဲ့သော လုပ်ငန်းစဉ်

၁. ဖိုင်ထဲမှ ရိုးရိုးစာသားကို ဦးစွာ ထုတ်ယူပါ

ဒေသတွင်း LLM သည် ဖိုင်များမဟုတ်ဘဲ စာသားကို ဘာသာပြန်သည်။ မစတင်မီ စာရွက်စာတမ်းကို ပြောင်းလဲပါ−

• DOCX သို့မဟုတ် EPUB: ခေါင်းစဉ်များကို သီးခြားလိုင်းများအဖြစ် ထားရှိပြီး ဘလောက်တစ်ခုလျှင် စာပိုဒ်တစ်ခုပါသော ရိုးရိုးစာသား သို့မဟုတ် Markdown အဖြစ် ထုတ်ယူပါ။
• စာသားအလွှာပါသော PDF: စာသားကို ထုတ်ယူပြီးနောက် ကျိုးနေသောလိုင်းများနှင့် တုံးတိုက်တုံးတိုက် ဖြတ်ထားခြင်းကို ပြုပြင်ပါ။ OCR လိုင်းကျိုးခြင်းနှင့် တုံးတိုက်တုံးတိုက် ဖြတ်ထားခြင်းကို ပြုပြင်ခြင်း အတွက် ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်သည် အလားတူ သန့်ရှင်းရေးကို ဖော်ပြထားသည်။ Docling ကဲ့သို့သော ပြောင်းလဲပေးသည့်ကိရိယာက PDF များနှင့် Office ဖိုင်များမှ Markdown ကို ထုတ်ပေးနိုင်သည်။
• စကင်ဖတ်ထားသော PDF: ဦးစွာ OCR ကို လုပ်ဆောင်ပါ။ PDF တွင် အသုံးပြုနိုင်သော စာသား ရှိ၊ မရှိ မသေချာပါက PDF စာသားထုတ်ယူခြင်း နှင့် OCR ကို ကြည့်ပါ။

စာပိုဒ်ဖွဲ့စည်းပုံကို မပျက်စီးစေဘဲ ထိန်းသိမ်းထားပါ။ နောက်ပိုင်းစစ်ဆေးမှုတိုင်းသည် မူရင်းနှင့် ဘာသာပြန်စာပိုဒ်များ တစ်ခုနှင့်တစ်ခု ကိုက်ညီမှုအပေါ် မူတည်သည်။

2. တွေးခေါ်မှုမုဒ်ကို ပိတ်ပြီး အတည်ပြုပါ

လက်ရှိ open model အများအပြားသည် မဖြေကြားမီ ဆင်ခြင်တွေးခေါ်ကြသည်။ ဘာသာပြန်ခြင်းအတွက် ၎င်းသည် အချိန်နှင့် output token များကို ဖြုန်းတီးစေသည်။ ကျွန်ုပ်တို့၏ စနစ်တွင် 200-token စမ်းသပ်တောင်းဆိုမှုတစ်ခုသည် ဆင်ခြင်တွေးခေါ်မှုအတွက် token 199 ကို သုံးပြီး အဖြေဗလာကို ပြန်ပေးခဲ့သည်။

ကျွန်ုပ်တို့သည် အသုံးများသော switch သုံးခုကို စမ်းကြည့်ခဲ့သည်။ prompt တွင် /no_think ထည့်ခြင်းက ဘာမှမဖြစ်ခဲ့သလို chat_template_kwargs တွင် enable_thinking: false ထည့်ခြင်းကလည်း ဘာမှမဖြစ်ခဲ့ပါ။ တောင်းဆိုမှုတွင် "reasoning_effort": "none" ပို့ခြင်းက ဆင်ခြင်တွေးခေါ်မှုကို ပိတ်ခဲ့သည်- တုံ့ပြန်မှုတွင် reasoning token 0 ဟု ဖော်ပြပြီး ဘာသာပြန်ချက်ကို တိုက်ရိုက်ပြန်ပေးခဲ့သည်။ ဤ parameter ကို LM Studio ၏ chat completions စာမျက်နှာ တွင် မဖော်ပြထားသောကြောင့် ၎င်းကို ဤမော်ဒယ်နှင့်အတူ ဗားရှင်း 0.4.8 တွင် ကျွန်ုပ်တို့ လေ့လာတွေ့ရှိခဲ့သော အပြုအမူအဖြစ် သတ်မှတ်ပါ။ မည်သည့် switch ကိုမျှ မယုံကြည်ဘဲ သင့်ကိုယ်ပိုင် တုံ့ပြန်မှုများတွင် reasoning_tokens အရေအတွက်ကို စစ်ဆေးပါ။

3. အပိုင်းအစများမတိုင်မီ context window ကို အရွယ်အစားသတ်မှတ်ပါ

context window သည် ညွှန်ကြားချက်၊ အပိုင်းအစနှင့် ဘာသာပြန်ချက်အပြည့်အစုံကို ထည့်သွင်းနိုင်ရမည်။ ကျွန်ုပ်တို့၏ အပိုင်းအစခွဲထားသော လုပ်ဆောင်မှုများတွင် စကားလုံး 500 မှ 670 ရှိသော ဂျာမန်အပိုင်းအစတစ်ခုသည် ဝေါဟာရစာရင်းနှင့် အကြောင်းအရာပေါ် မူတည်၍ input token 800 မှ 1,500 ခန့်နှင့် output token 640 မှ 870 ခန့်ကို အသုံးပြုခဲ့သည်၊ ထို့ကြောင့် token ထောင်အနည်းငယ်သည် လုံလောက်ပါသည်။ စကားလုံး 3,179 ရှိသော တစ်ခုတည်းသော တောင်းဆိုမှုတွင် input token 4,953 နှင့် output token 3,930 လိုအပ်ခဲ့သည်။

Ollama သည် ၎င်း၏ context length စာရွက်စာတမ်း အရ (2026 ခုနှစ် အောက်တိုဘာလ 23 ရက်နေ့တွင် စစ်ဆေးခဲ့သည်) ရရှိနိုင်သော မမ်မိုရီအပေါ် မူတည်၍ မူလ context အရှည်ကို သတ်မှတ်သည်- VRAM 24 GiB အောက်တွင် token 4k၊ 24 မှ 48 GiB တွင် 32k နှင့် 48 GiB သို့မဟုတ် ထို့ထက်ပို၍တွင် 256k ဖြစ်သည်။ OLLAMA_CONTEXT_LENGTH ဖြင့် ၎င်းကို မြှင့်နိုင်သည်။ LM Studio တွင် မော်ဒယ်ကို load လုပ်သောအခါ context အရှည်ကို သတ်မှတ်ပါ။ အပိုင်းအစတစ်ခုနှင့် ၎င်း၏ ဘာသာပြန်ချက် မဆံ့ပါက output ကို ဖြတ်တောက်ခံရနိုင်သည်။

4. စာပိုဒ်နယ်နိမိတ်များတွင် စကားလုံး 600 ခန့်ဖြင့် အပိုင်းအစခွဲပါ

စာပိုဒ် သို့မဟုတ် စာကြောင်းအတွင်း ဘယ်တော့မှ မခွဲပါနှင့်။ ကျွန်ုပ်တို့၏ အပိုင်းအစများသည် စကားလုံး 700 ကို ရည်မှန်းပြီး အနီးဆုံး စာပိုဒ်နယ်နိမိတ်တွင် အဆုံးသတ်ခဲ့သည်၊ ထို့ကြောင့် စကားလုံး 243 မှ 667 ရှိသော အပိုင်းအစ ခြောက်ခု ထွက်ပေါ်လာခဲ့သည်။ သေးငယ်သော အပိုင်းအစများသည် ကုန်ကျစရိတ် အနည်းငယ်သာရှိသည်- run A သည် တစ်ခုတည်းသော တောင်းဆိုမှုအတွက် 9.5 မိနစ်နှင့် နှိုင်းယှဉ်ပါက 10.4 မိနစ် ကြာခဲ့ပြီး မအောင်မြင်သော အပိုင်းအစတစ်ခုကို ပြန်လည်လုပ်ဆောင်ရန် ကုန်ကျစရိတ် သက်သာသည်။

ညွှန်ကြားချက်ကို တိုတိုနှင့် အပိုင်းအစတိုင်းအတွက် တူညီအောင် ထားပါ။ ကျွန်ုပ်တို့၏ ညွှန်ကြားချက်မှာ- အင်္ဂလိပ်လို ဘာသာပြန်ပါ၊ input စာပိုဒ်တစ်ခုလျှင် output စာပိုဒ်တစ်ခု အတိအကျ ထားရှိပြီး အလွတ်လိုင်းဖြင့် ခွဲခြားပါ၊ ဘာသာပြန်ချက်ကိုသာ output လုပ်ပါ။ တူညီသော ညွှန်ကြားချက်တွင် ဝေါဟာရစာရင်းကို ထည့်ပါ- အမည်၊ ခေါင်းစဉ် သို့မဟုတ် ထပ်တလဲလဲ ပေါ်လာသော ဝေါဟာရတစ်ခုလျှင် တစ်လိုင်း၊ Prokurist = chief clerk ပုံစံဖြင့်။ ဘာသာပြန်ဝေါဟာရစာရင်း တည်ဆောက်ခြင်း အတွက် ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်တွင် ထည့်သွင်းရမည့်အရာများကို ဖော်ပြထားသည်။ အပိုင်းအစတိုများသည် ပတ်ဝန်းကျင် ဇာတ်လမ်းကို ဆုံးရှုံးစေပြီး ဝေါဟာရစာရင်းက ၎င်းကို သယ်ဆောင်ပေးသည်။

5. အပိုင်းအစများကို မပေါင်းစပ်မီ တစ်ခုချင်းစီကို စစ်ဆေးပါ

အပိုင်းအစတစ်ခုစီအပေါ် စစ်ဆေးမှု သုံးခု လုပ်ဆောင်ပါ-

1. စာပိုဒ်အရေအတွက်။ output တွင် input နှင့် တူညီသော စာပိုဒ်အရေအတွက် ရှိရမည်။ ၎င်းက မအောင်မြင်မှု 2 ကို ဖမ်းမိခဲ့သည်။
2. စာပိုဒ်တစ်ခုစီ၏ အရှည်အချိုး။ ဘာသာပြန်စာပိုဒ်တစ်ခုစီ၏ စကားလုံးအရေအတွက်ကို ၎င်း၏ မူရင်းနှင့် နှိုင်းယှဉ်ပါ။ ၎င်းက စာပိုဒ်အရေအတွက် လွတ်သွားခဲ့သော မအောင်မြင်မှု 1 ကို ဖမ်းမိခဲ့သည်။
3. စာပိုဒ်တစ်ခုစီ၏ ဝေါဟာရစာရင်းဝေါဟာရများ။ မူရင်းဝေါဟာရ ပေါ်လာသည့်နေရာတွင် ၎င်း၏ လိုအပ်သော ဘာသာပြန်ချက်သည် အရေအတွက် တူညီစွာ ပေါ်လာသင့်သည်။ ၎င်းက အခြားစစ်ဆေးမှုနှစ်ခုစလုံး လွတ်သွားခဲ့သော မအောင်မြင်မှု 3 ကို ဖမ်းမိခဲ့သည်။ ဂျာမန် သို့မဟုတ် ရုရှားဝေါဟာရသည် ပုံစံပြောင်းသောကြောင့် ကွဲပြားသော ဘာသာစကားများတွင် ဤနေရာတွင် အနည်းငယ် ဆင်ခြင်သုံးသပ်ရန် လိုအပ်မည်။

ဂျာမန်မှ အင်္ဂလိပ်သို့ စကားပြေအတွက် run A ၏ စာပိုဒ်များသည် input စကားလုံးတစ်လုံးလျှင် output စကားလုံး 0.98 မှ 1.17 ကြားတွင် ရှိနေခဲ့သည်။ run C ၏ ပျက်စီးသွားသော စာပိုဒ်သည် 0.82 ဖြစ်ခဲ့သည်။ သင့်ဘာသာစကားအတွဲတွင် သင်ယုံကြည်ရသော စာပိုဒ်အနည်းငယ်ကို စစ်ဆေးခြင်းဖြင့် သင့်ကိုယ်ပိုင် အပိုင်းအခြားကို သတ်မှတ်ပါ။ ကျွန်ုပ်တို့၏ script ရှိ မူလတန်ဖိုးများသည် အစမှတ်သာဖြစ်ပြီး စံတစ်ခု မဟုတ်ပါ။

အလံပြထားသော စာပိုဒ်သည် ပထမဆုံး ဖတ်ရှုရမည့်နေရာဖြစ်ပြီး အမှားတစ်ခု၏ သက်သေအထောက်အထား မဟုတ်ပါ။ ထို့နောက် ဘာသာပြန်ချက်ကို ကိုယ်တိုင်ဖတ်ပါ၊ အထူးသဖြင့် အမည်များ၊ နံပါတ်များ၊ ငြင်းပယ်ချက်များနှင့် စာဖတ်သူ လုပ်ဆောင်ရမည့် မည်သည့်အရာမဆိုကို ဖတ်ပါ။ စာအုပ်ဘာသာပြန် QA စစ်ဆေးရေးစာရင်း တွင် ထိုသုံးသပ်ချက်ကို ဖော်ပြထားသည်။

6. စာရွက်စာတမ်းကို ပြန်လည်တည်ဆောက်ပါ

မော်ဒယ်သည် စာသားကို ပြန်ပေးသည်။ ခေါင်းစဉ်များ၊ အောက်ခြေမှတ်စုများ၊ ဇယားများ၊ ပုံများ၊ စာမျက်နှာ အပြင်အဆင်နှင့် စတိုင်များကို ကိုယ်တိုင် သို့မဟုတ် ပြောင်းလဲခြင်းကိရိယာဖြင့် ပြန်ထည့်ရမည်။ အစီရင်ခံစာတိုအတွက် ၎င်းသည် အသေးအဖွဲဖြစ်သည်။ အောက်ခြေမှတ်စုများနှင့် ဇယားများပါသော စာအုပ်တစ်အုပ်အတွက် ဘာသာပြန်ခြင်းထက် အချိန်ပိုကြာနိုင်သည်။

စာအုပ်တစ်အုပ်လုံး ဘယ်လောက်ကြာမလဲ

ကျွန်ုပ်တို့၏ အပိုင်းအစခွဲထားသော လုပ်ဆောင်မှုသည် စကားလုံး 3,179 ကို 10.4 မိနစ်အတွင်း ဘာသာပြန်ခဲ့သည်၊ ဤစက်တွင် တစ်မိနစ်လျှင် စကားလုံး 300 ခန့်ဖြစ်သည်။ ထိုနှုန်းဖြင့် စကားလုံး 90,000 ရှိသော ဝတ္ထုတစ်ပုဒ်သည် စစ်ဆေးမှုများနှင့် ပြန်လည်လုပ်ဆောင်မှုများ မပါမီ ငါးနာရီခန့် ထုတ်လုပ်ရန် ကြာမည်။ ၎င်းသည် run တစ်ခုမှ ရိုးရှင်းသော ဂဏန်းတွက်ချက်မှုဖြစ်ပြီး စံညွှန်းတစ်ခု မဟုတ်ပါ။ အမြန်နှုန်းသည် မော်ဒယ်အရွယ်အစား၊ quantization၊ ဟာ့ဒ်ဝဲ၊ ဘာသာစကားအတွဲနှင့် စက်က အခြားမည်မျှလုပ်ဆောင်နေသည်ပေါ် မူတည်၍ ပြောင်းလဲသည်။

မော်ဒယ်ဖိုင်သည် ဒစ်ပေါ်တွင် 17.5 GB ရှိပြီး context cache နှင့် runtime buffer များအတွက် ၎င်းအပေါ် မမ်မိုရီ ထပ်လိုအပ်သည်၊ ထို့ကြောင့် စက်တစ်ခုသည် ဖိုင်အရွယ်အစားထက် သိသိသာသာ ပိုမိုသော လွတ်နေသော မမ်မိုရီ လိုအပ်သည်။ သေးငယ်သော မော်ဒယ်သည် ပိုမြန်ပြီး မမ်မိုရီ ပိုနည်းစွာဖြင့် လည်ပတ်မည်၊ များသောအားဖြင့် အရည်အသွေးအနည်းငယ် ကျဆင်းနိုင်သည်။ စာအုပ်တစ်အုပ်လုံးကို မလုပ်ဆောင်မီ ကိုယ်စားပြုနမူနာတစ်ခုပေါ်တွင် စမ်းသပ်ပါ။ ဘာသာပြန်ရန် အကောင်းဆုံး LLM အတွက် ကျွန်ုပ်တို့၏ လမ်းညွှန်ချက်တွင် ထိုနမူနာကို မည်သို့တည်ဆောက်ပြီး မော်ဒယ်များကို တရားမျှတစွာ နှိုင်းယှဉ်နည်းကို ရှင်းပြထားသည်။

ဒေသတွင်း LLM သို့မဟုတ် စာရွက်စာတမ်းဘာသာပြန်ဝန်ဆောင်မှု

သင့်စည်းမျဉ်းများက ဖိုင်ကို အပ်လုဒ်လုပ်ခွင့်ပြုပါက စာရွက်စာတမ်းဝန်ဆောင်မှုတစ်ခုက အထက်ပါအလုပ်အများစုကို ဖယ်ရှားပေးသည်။ BookTranslator သည် PDF၊ EPUB နှင့် DOCX ဖိုင်အပြည့်အစုံကို ဘာသာပြန်ပြီး ဘာသာပြန်ထားသော ဖိုင်ကို ပြန်ပေးသည်၊ ၎င်း၏ FAQ တွင် အပ်လုဒ်လုပ်ထားသော ဖိုင်များနှင့် ဘာသာပြန်ရလဒ်များကို AI မော်ဒယ်များ လေ့ကျင့်ရန် အသုံးမပြုကြောင်း ဖော်ပြထားသည်။ ၎င်းသည် cloud ဝန်ဆောင်မှုဖြစ်သောကြောင့် ဖိုင်ကို သင့်စက်ပေါ်တွင် ထားရှိရမည့်အခြေအနေတွင် ရွေးချယ်စရာမဟုတ်ပါ။ မော်ဒယ်များကို သင်ကိုယ်တိုင် run ခြင်းနှင့် ဝန်ဆောင်မှုအတွက် ငွေပေးချေခြင်းကြား ဆုံးဖြတ်နေပါက LLM ဘာသာပြန်ခြင်း၏ အမှန်တကယ်ကုန်ကျစရိတ် တွင် token ဘက်ခြမ်းအတွက် ဘတ်ဂျက်ချပုံကို ပြသထားသည်။

စမ်းသပ်ဖိုင်များကို ရယူပါ

ဖိုင်အားလုံးသည် /files/blog/translate-with-local-llm/ ဖိုလ်ဒါထဲတွင် ရှိသည်-

• local_llm_translation_test.py- LM Studio ၏ ဒေသတွင်း API နှင့် စမ်းသပ်မှုအပြည့်အစုံ၊ run သုံးခုစလုံးပါဝင်သည်။ အခြားမော်ဒယ် သို့မဟုတ် ရင်းမြစ်စာသားသို့ ညွှန်ပြပြီး စမ်းသပ်မှုကို ထပ်လုပ်နိုင်သည်။
• check_translation.py- ရင်းမြစ်စာသားနှင့် ဘာသာပြန်ချက်ကို စာပိုဒ်တစ်ခုချင်းစီ နှိုင်းယှဉ်ပြီး စာပိုဒ်အရေအတွက် မကိုက်ညီမှုများ၊ အပိုင်းအခြားပြင်ပ အရှည်အချိုးများနှင့် ပျောက်ဆုံးနေသော ဝေါဟာရစာရင်းဝင်အသုံးအနှုန်းများကို (--term "Prokurist=chief clerk" ဖြင့်) ပြသသည်။ မည်သည့်ကိရိယာ၏ ရလဒ်နှင့်မဆို အလုပ်လုပ်သည်။
• results.csv- တောင်းဆိုမှုတိုင်း၏ စာပိုဒ်အရေအတွက်၊ စကားလုံးအရေအတွက်၊ token အရေအတွက်နှင့် အချိန်တို့ပါဝင်သည်။
• failure-examples.txt- မအောင်မြင်မှုသုံးခုစလုံးအတွက် ဂျာမန်ရင်းမြစ်နှင့် မော်ဒယ်၏ မူရင်းရလဒ်။

သင့်ဘာသာပြန်ချက်ကို အားကိုးမီ ရှည်လျားသောဘာသာပြန်ချက်တိုင်းတွင် သင့်ဝေါဟာရစာရင်းများဖြင့် check_translation.py ကို မောင်းနှင်ပါ။ ၎င်းသည် စက္ကန့်ပိုင်းအတွင်း အပြီးသတ်နိုင်ပြီး ဤစမ်းသပ်မှုတွင် ကျရှုံးမှုသုံးခုလုံးကို အလံပြခဲ့သည်။ ကျော့ကွက်ကျသော စာကြောင်းတစ်ကြောင်း မှားနေခြင်းရှိ/မရှိကို ၎င်းက မပြောနိုင်သောကြောင့် အလံပြထားသော စာပိုဒ်များသည် သင့်ဖတ်ရှုမှုစတင်ရာနေရာဖြစ်ပြီး အဆုံးသတ်ရာနေရာမဟုတ်ပါ။