मिक्स-लैंग्वेज पीडीएफ का ओसीआर: चीनी, अंग्रेजी और संख्याओं की अलग से जांच करें
मिश्रित चीनी-अंग्रेजी पीडीएफ के लिए ओसीआर भाषाओं का चयन करें, वास्तविक नमूना आउटपुट का निरीक्षण करें, और वर्णों, पहचानकर्ताओं, संख्याओं और तालिका संबंधों की जांच करें।
मिश्रित भाषा वाली पीडीएफ का ओसीआर करने के लिए, पेज पर मौजूद लिपियों की पहचान करें, ऐसा टूल चुनें जो प्रासंगिक पहचान भाषाओं के साथ पीडीएफ को प्रोसेस कर सके, फिर इमेज के मुकाबले निकाले गए टेक्स्ट की जांच करें। चीनी टेक्स्ट, अंग्रेजी टेक्स्ट, संख्याओं और लेबल संबंधों की अलग-अलग जांच करें। खोज में अंग्रेजी शीर्षक मिल जाने से यह पता नहीं चलता कि चीनी मुख्य भाग को पहचाना गया था या नहीं।
एक और भाषा जोड़ना परीक्षण लायक है, यह अपने आप में सुधार नहीं है। हमारे छोटे चीनी-अंग्रेजी प्रयोग में, अंग्रेजी जोड़ने से एक अंग्रेजी लेबल ठीक हो गया लेकिन एक चीनी वाक्य खराब हो गया जिसे केवल-चीनी कॉन्फ़िगरेशन ने पहचान लिया था। हमारे दोनों टेबल कॉन्फ़िगरेशन में से किसी ने भी एक साधारण नियमबद्ध टेबल से टेक्स्ट वापस नहीं दिया।
यह आम तौर पर बहुभाषी ओसीआर पर कोई फैसला नहीं है। यह चुनी गई भाषाओं की संख्या के बजाय, आपको जिस आउटपुट की आवश्यकता है उसका आकलन करने का एक कारण है।
सबसे पहले गायब टेक्स्ट को गलत टेक्स्ट से अलग करें
मूल फ़ाइल को वैसे ही रहने दें। एक कॉपी पर, किसी प्रतिनिधि पेज से कोई वाक्य चुनें और उसे सादे टेक्स्ट वाले एडिटर में पेस्ट करें। केवल दस्तावेज़ शीर्षक के बजाय चीनी और अंग्रेजी दोनों अनुच्छेदों को आज़माएं।
| आपको क्या मिलता है | आगे क्या करना है |
|---|---|
| कुछ भी चुना या कॉपी नहीं किया जा सकता | पेज को संभावित रूप से केवल-इमेज मानें और ओसीआर चलाएं। |
| टेक्स्ट कॉपी हो जाता है, लेकिन वर्ण दिखाई देने वाले पेज से अलग होते हैं | गलत मौजूदा टेक्स्ट लेयर की जांच करें; केवल खोलना और सहेजना इसे वैसा का वैसा छोड़ सकता है। |
| कुछ पेज सही तरीके से कॉपी होते हैं और कुछ नहीं | पूरे दस्तावेज़ पर कोई ऑपरेशन लागू करने से पहले प्रभावित पेजों की सूची बनाएं। |
| शब्द सही ढंग से कॉपी होते हैं लेकिन पंक्तियां या पैराग्राफ आपस में मिल जाते हैं | पहचान भाषा से अलग विभाजन और पढ़ने के क्रम की जांच करें। |
मौजूदा टेक्स्ट लेयर मायने रखती है। उदाहरण के लिए, NAPS2 का ओसीआर दस्तावेज़ीकरण कहता है कि आयातित पीडीएफ पेज जिनमें पहले से ही टेक्स्ट है, उन्हें वैसे ही छोड़ दिया जाता है। इसलिए उस वर्कफ़्लो में खराब ओसीआर किए गए पेज को दोबारा आयात करना मरम्मत का एक विश्वसनीय तरीका नहीं है।
यदि असली समस्या कम-रिज़ॉल्यूशन, मुड़े हुए या तिरछे स्कैन की है, तो भाषा-सेटिंग की तुलना करने से पहले उसे ठीक करें। हमारा व्यापक स्कैन किया गया पीडीएफ गाइड उस तैयारी और बाद के अनुवाद चरणों को कवर करता है।
पहचान की भाषाएँ चुनें, अनुवाद का लक्ष्य नहीं
पहचान यह जवाब देती है कि "इस पेज पर कौन से अक्षर हैं?" अनुवाद यह जवाब देता है कि "इस सामग्री को दूसरी भाषा में कैसा दिखना चाहिए?" OCR से यह उम्मीद न करें कि वह पारंपरिक चीनी भाषा को चुपचाप सरल बना दे, किसी अंग्रेजी उद्धरण का अनुवाद करे, या किसी अपरिचित पहचानकर्ता को दोबारा लिखे।
एक छोटी सूची बनाएं:
- चीनी लिपि: सरलीकृत, पारंपरिक, या दोनों, जिसमें शीर्षक और नोट्स शामिल हैं।
- लैटिन पाठ: अंग्रेजी वाक्य, लेखक के नाम, संदर्भ, संक्षिप्त नाम, और मॉडल नंबर।
- नियंत्रित मान: तिथियाँ, दशमलव बिंदु, इकाइयाँ, ऋण चिह्न, पहचानकर्ता, और केस-सेंसिटिव कोड।
- क्षेत्र: गद्य, तालिकाएं, कैप्शन, फुटनोट, या एक अलग भाषा का परिशिष्ट।
उदाहरण के लिए, एक पारंपरिक चीनी रिपोर्ट में एक अंग्रेजी सारांश और संदर्भ हो सकते हैं। एक सरलीकृत चीनी अध्याय में एक तालिका शामिल हो सकती है जिसमें A-01, 23.5, और °C शामिल हैं। इनमें से किसी का भी मूल्यांकन केवल सबसे लंबे चीनी पैराग्राफ की जांच करके नहीं किया जाना चाहिए।
Tesseract अपने chi_sim, chi_tra, और eng मॉडल इसके में प्रदान करता है आधिकारिक मॉडल रिपॉजिटरी. इसका कमांड दस्तावेज़ीकरण संयुक्त भाषा चयन का समर्थन करता है और नोट करता है कि भाषा का क्रम परिणामों को प्रभावित कर सकता है। ये कॉन्फ़िगरेशन की संभावनाएं हैं, इस बात की गारंटी नहीं कि हर अतिरिक्त मॉडल मदद करता है।
यदि आपके दस्तावेज़ में इसके बजाय लंबवत जापानी कॉलम और फ़urigana हैं, तो उपयोग करें जापानी लंबवत OCR गाइड। यह एक अलग लेआउट और एनोटेशन समस्या है, न कि केवल एक अन्य भाषा चेकबॉक्स।
एक ऐसे वर्कफ़्लो का उपयोग करें जो वास्तव में PDF स्वीकार करता है
एक डेस्कटॉप मार्ग: NAPS2
NAPS2 स्कैन की गई PDF को खोजने योग्य बनाने के लिए एक प्रलेखित मार्ग प्रदान करता है:
- फ़ाइल की एक प्रति आयात करें और इसकी OCR सेटिंग खोलें।
- दस्तावेज़ के लिए आवश्यक पहचान भाषाएँ डाउनलोड करें।
- "एकाधिक भाषाएँ" चुनें और प्रासंगिक भाषाओं का चयन करें।
- खोजने योग्य-PDF OCR सक्षम करें और एक नई फ़ाइल में सहेजें।
- उस फ़ाइल को दोबारा खोलें और कॉपी किए गए चीनी, अंग्रेज़ी और अंकीय पाठ की तुलना दृश्यमान पृष्ठ से करें।
एकाधिक-भाषा का विकल्प एक से अधिक भाषा डाउनलोड होने के बाद दिखाई देता है। ये चरण आधिकारिक NAPS2 गाइड का पालन करते हैं; हमने इस लेख के लिए NAPS2 का व्यावहारिक परीक्षण नहीं किया है।
एक कमांड-लाइन मार्ग: OCRmyPDF
केवल-छवि सरलीकृत चीनी/अंग्रेज़ी PDF के लिए, आधिकारिक दस्तावेज़ीकरण पर आधारित एक उदाहरण है:
ocrmypdf -l chi_sim+eng --output-type pdf \
--sidecar recognized.txt input.pdf searchable.pdf
पहले आवश्यक भाषा पैक स्थापित करें। लिपियों के परस्पर बदलने योग्य होने की कल्पना करने के बजाय पारंपरिक-चीनी परीक्षण के लिए chi_tra का उपयोग करें।
यह OCRmyPDF कुकबुक PDF और साइडकार-टेक्स्ट आउटपुट का दस्तावेजीकरण करती है। इसका साइडकार आवश्यक रूप से पूरा दस्तावेज़ नहीं है: जिन पृष्ठों पर पहले से ही पाठ था, या OCR के दौरान छोड़े गए पृष्ठ, अनुपस्थित हो सकते हैं। आउटपुट PDF की स्वयं जाँच करें। मौजूदा गलत OCR के लिए एक जानबूझकर किए गए पुन: कार्य वर्कफ़्लो की आवश्यकता होती है; यह समझे बिना कि यह क्या बदलता है, प्रत्येक पृष्ठ के रास्टरकरण को बल न दें।
यह एक दस्तावेज़ीकरण-आधारित मार्ग है, हमारा मापा गया परीक्षण वातावरण नहीं। हमने यहाँ OCRmyPDF नहीं चलाया।
सादे Tesseract को रेंडर किए गए पृष्ठों की आवश्यकता होती है
इसका उपयोग tesseract input.pdf ... ऐसे न करें जैसे कि यह कोई PDF रीडर हो। Tesseract PDF इनपुट स्वीकार नहीं करता है, भले ही यह PDF आउटपुट उत्पन्न कर सकता हो। Tesseract.js में भी वही PDF-इनपुट अंतर है: पहले पृष्ठों को किसी PDF लाइब्रेरी के साथ रेंडर करें, फिर छवियों को पहचानें।
नीचे हमारे प्रयोग के लिए यही रास्ता अपनाया गया था। इससे पाठ (text) और TSV साक्ष्य उत्पन्न होते हैं, न कि परीक्षण किया गया खोजने योग्य आउटपुट (searchable-output) PDF।
दस स्थानीय OCR कॉल्स में क्या हुआ
हमने एक तीन-पृष्ठ की केवल-छवि वाली PDF बनाई जिसमें शामिल हैं:
- अंग्रेजी संदर्भों, पहचानकर्ताओं (identifiers), दशमलव और इकाइयों के साथ सरलीकृत चीनी गद्य;
- एक संबंधित पारंपरिक चीनी पृष्ठ;
- तीन डेटा पंक्तियों वाली एक छोटी चीनी-अंग्रेजी तालिका।
पाठ और मान स्व-रचित शिक्षण सामग्री हैं, न कि ग्राहक फाइलें या वास्तविक माप। प्रत्येक गद्य लक्ष्य में 41 हान वर्णों सहित 124 गैर-रिक्त स्थान कोड पॉइंट हैं। तालिका में 79 गैर-रिक्त स्थान कोड पॉइंट हैं।
PDF के स्रोत पृष्ठों में कोई निकालने योग्य पाठ नहीं था। हमने Poppler 26.08.0 का उपयोग करके 300 dpi पर उन्हें रेंडर किया, जिससे 1600×1000-पिक्सेल छवियां उत्पन्न हुईं। Noto Sans CJK SC/TC Regular में फ़ॉन्ट का आकार 48 पिक्सेल था। सभी विराम चिह्न फ़ॉन्ट के साधारण क्षैतिज ग्लाइफ से आए थे।
8 सितंबर, 2026 को, हमने macOS ARM64 पर स्थानीय रूप से tesseract.js-core 7.0.0 के साथ Tesseract.js 7.0.0 चलाया। आधिकारिक tessdata_fast मॉडल को कमिट 87416418657359cb625c412a48b6e1d6d41c29bd पर पिन किया गया था। प्रत्येक कॉल ने प्रत्येक भाषा तुलना के लिए समान पृष्ठ छवि के साथ OEM 1 और PSM 6, एकसमान-पाठ-ब्लॉक सेटिंग (uniform-text-block setting) का उपयोग किया।
प्रत्येक गद्य पृष्ठ के लिए चार भाषा रेसिपी थीं और तालिका के लिए दो थीं। सभी दस कॉल्स पूरी हुईं; कोई परिणाम छोड़ा नहीं गया और आउटपुट देखने के बाद किसी भी पैरामीटर को ट्यून नहीं किया गया। सटीक इनपुट, मॉडल हैश, संस्करण और कच्चे परिणाम और प्रतिकृति निर्देश उपलब्ध हैं।
एक सेटिंग एक फ़ील्ड को ठीक कर सकती है और दूसरे को नुकसान पहुँचा सकती है
पारंपरिक पृष्ठ पर, chi_tra ने क्रम में सभी 41 हान वर्णों को बनाए रखा, लेकिन इसने फिर भी गैर-चीनी त्रुटियाँ कीं। उदाहरण के लिए, इसने अंग्रेजी लेबल Document ID को Document 1ID में बदल दिया और डिग्री चिह्न को गलत पढ़ लिया।
जोड़ने से eng बहाल हो गया Document ID, लेकिन तापमान-और-द्रव्यमान वाक्य का हिस्सा लैटिन दिखने वाले अंश बन गया:
Expected: 樣本溫度為 23.5 °C，質量為 1.08 kg。
Observed with chi_tra+eng: RA MEA 23.5°C > HBA 1.08 kg。
उस पंक्ति में संख्याएँ बच गईं जबकि आसपास के चीनी अक्षर नहीं बचे। केवल 23.5 और 1.08 की जाँच करने से क्षति छूट जाती।
सरलीकृत पृष्ठ ने एक अलग ट्रेड-ऑफ़ दिखाया। अंग्रेजी जोड़ने से BK-2026-A07 बहाल हो गया, जिसे केवल-चीनी रन ने BK-2026-AO7 के रूप में लौटाया था। लेकिन इसने अन्य जगहों पर 与 को 5 में भी बदल दिया। दृष्टि से अस्पष्ट पहचानकर्ता O0I1-l गलत ही रहा।
निम्नलिखित निदान दिखाते हैं कि हमने किसी विजेता की घोषणा क्यों नहीं की:
| इनपुट और भाषा चयन | हान-अनुक्रम संपादन | सुरक्षित स्ट्रिंग्स मिल गईं |
|---|---|---|
कोई भी गद्य पृष्ठ, eng अकेले | 41 में से 41 अपेक्षित हान वर्ण गायब हैं | 10 में से 9 |
सरलीकृत पृष्ठ, chi_sim | 1 | 10 में से 7 |
| सरलीकृत पृष्ठ, या तो चीनी/अंग्रेजी क्रम | 2 | 10 में से 8 |
पारंपरिक पृष्ठ, chi_tra | 0 | 10 में से 9 |
| पारंपरिक पृष्ठ, या तो चीनी/अंग्रेजी क्रम | 9 | 10 में से 9 |
तालिका, eng या chi_sim+eng | कोई पाठ नहीं लौटाया गया | 9 में से 0 |
“हान-अनुक्रम संपादन” केवल चीनी वैचारिक अक्षरों (इडियोग्राफ) की तुलना करता है। यह अंग्रेजी, विराम चिन्ह या रिक्त स्थान का मूल्यांकन नहीं करता है। “संरक्षित स्ट्रिंग्स मिले” केवल पूर्वनिर्धारित पहचानकर्ताओं, संख्याओं, इकाइयों और संदर्भ टोकन की उपस्थिति की जाँच है; यह उनकी स्थिति या संबंध को सत्यापित नहीं करता है। केवल-अंग्रेजी आउटपुट इस जाल को प्रदर्शित करते हैं: अधिकांश सुरक्षित स्ट्रिंग्स मौजूद थीं, फिर भी चीनी अक्षरों में से कोई भी नहीं लौटाया गया था।
पूर्ण तुलना सीएसवी संपूर्ण-पाठ संपादन दूरियों की भी रिपोर्ट करता है। तुलना यूनिकोड एनएफसी लागू करती है और रिक्त स्थान हटाती है; यह विराम चिन्हों को ठीक नहीं करती, केस नहीं बदलती, चीनी लिपियों को परिवर्तित नहीं करती, या वर्णों का क्रम नहीं बदलती। भाषा के क्रम को उलटने से इन गद्य आउटपुट में रिक्त स्थान बदल गया लेकिन सामान्यीकृत वर्ण अनुक्रम नहीं बदला। वह अवलोकन भाषा के क्रम के बारे में कोई सामान्य नियम नहीं है।
एक खाली तालिका सफल निष्कर्षण नहीं है
बिना किसी ओसीआर निष्कर्षण त्रुटि के पूरा होने के बावजूद, दोनों तालिका कॉल्स ने खाली पाठ लौटाया। चीनी भाषा जोड़ने से निश्चित एकसमान-ब्लॉक नुस्खा को बचाया नहीं जा सका।
हमने अन्य विभाजन मोड, सेल क्रॉप्स, या तालिका-पहचान इंजन का परीक्षण नहीं किया। इसलिए परिणाम यह नहीं से पता चलता है कि टेसेरैक्ट (Tesseract) टेबल नहीं पढ़ सकता। यह दिखाता है कि हमारे द्वारा उपयोग की जाने वाली सेटिंग के तहत केवल पहचान भाषा बदलने से इस नमूने की समस्या का समाधान नहीं हुआ।
एक वास्तविक टेबल के लिए, पूर्ण संबंध आवश्यक है Temperature → A-01 → 23.5 → °C, न कि पेज पर कहीं भी मिलने वाले चार टोकन। यदि आउटपुट खाली है या संबंधों की जाँच नहीं की जा सकती है, तो इसे एक विश्वसनीय प्रतिलेखन (transcription) मानना बंद कर दें। लेआउट-अवेयर वर्कफ़्लो आज़माएँ या छवि के संदर्भ में आवश्यक सेल का प्रतिलेखन करें।
यह प्रयोग क्या स्थापित नहीं कर सकता
ये एक ही फ़ॉन्ट परिवार के तीन साफ सिंथेटिक पेज हैं, जिनकी समीक्षा एक लेखक एजेंट द्वारा की गई है। इसमें कोई ब्लाइंडेड मानव समीक्षा, उत्पादन-दस्तावेज़ कॉर्पस, या धुंधली स्कैन, लिखावट, जटिल टेबल, लंबवत पाठ (vertical text), या ऐतिहासिक वर्णों का परीक्षण शामिल नहीं था।
परिणाम बिना शर्त “अधिक भाषाएँ जोड़ें” नियम के लिए उपयोगी प्रति-उदाहरण हैं। ये कोई इंजन रैंकिंग, सामान्य सटीकता दर, या आपकी पीडीएफ के लिए पूर्वानुमान नहीं हैं। यह कोई BookTranslator परीक्षण नहीं था, और केवल-छवि स्रोत पीडीएफ ओसीआर-पूर्ण पठन प्रति (reading copy) नहीं है।
अपनी खुद की फ़ाइल पर चार-भाग की स्वीकृति जाँच का उपयोग करें
डाउनलोड करें खाली समीक्षा पत्रक। ऐसा पेज चुनें जिसमें वास्तविक कठिनाई हो, फिर पूरी फ़ाइल को प्रोसेस करने से पहले निम्नलिखित जाँच जोड़ें:
- चीनी पाठ: एक पूरे वाक्य की तुलना करें, जिसमें कम सामान्य वर्ण और इच्छित सरलीकृत/पारंपरिक रूप शामिल हों। किसी गलत वर्ण को चुपचाप उस वर्ण में सामान्य न करें जिसकी आपको अपेक्षा थी।
- अंग्रेजी और पहचानकर्ता (identifiers): लेखक के नाम, संदर्भ, संक्षिप्त नाम, कैपिटलाइज़ेशन, और दिखने में एक जैसे वर्णों का निरीक्षण करें जैसे
O/0याI/l/1। एक अपरिचित कोड ऑटो-करेक्ट करने के लिए कोई शब्द नहीं है। - संख्याएँ और इकाइयाँ: प्रत्येक मान की तुलना उसके चिह्न, दशमलव बिंदु, इकाई और लेबल के साथ करें।
0.05और0.50अलग-अलग रहने चाहिए; एक मान्यता प्राप्त23.5सही इकाई के बिना अधूरा है। - संबंध और पूर्णता: जाँच करें कि प्रत्येक पैराग्राफ या टेबल पंक्ति वहीं है जहाँ अपेक्षित थी। पुष्टि करें कि कैप्शन, नोट्स और छोटे द्वितीयक-भाषा अंश मौजूद हैं, न कि केवल मुख्य पाठ।
मूल पाठ, देखा गया परिणाम, पेज/क्षेत्र और आवश्यक कार्रवाई दर्ज करें। जब कोई कॉन्फ़िगरेशन एक जाँच में सुधार करता है लेकिन दूसरे को खराब करता है, तो दोनों अवलोकनों को रखें। किसी एकल कॉन्फिडेंस स्कोर या औसत वर्ण गिनती पर फ़ाइल को स्वीकार न करें।
तीन परिणामों को अलग करें: आपके बताए गए उद्देश्य के लिए वैसे ही उपयोग करने योग्य, विशिष्ट सुधारों की आवश्यकता है, या अभी तक भरोसा नहीं किया जा सकता है। एक लुकअप कार्य को केवल एक सत्यापित अंश की आवश्यकता हो सकती है; एक पूर्ण पठन प्रतिलिपि को साफ शीर्षक पृष्ठ के बजाय पूरे दस्तावेज़ के कवरेज की आवश्यकता होती है।
तभी अनुवाद करें जब आप जानते हों कि स्रोत क्या कहता है
यदि खोज और कॉपी करने योग्य मूल पाठ आपकी समस्या का समाधान करते हैं, तो वहीं रुक जाएं। OCR ने अपना काम कर दिया है; अनुवाद एक अलग निर्णय है।
यदि आपको किसी अन्य भाषा में पूरा दस्तावेज़ पढ़ने की आवश्यकता है, तो मूल स्कैन और सुधारित पाठ को संदर्भ के रूप में रखें, फिर स्कैन-पीडीएफ़ अनुवाद कार्यप्रवाह. एक योग्य फ़ाइल के लिए, BookTranslator का पीडीएफ अनुवादक अगला कदम हो सकता है। इसका OCR मोड मूल पृष्ठ लेआउट से सटीक मिलान का वादा करने के बजाय अनुवादित सामग्री को पुन: निर्मित करता है; यह पुनर्प्राप्त पाठ और तालिका संबंधों की जांच करने की आवश्यकता को समाप्त नहीं करता है।
अनुवाद के बाद, पीडीएफ अनुवाद क्यूए चेकलिस्ट का उपयोग करें ताकि स्रोत-पहचान त्रुटि को अनुवाद या लेआउट त्रुटि से अलग किया जा सके। गलत चरण को सुधारना ही वह तरीका है जिससे एक पठनीय गलती अंतिम फ़ाइल में बनी रहती है।
संबंधित लेख
