OCR یک PDF چندزبانه: بررسی جداگانه چینی، انگلیسی و اعداد
زبان‌های OCR را برای یک PDF ترکیبی چینی-انگلیسی انتخاب کنید، خروجی‌های نمونه واقعی را بررسی کنید و کاراکترها، شناسه‌ها، اعداد و روابط جدول را کنترل کنید.
برای OCR یک PDF چندزبانه، خطوط نوشتاری موجود در صفحه را شناسایی کنید، ابزاری انتخاب کنید که بتواند PDF را با زبان‌های تشخیص مرتبط پردازش کند، سپس متن استخراج‌شده را با تصویر مقایسه کنید. متن چینی، متن انگلیسی، اعداد و روابط برچسب‌ها را جداگانه بررسی کنید. یافتن یک عنوان انگلیسی در جستجو به شما نمی‌گوید که آیا متن چینی بدنه هم تشخیص داده شده است یا نه.
افزودن زبان دیگر ارزش آزمایش دارد، نه اینکه به‌طور خودکار بهبود باشد. در آزمایش کوچک چینی-انگلیسی ما، افزودن انگلیسی یک برچسب انگلیسی را اصلاح کرد اما به جمله‌ای چینی آسیب زد که پیکربندی فقط-چینی آن را درست تشخیص داده بود. هیچ‌کدام از دو پیکربندی جدول ما متنی از یک جدول ساده خط‌کشی‌شده برنگرداندند.
این حکم کلی درباره OCR چندزبانه نیست. دلیلی است برای قضاوت درباره خروجی موردنیازتان، نه تعداد زبان‌های انتخاب‌شده.
ابتدا متن گم‌شده را از متن نادرست تشخیص دهید
فایل اصلی را بدون تغییر نگه دارید. روی یک کپی، جمله‌ای از یک صفحه نمونه را انتخاب کنید و در یک ویرایشگر متن ساده بچسبانید. یک قطعه چینی و یک قطعه انگلیسی را امتحان کنید، نه فقط عنوان سند را.
| آنچه می‌یابید | اقدام بعدی |
|---|---|
| هیچ چیز قابل انتخاب یا کپی نیست | صفحه را به‌عنوان احتمالاً فقط-تصویری در نظر بگیرید و OCR را اجرا کنید. |
| متن کپی می‌شود، اما کاراکترها با صفحه قابل‌مشاهده تفاوت دارند | لایه متن موجود نادرست را بررسی کنید؛ صرفاً باز کردن و ذخیره کردن ممکن است آن را بدون تغییر بگذارد. |
| برخی صفحات درست کپی می‌شوند و برخی نه | پیش از اعمال یک عملیات روی کل سند، صفحات آسیب‌دیده را فهرست کنید. |
| کلمات درست کپی می‌شوند اما سطرها یا پاراگراف‌ها ادغام می‌شوند | قطعه‌بندی و ترتیب خواندن را جدا از زبان تشخیص بررسی کنید. |
لایه متن موجود اهمیت دارد. برای مثال، مستندات OCR در NAPS2 می‌گوید صفحات PDF واردشده‌ای که از قبل حاوی متن هستند دست‌نخورده باقی می‌مانند. بنابراین وارد کردن مجدد یک صفحه با OCR نادرست، در آن گردش‌کار روش تعمیر قابل‌اعتمادی نیست.
اگر مشکل واقعی یک اسکن کم‌وضوح، خمیده یا کج است، پیش از تفسیر مقایسه تنظیمات زبان، آن را برطرف کنید. راهنمای جامع‌تر ما درباره PDF اسکن‌شده آن آماده‌سازی و مراحل ترجمه بعدی را پوشش می‌دهد.
زبان‌های تشخیص را انتخاب کنید، نه هدف ترجمه را
تشخیص به این پرسش پاسخ می‌دهد: «چه کاراکترهایی روی این صفحه هستند؟» ترجمه به این پرسش پاسخ می‌دهد: «این محتوا در زبان دیگر چگونه باید خوانده شود؟» از OCR نخواهید که بی‌سروصدا چینی سنتی را ساده کند، یک نقل‌قول انگلیسی را ترجمه کند یا یک شناسه ناآشنا را بازنویسی کند.
یک فهرست کوتاه تهیه کنید:
- خط چینی: ساده، سنتی یا هر دو، شامل سرتیترها و یادداشت‌ها.
- متن لاتین: جملات انگلیسی، نام نویسندگان، ارجاعات، اختصارات و شماره مدل‌ها.
- مقادیر کنترل‌شده: تاریخ‌ها، نقاط اعشار، واحدها، علائم منفی، شناسه‌ها و کدهای حساس به حروف بزرگ و کوچک.
- مناطق: متن اصلی، جداول، شرح تصاویر، پانویس‌ها یا پیوستی به زبان دیگر.
برای مثال، یک گزارش چینی سنتی ممکن است شامل چکیده و منابع انگلیسی باشد. یک فصل چینی ساده‌شده ممکن است جدولی با A-01، 23.5 و °C داشته باشد. هیچ‌کدام نباید فقط با بررسی طولانی‌ترین پاراگراف چینی ارزیابی شوند.
Tesseract مدل‌های جداگانه chi_sim، chi_tra و eng را در مخزن مدل رسمی خود ارائه می‌دهد. مستندات فرمان آن از انتخاب زبان ترکیبی پشتیبانی می‌کند و اشاره دارد که ترتیب زبان می‌تواند بر نتایج تأثیر بگذارد. این‌ها امکان‌های پیکربندی هستند، نه تضمینی برای مفید بودن هر مدل اضافی.
اگر سند شما در عوض شامل ستون‌های عمودی ژاپنی و فوریگانا است، از راهنمای OCR عمودی ژاپنی استفاده کنید. این یک مسئله چیدمان و حاشیه‌نویسی متفاوت است، نه فقط یک گزینه دیگر زبان.
از یک گردش کار استفاده کنید که واقعاً PDF را می‌پذیرد
یک مسیر دسکتاپ: NAPS2
NAPS2 یک مسیر مستند برای قابل جستجو کردن PDFهای اسکن‌شده ارائه می‌دهد:
- یک نسخه از فایل را وارد کنید و تنظیمات OCR آن را باز کنید.
- زبان‌های تشخیص مورد نیاز برای سند را دانلود کنید.
- چندین زبان را انتخاب کنید و زبان‌های مربوطه را برگزینید.
- OCR قابل جستجوی PDF را فعال کنید و در یک فایل جدید ذخیره کنید.
- آن فایل را دوباره باز کنید و متن چینی، انگلیسی و عددی کپی‌شده را با صفحه قابل مشاهده مقایسه کنید.
گزینه چندین زبان پس از دانلود بیش از یک زبان ظاهر می‌شود. این مراحل از راهنمای رسمی NAPS2 پیروی می‌کنند؛ ما برای این مقاله تست عملی NAPS2 انجام ندادیم.
یک مسیر خط فرمان: OCRmyPDF
برای یک PDF فقط تصویری چینی ساده‌شده/انگلیسی، مثالی بر اساس مستندات رسمی:
ocrmypdf -l chi_sim+eng --output-type pdf \
--sidecar recognized.txt input.pdf searchable.pdf
ابتدا بسته‌های زبان مورد نیاز را نصب کنید. برای آزمایش چینی سنتی از chi_tra استفاده کنید، نه اینکه فرض کنید خطوط قابل تعویض هستند.
کتاب آشپزی OCRmyPDF خروجی‌های PDF و متن جانبی را مستند می‌کند. متن جانبی آن لزوماً کل سند نیست: متنی در صفحاتی که قبلاً متن داشتند، یا صفحاتی که در حین OCR رد شده‌اند، ممکن است وجود نداشته باشد. خود PDF خروجی را بررسی کنید. OCR نادرست موجود نیاز به یک گردش کار بازانجام عمدی دارد؛ بدون درک اینکه چه چیزی را تغییر می‌دهد، هر صفحه را به زور شطرنجی نکنید.
این یک مسیر مبتنی بر مستندات است، نه محیط آزمایش اندازه‌گیری‌شده ما. ما OCRmyPDF را در اینجا اجرا نکردیم.
Tesseract ساده نیاز به صفحات رندرشده دارد
از tesseract input.pdf ... استفاده نکنید، انگار که یک PDF خوان است. Tesseract ورودی PDF را نمی‌پذیرد، حتی اگر بتواند خروجی PDF تولید کند. Tesseract.js همین تمایز ورودی PDF را دارد: ابتدا صفحات را با یک کتابخانه PDF رندر کنید، سپس تصاویر را تشخیص دهید.
این مسیری است که در آزمایش زیر استفاده شده است. این مسیر متن و شواهد TSV تولید می‌کند، نه یک PDF خروجی قابل جستجوی آزمایش‌شده.
چه اتفاقی در ده فراخوانی OCR محلی افتاد
ما یک PDF سه‌صفحه‌ای فقط تصویری ایجاد کردیم که شامل موارد زیر است:
- نثر چینی ساده‌شده با ارجاعات انگلیسی، شناسه‌ها، اعداد اعشاری و واحدها؛
- یک صفحه چینی سنتی متناظر؛
- یک جدول کوچک چینی-انگلیسی با سه ردیف داده.
متن و مقادیر، مطالب آموزشی خودنوشته هستند، نه فایل‌های مشتری یا اندازه‌گیری‌های واقعی. هر هدف نثری شامل ۱۲۴ نقطه کد غیرفاصله، از جمله ۴۱ نویسه هان است. جدول شامل ۷۹ نقطه کد غیرفاصله است.
صفحات مبدأ PDF هیچ متن قابل استخراجی نداشتند. ما آن‌ها را با Poppler 26.08.0 در ۳۰۰ dpi رندر کردیم که تصاویری با ابعاد ۱۶۰۰×۱۰۰۰ پیکسل تولید کرد. اندازه قلم ۴۸ پیکسل در Noto Sans CJK SC/TC Regular بود. تمام علائم نگارشی از گلیف‌های افقی معمولی قلم‌ها آمده‌اند.
در ۸ سپتامبر ۲۰۲۶، ما Tesseract.js 7.0.0 را با tesseract.js-core 7.0.0 به‌صورت محلی روی macOS ARM64 اجرا کردیم. مدل‌های رسمی tessdata_fast به کامیت 87416418657359cb625c412a48b6e1d6d41c29bd پین شده بودند. هر فراخوانی از OEM 1 و PSM 6، تنظیم بلوک متن یکنواخت، با همان تصویر صفحه برای هر مقایسه زبانی استفاده کرد.
برای هر صفحه نثری چهار دستور زبانی و برای جدول دو دستور وجود داشت. هر ده فراخوانی کامل شد؛ هیچ نتیجه‌ای کنار گذاشته نشد و هیچ پارامتری پس از دیدن خروجی تنظیم نشد. ورودی‌ها، هش‌های مدل، نسخه‌ها و نتایج خام دقیق و دستورالعمل‌های بازتولید در دسترس هستند.
یک تنظیم می‌تواند یک فیلد را درست و فیلد دیگر را خراب کند
در صفحه سنتی، chi_tra هر ۴۱ نویسه هان را به‌ترتیب حفظ کرد، اما همچنان خطاهای غیرچینی داشت. برای مثال، برچسب انگلیسی Document ID را به Document 1ID تغییر داد و نماد درجه را اشتباه خواند.
افزودن eng مقدار Document ID را بازیابی کرد، اما بخشی از جمله دما و جرم به قطعات لاتین‌نما تبدیل شد:
Expected: 樣本溫度為 23.5 °C，質量為 1.08 kg。
Observed with chi_tra+eng: RA MEA 23.5°C > HBA 1.08 kg。
اعداد در آن خط باقی ماندند در حالی که چینی اطراف آن باقی نماند. بررسی تنها 23.5 و 1.08 آسیب را از دست می‌داد.
صفحه ساده‌شده مبادله متفاوتی را نشان داد. افزودن انگلیسی BK-2026-A07 را بازیابی کرد، که اجرای فقط چینی آن را به‌صورت BK-2026-AO7 بازگردانده بود. اما همچنین 与 را در جای دیگری به 5 تغییر داد. شناسه مبهم بصری O0I1-l نادرست باقی ماند.
تشخیص‌های زیر نشان می‌دهند چرا ما برنده‌ای اعلام نکردیم:
| ورودی و انتخاب زبان | ویرایش‌های دنباله هان | رشته‌های محافظت‌شده یافت‌شده |
|---|---|---|
هر صفحه نثری، فقط eng | ۴۱ از ۴۱ نویسه هان مورد انتظار گم شده | ۹ از ۱۰ |
صفحه ساده‌شده، chi_sim | 1 | ۷ از ۱۰ |
| صفحه ساده‌شده، هر ترتیب چینی/انگلیسی | 2 | ۸ از ۱۰ |
صفحه سنتی، chi_tra | 0 | ۹ از ۱۰ |
| صفحه سنتی، با ترتیب چینی/انگلیسی یا انگلیسی/چینی | 9 | ۹ از ۱۰ |
جدول، eng یا chi_sim+eng | متنی بازگردانده نشد | ۰ از ۹ |
«ویرایش‌های دنباله هان» فقط نویسه‌های ایدئوگرام چینی را مقایسه می‌کند. انگلیسی، نشانه‌گذاری یا فاصله‌گذاری را نمره‌دهی نمی‌کند. «رشته‌های محافظت‌شده یافت‌شده» تنها یک بررسی حضور برای شناسه‌ها، اعداد، واحدها و نشانه‌های مرجع از پیش تعریف‌شده است؛ موقعیت یا رابطه آن‌ها را تأیید نمی‌کند. خروجی‌های فقط انگلیسی این تله را نشان می‌دهند: بیشتر رشته‌های محافظت‌شده وجود داشتند، با این حال هیچ‌یک از نویسه‌های چینی بازگردانده نشد.
فایل CSV مقایسه کامل نیز فاصله ویرایشی کل متن را گزارش می‌دهد. مقایسه، یونیکد NFC را اعمال و فاصله‌ها را حذف می‌کند؛ اما نشانه‌گذاری را اصلاح نمی‌کند، بزرگی و کوچکی حروف را تغییر نمی‌دهد، خطوط چینی را تبدیل نمی‌کند و ترتیب نویسه‌ها را بازآرایی نمی‌کند. معکوس کردن ترتیب زبان در این خروجی‌های نثر، فاصله‌گذاری را تغییر داد اما توالی نویسه‌های نرمال‌شده را نه. این مشاهده یک قاعده کلی درباره ترتیب زبان نیست.
جدول خالی به معنای استخراج موفق نیست
هر دو فراخوانی جدول، متن خالی بازگرداندند، با اینکه بدون خطای اجرای OCR کامل شدند. افزودن چینی نتوانست دستور ثابت بلوک یکنواخت را نجات دهد.
ما حالت‌های تقسیم‌بندی دیگر، برش سلول‌ها یا موتور تشخیص جدول را آزمایش نکردیم. بنابراین نتیجه نشان نمی‌دهد که Tesseract نمی‌تواند جدول‌ها را بخواند. نشان می‌دهد که تغییر زبان تشخیص به‌تنهایی این نمونه را با تنظیماتی که استفاده کردیم حل نکرد.
برای یک جدول واقعی، رابطه کامل Temperature → A-01 → 23.5 → °C را بخواهید، نه چهار نشانه که جایی در صفحه پیدا شده‌اند. اگر خروجی خالی است یا روابط قابل بررسی نیستند، دیگر آن را رونویسی قابل‌اعتماد ندانید. یک گردش کار آگاه به چیدمان را امتحان کنید یا سلول‌های لازم را با مراجعه به تصویر رونویسی کنید.
آنچه این آزمایش نمی‌تواند اثبات کند
این‌ها سه صفحه مصنوعی تمیز از یک خانواده فونت هستند که یک عامل نویسنده آن‌ها را بررسی کرده است. هیچ بازبینی انسانی کور، پیکره اسناد تولیدی، یا آزمایشی روی اسکن‌های تار، دست‌نویس، جدول‌های پیچیده، متن عمودی یا نویسه‌های تاریخی وجود نداشت.
نتایج، مثال‌های نقض مفیدی برای قاعده بی‌قید و شرط «زبان‌های بیشتر اضافه کنید» هستند. آن‌ها رتبه‌بندی موتور، نرخ دقت کلی، یا پیش‌بینی برای PDF شما نیستند. این آزمایش BookTranslator نبود، و PDF منبع فقط-تصویری یک نسخه خواندنی تکمیل‌شده با OCR نیست.
یک بررسی پذیرش چهاربخشی روی فایل خودتان انجام دهید
برگه بازبینی خالی را دانلود کنید. صفحه‌ای را انتخاب کنید که دشواری واقعی را در خود دارد، سپس این بررسی‌ها را پیش از پردازش کل فایل اضافه کنید:
- متن چینی: یک جمله کامل، شامل نویسه‌های کم‌کاربردتر و شکل‌های ساده/سنتی مورد نظر، را مقایسه کنید. یک نویسه اشتباه را بی‌صدا به آنچه انتظار داشتید نرمال نکنید.
- انگلیسی و شناسه‌ها: نام نویسندگان، ارجاعات، اختصارات، بزرگی و کوچکی حروف، و نویسه‌های شبیه به هم مانند
O/0یاI/l/1را بررسی کنید. یک کد ناآشنا واژه‌ای نیست که خودکار اصلاح شود. - اعداد و واحدها: هر مقدار را با علامت، نقطه اعشار، واحد و برچسبش مقایسه کنید.
0.05و0.50باید متمایز بمانند؛ یک23.5تشخیص‌داده‌شده بدون واحد درست ناقص است. - روابط و کامل بودن: بررسی کنید که هر پاراگراف یا سطر جدول در جای مورد انتظار قرار دارد. تأیید کنید که شرح‌ها، یادداشت‌ها و قطعات کوچک زبان ثانویه حاضرند، نه فقط متن اصلی.
متن اصلی، نتیجه مشاهده‌شده، صفحه/ناحیه و اقدام لازم را ثبت کنید. وقتی یک پیکربندی یک بررسی را بهبود می‌دهد اما بررسی دیگری را بدتر می‌کند، هر دو مشاهده را نگه دارید. فایل را بر اساس یک نمره اطمینان واحد یا میانگین تعداد نویسه نپذیرید.
سه نتیجه را از هم جدا کنید: قابل استفاده به‌همان شکل برای هدفی که اعلام کرده‌اید، نیازمند اصلاحات مشخص، یا هنوز قابل اعتماد نیست. یک کار جست‌وجو ممکن است فقط به یک قطعه تأییدشده نیاز داشته باشد؛ یک نسخه کامل برای خواندن مستلزم پوشش کل سند است، نه یک صفحه عنوان تمیز.
فقط پس از آنکه دانستید متن مبدأ چه می‌گوید ترجمه کنید
اگر جست‌وجو و متن اصلی قابل کپی مشکل شما را حل می‌کند، همان‌جا متوقف شوید. OCR کار خود را انجام داده است؛ ترجمه تصمیمی جداگانه است.
اگر باید کل سند را به زبان دیگری بخوانید، تصویر اسکن‌شده اصلی و متن اصلاح‌شده را به‌عنوان مرجع نگه دارید، سپس گردش‌کار ترجمه PDF اسکن‌شده را دنبال کنید. برای یک فایل واجد شرایط، مترجم PDF BookTranslator می‌تواند گام بعدی باشد. حالت OCR آن محتوای ترجمه‌شده را بازسازی می‌کند، نه اینکه تطابق دقیق با چیدمان صفحه اصلی را وعده دهد؛ این کار نیاز به بررسی متن بازیابی‌شده و روابط جدول‌ها را از بین نمی‌برد.
پس از ترجمه، از چک‌لیست تضمین کیفیت ترجمه PDF استفاده کنید تا خطای تشخیص مبدأ را از خطای ترجمه یا چیدمان تفکیک کنید. اصلاح مرحله اشتباه همان چیزی است که باعث می‌شود یک اشتباه خوانا تا فایل نهایی باقی بماند.
مطالب مرتبط
