استخراج متن PDF در مقابل OCR: انتخاب مسیر درست پیش از ترجمه

زمانی که یک PDF از قبل دارای متن ماشینی و قابل‌اعتماد است، از روش استخراج متن استفاده کنید. هنگامی که یک صفحه تنها شامل تصویری از متن است، به سراغ OCR بروید. اگر صفحه‌ای دارای یک لایه متنیِ ازپیش‌موجود اما نادرست باشد، هیچ‌کدام از این دو قاعده کافی نیست: باید پیش از تصمیم‌گیری درباره نگه‌داشتن، جایگزینی یا بازسازی آن لایه، کلمات استخراج‌شده را با صفحه قابل‌مشاهده مقایسه کنید.

این تصمیم‌گیری باید پیش از ترجمه انجام شود. مترجم نمی‌تواند مقدار، نام یا جمله‌ای را که به اشتباه وارد فرایند کاری شده بازیابی کند؛ بلکه تنها می‌تواند همان متنی را که دریافت کرده ترجمه نماید.

جدول تصمیم‌گیری سریع

صفحات را ارزیابی کنید، نه صرفاً کلیت فایل‌ها را. یک فایل PDF ممکن است ترکیبی از یک صفحه عنوان دیجیتال، فصل‌های اسکن‌شده و ضمیمه‌هایی با OCR قدیمی باشد.

امکان انتخاب کلمات صرفاً نشان‌دهنده وجود یک شیء متنی است و ثابت نمی‌کند که متن با صفحه مطابقت دارد. در مقابل، ناموفق بودن کپی کردن متن نیز ثابت نمی‌کند که کل فایل PDF فقط حاوی تصویر است.

آزمون ما روی یک PDF ترکیبی چهار صفحه‌ای

ما یک فایل PDF چهار صفحه‌ای قابل دانلود با محتوای مشخص ایجاد کردیم که حاوی هیچ سند خصوصی یا متعلق به شخص ثالثی نیست:

1. یک صفحه دیجیتالِ بومی؛
2. یک صفحه فقط حاوی تصویر؛
3. یک صفحه اسکن‌شده با لایه متن مخفیِ درست؛
4. یک صفحه اسکن‌شده با لایه متن مخفیِ عمداً گمراه‌کننده.

برای هر صفحه، دستور Poppler pdftotext را روی داده‌های موجود PDF اجرا کردیم. به‌طور جداگانه، صفحه را با کیفیت 300 dpi رندر کرده و Tesseract را روی آن تصویر اجرا نمودیم. مرجع بصری پیش از هر دو آزمایش مشخص شده بود.

نکته این نیست که Tesseract همیشه برنده می‌شود. در این نمونه انگلیسی تمیز موفق عمل کرد، زیرا ما صفحه را طوری طراحی کرده بودیم که این تصمیم‌گیری را مجزا کنیم. در اسکن‌های دارای نویز، خط‌های غیرمعمول، جداول، دست‌خط یا چیدمان‌های پیچیده، OCR تازه ممکن است به شکل‌های متفاوتی ناموفق باشد.

بخش‌های نتایج صفحه به صفحه, برگه تصمیم‌گیری, یادداشت‌های بازتولید، و سازنده به همراه این فایل نمونه در دسترس هستند. در تاریخ ۲۱ سپتامبر ۲۰۲۶، نسخه‌های ثبت‌شده شامل Poppler pdftotext نسخه ۲۶.۰۸.۰ و Tesseract نسخه ۵.۵.۳ بودند.

آنچه این آزمایش ثابت می‌کند—و آنچه ثابت نمی‌کند

این آزمایش ثابت می‌کند که چهار صفحه که از نظر بصری خوانا هستند، ممکن است به سه مسیر مختلف برای آماده‌سازی پیش از ترجمه نیاز داشته باشند. همچنین ثابت می‌کند که متن قابل جستجو می‌تواند با ظاهر صفحه مغایرت داشته باشد و در عین حال کاملاً موجه و معقول به نظر برسد.

این آزمایش دقت عمومی OCR، دسترس‌پذیری برای خوانندگان، بازیابی جداول، شناسایی چندزبانه یا رفتار بارگذاری BookTranslator را ارزیابی نمی‌کند. صفحات ساده هستند و خطاهای صفحه چهارم به‌صورت عمدی درج شده‌اند؛ Tesseract آنها را ایجاد نکرده است.

چرا استخراج متن و OCR دو فرآیند کاملاً متفاوت هستند

استخراج متن، اشیای متنی را که قبلاً در فایل PDF ذخیره شده‌اند می‌خواند. OCR نویسه‌ها را در پیکسل‌های تصویر شناسایی می‌کند. نسخه فعلی راهنمای استخراج pypdf نیز همین مرز را مشخص می‌کند: pypdf می‌تواند یک لایه متنی موجود را بخواند، اما قادر به تشخیص کلمات داخل یک تصویر نیست.

این تمایز از آن جهت اهمیت دارد که یک فایل PDF دیجیتال ممکن است حاوی اطلاعاتی باشد که شطرنجی‌سازی (تبدیل به تصویر) آنها را حذف می‌کند یا بازیابی‌شان را دشوارتر می‌سازد؛ مواردی مانند کدگذاری نویسه‌ها، اطلاعات فونت، پیوندها، گرافیک‌های برداری و سایر آبجکت‌های سند. pypdf صراحتاً توصیه می‌کند که از OCR به‌عنوان یک راهکار همگانی برای فایل‌های ذاتا دیجیتال استفاده نشود. همچنین محدودیت مجزای دیگری را توضیح می‌دهد: PDF معمولاً متن را بر اساس موقعیت بصری ذخیره می‌کند، نه به‌صورت پاراگراف‌ها، جداول یا سربرگ‌های معنایی.

بنابراین، دو پرسش مستقل باید در بررسی اولیه مد نظر قرار گیرند:

1. آیا نویسه‌ها صحیح هستند؟ نام‌ها، اعداد، علائم نگارشی و اصطلاحات ناآشنای استخراج‌شده را با صفحه مقایسه کنید.
2. آیا ساختار متن قابل استفاده است؟ یک پاراگراف کامل را بخوانید، سپس ستون‌ها، پاورقی‌ها، جداول، زیرنویس‌ها و مرزهای صفحه را بررسی کنید.

نویسه‌های صحیح با ترتیب نادرست، همچنان منبعی نامناسب و مخدوش برای ترجمه به شمار می‌روند.

بررسی اولیه در سطح صفحه پیش از ترجمه

۱. نسخه اصلی را حفظ کنید

یک نسخه بدون تغییر از فایل مبدأ نگه دارید و در صورتی که سند اهمیت بالایی دارد، هش (hash) آن را یادداشت کنید. آزمایش‌ها را روی نسخه‌های کپی انجام دهید. جایگزین کردن یک لایه متنی ناقص ممکن است محتوای برداری را مسطح (تک‌لایه‌ای) کند یا اطلاعاتی را که بعداً به آن نیاز دارید از بین ببرد.

۲. انواع صفحات را فهرست‌بندی کنید

تنها بر اساس صفحه اول تصمیم‌گیری نکنید. بخش‌های آغازین و عنوان، صفحات معمولی متن اصلی، پیوست‌ها، جداول، تصاویر، صفحات ضمیمه و هر صفحه‌ای را که به نظر عکاسی یا فتوکپی شده می‌رسد، بررسی کنید.

برای اسناد طولانی، بازه‌های صفحات را ثبت کنید:

فایل CSV قابل دانلود از همین الگو برای داده‌های نمونه ما استفاده می‌کند.

۳. مقایسه نشانه‌های متنی دشوار، نه فقط نثرهای ساده

جملاتی که روان به نظر می‌رسند معیارهای ضعیفی برای سنجش هستند. این موارد را بررسی کنید:

• نام یک شخص؛
• یک تاریخ و یک مقدار عددی؛
• یک شناسه ترکیبی از حروف و اعداد؛
• متن دارای اعراب یا حروف غیرلاتین؛
• جمله‌ای که در امتداد یک شکستگی سطر امتداد یافته است؛
• متنی که در نزدیکی پاورقی، تصویر یا ستون دوم قرار دارد.

صفحه چهار در نمونه آزمایشی ما، اگر بررسی فقط به کلمات رایج محدود می‌شد، قابل استفاده به نظر می‌رسید. خطاها در O/0, 58/53، و 7.5/7.8متمرکز شده‌اند—دقیقاً همان نوع توکن‌هایی که می‌توانند ارجاعات و فکت‌ها را پس از ترجمه مخدوش کنند.

۴. طبقه‌بندی صادقانه میزان قطعیت

از چهار نتیجه استفاده کنید: نمونه موفق، نمونه ناموفق، بدون متن قابل استخراج، یا هنوز آزمایش‌نشده. «قابل انتخاب بودن» یک نتیجه نیست. «به پایان رسیدن OCR» نیز نتیجه محسوب نمی‌شود.

نمونه‌گیری محدودیت‌هایی دارد. موفقیت در سه صفحه تضمین‌کننده یک کتاب ۴۰۰ صفحه‌ای نیست، به‌ویژه زمانی که فایل شامل اسکن‌ها یا چیدمان‌های متفاوتی باشد. در بخش‌هایی که منبع تغییر می‌کند، پوشش بررسی را افزایش دهید.

انتخاب حالت OCRmyPDF تنها پس از عیب‌یابی

مستندات فعلی OCRmyPDF رفتارهای مختلفی را برای صفحاتی که از قبل حاوی متن هستند شرح می‌دهد. این‌ها گزینه‌هایی برای مسیریابی هستند، نه تضمین‌کننده کیفیت.

• رفتار پیش‌فرض زمانی متوقف می‌شود که صفحه‌ای از قبل حاوی متن قابل چاپ یا لایه OCR پنهان باشد، زیرا نمی‌تواند با قطعیت تشخیص دهد که با کدام نوع مواجه شده است.
• نادیده گرفتن متن (Skip text) صفحاتی را که حاوی متن هستند بدون تغییر کپی کرده و سایر صفحات را OCR می‌کند. این حالت برای فایلی با محتوای ترکیبی تنها زمانی مفید است که متن موجود قابل اعتماد باشد.
• انجام مجدد OCR (Redo OCR) متن‌های غیرقابل‌چاپ OCR موجود را حذف کرده و صفحه را دوباره شناسایی می‌کند، در حالی که متن‌های برداری قابل چاپ را دست‌نخورده باقی می‌گذارد. این گزینه می‌تواند برای ترکیبی از صفحات دیجیتال و صفحاتی که قبلاً OCR شده‌اند مناسب باشد، اما نمی‌تواند تمام ساختارهای قدیمی را به‌درستی شناسایی کند.
• اجبار به OCR (Force OCR) محتوای برداری را به تصویر شطرنجی (رستر) تبدیل کرده و تصویر حاصل را OCR می‌کند. این کار می‌تواند یک لایه ناموفق را جایگزین کند، اما اطلاعات را فدا کرده و ممکن است محتوای تعاملی را یکپارچه و غیرپویا سازد.

این تعاریف از مستندات خطای متن موجوددر نسخه ۱۷.۱۲.۱ نرم‌افزار OCRmyPDF گرفته شده‌اند. پیش از اجرای دسته‌ای، مستندات نسخه نصب‌شده را مطالعه کنید. نام یک فلگ دلیلی بر این نیست که خروجی حتماً بوک‌مارک‌ها، برچسب‌ها، پیوندها، فرم‌ها یا ساختار دسترسی‌پذیری را حفظ کرده است.

در نمونه آزمایشی ما، حالت skip-text متن پنهان و تعمداً نادرست صفحه چهار را حفظ می‌کرد. به همین دلیل است که مرحله کپی و مقایسه باید پیش از انتخاب حالت پردازش دسته‌ای انجام شود.

اشتباهات رایج

«اگر متن قابل انتخاب است، OCR را نادیده بگیر»

صفحه چهار این قاعده را رد می‌کند. قابلیت انتخاب تنها نشان‌دهنده وجود متن است، نه صحت و دقت آن.

«برای اطمینان، کل PDF را OCR کن»

این کار می‌تواند کیفیت صفحات دیجیتال سالم را کاهش دهد و اشیاء مفید PDF را دور بریزد. همچنین بدون اصلاح خودکار ترتیب معنایی خواندن، حجم کار بازبینی را افزایش می‌دهد.

«از هر خروجی‌ای که روان‌تر به نظر می‌رسد استفاده کنید»

روان بودن در اینجا فریبنده و خطرناک است. متن را با صفحه قابل مشاهده مقایسه کنید. اجازه ندهید یک مدل زبانی بی‌سروصدا یک شناسه یا عدد را دستکاری و اصلاح کند و سپس نتیجه را به عنوان مدرک منبع اصلی در نظر بگیرید.

«یک صفحه سالم نشان‌دهنده کل فایل است»

فایل‌های PDF ترکیبی بسیار رایج هستند: ممکن است یک جلد دیجیتال پیش از فصل‌های اسکن‌شده قرار بگیرد، یا یک کتاب با قابلیت جستجو حاوی ضمیمه‌هایی باشد که فقط تصویر هستند. تصمیمات خود را بر اساس بازه صفحات ثبت کنید.

معیار نهایی تایید برای PDF آماده ترجمه

پیش از ارسال فایل به چرخه ترجمه، وجود تمام موارد زیر را الزامی کنید:

1. بازه همه صفحات به عنوان دیجیتال، فقط تصویر، یا OCR موجود طبقه‌بندی شده باشد.
2. لایه‌های معیوب موجود دارای یک مسیر جایگزینی مستند باشند.
3. نام‌ها، اعداد، شناسه‌ها و اصطلاحات ناآشنا در صفحات نمونه‌برداری‌شده، با مقایسه با منبع تایید شوند.
4. ترتیب پاراگراف‌ها و ستون‌ها در منبع استخراج‌شده خوانا باشد.
5. جدول‌ها، شکل‌ها، پاورقی‌ها و معادلات یا تایید شوند یا به طور صریح به عنوان دارایی‌های مجزا پیگیری شوند.
6. فایل PDF اصلی برای مقایسه پس از ترجمه در دسترس باقی بماند.

زمانی که یک PDF متنی با مشکل مواجه است، از راهنمای عیب‌یابی کپی-پیست استفاده کنید. وقتی صفحات فقط تصویر هستند، از گردش کار PDF اسکن‌شده کمک بگیرید، و زمانی که انتخاب زبان بخشی از مشکل است، به راهنمای OCR چندزبانه مراجعه کنید.

منبع تاییدشده را ترجمه کنید، سپس خروجی را بررسی نمایید

اگر هدف نهایی خواندن کل سند به زبانی دیگر است، فایل PDF تاییدشده را در مترجم PDFبارگذاری کنید. برای صفحات اسکن‌شده یا پر از تصویر، حالت OCR در BookTranslator محتوای قابل تشخیص را استخراج کرده و یک فایل PDF ترجمه‌شده و مرتب را بازسازی می‌کند؛ این حالت تضمینی برای حفظ چیدمان، فونت‌ها یا اندازه‌های دقیق صفحه اصلی، یا ترمیم تک‌تک لایه‌های متنی پنهان موجود ارائه نمی‌دهد.

فهرست صفحات و فایل اصلی خود را نگه دارید. پس از ترجمه، بررسی‌های پرریسک را روی فایل مقصد تکرار کنید: اسامی، مقادیر، شناسه‌ها، پوشش صفحات، ترتیب پاراگراف‌ها و هر ساختار دیگری که به آن متکی هستید. چک‌لیست تضمین کیفیت ترجمه PDF این مرحله نهایی پذیرش را پوشش می‌دهد.

قاعده اصلی ساده است: آنچه را که از قبل قابل‌اعتماد است استخراج کنید، فقط مواردی را که نیاز به بازشناسی دارند OCR کنید، و لایه متنی را تنها زمانی جایگزین کنید که اشتباه بودن آن برایتان ثابت شده باشد.