نحوه اصلاح شکستگی خطوط و خط پیوندهای ناشی از OCR قبل از ترجمه
متن شکسته شده OCR را بدون حذف خط پیوندهای اصلی، پاراگراف‌ها، فهرست‌ها یا اشعار ترمیم کنید. از یک فرآیند برگشت‌پذیر و دوازده نمونه پاک‌سازی قابل دانلود استفاده کنید.
برای اصلاح شکستگی خطوط OCR، ابتدا متنی را که متعلق به یک پاراگراف است شناسایی کنید. فقط انتهای خطوط ناخواسته آن را با فاصله جایگزین کنید. برای کلمه‌ای که بین دو خط شکسته شده، جداگانه تصمیم بگیرید که خط پیوند را حذف کنید یا نگه دارید: trans- پس از آن lation تبدیل می‌شود به translation، اما well- پس از آن known تبدیل می‌شود به well-known. گزارش تغییرات را نگه دارید و موارد مشکوک اتصال کلمات را با صفحه اصلی مقایسه کنید.
دستور «حذف همه شکستگی‌های خط» یا «حذف همه خط پیوندها» را روی کل کتاب اجرا نکنید. یک متن استخراج‌شده پاک‌سازی‌شده ممکن است روان‌تر به نظر برسد، در حالی که ممکن است یک پاراگراف حذف شده باشد، دو مورد فهرست با هم ترکیب شده باشند یا یک شناسه فنی تغییر کرده باشد. هدف، به دست آوردن یک نسخه قابل اعتماد برای خواندن یا ترجمه است—نه کاهش حداکثری نویسه‌های خط جدید.
این راهنما از مرحله پس از تشخیص متنآغاز می‌شود. اگر کپی کردن متن از PDF حروف یا اعداد نادرستی به شما می‌دهد، ابتدا لایه متنی آن را عیب‌یابی کنید. تغییر شکستگی خطوط نمی‌تواند کاراکتر اشتباه تشخیص‌داده‌شده B-2O4 را به کاراکتر مورد نظر B-204.
تشخیص دهید هر شکستگی خط نشان‌دهنده چیست
اسکن اصلی و متن خام استخراج‌شده را بدون تغییر نگه دارید. در نسخه کاری، نمایش فاصله‌ها یا نشانه‌های پاراگراف را در ویرایشگر فعال کنید. اندازه پنجره ویرایشگر را تغییر دهید: خطی که بدون نویسه خط جدید ذخیره‌شده جابه‌جا و بازچینی می‌شود، صرفاً روی صفحه مانیتور می‌شکند؛ بنابراین چیزی برای حذف وجود ندارد.
نویسه‌های خط جدید ذخیره‌شده به بررسی متفاوتی نیاز دارند. یک پاراگراف پیوسته، یک عنوان، یک فهرست و هر چیدمان صفحه کاملاً متفاوتی را با تصویر صفحه مقایسه کنید. ساختار کل سند را از روی صفحه عنوان آن نتیجه‌گیری نکنید.
| شکستگی خط نشان‌دهنده چیست | اقدام مناسب | شواهد لازم |
|---|---|---|
| شکستگی بصری بین کلمات درون یک پاراگراف | جایگزین کردن شکستگی ذخیره‌شده با یک فاصله | هر دو سطر در متن مبدأ به یک پاراگراف تعلق دارند |
| شکستگی در میان یک کلمه | پیوستن بخش‌های جداشده، معمولاً با حذف خط فاصله صفحه‌آرایی | املای مدنظر، بافت مبدأ و قواعد خاص زبان |
| شکست سطر پس از یک خط فاصله واقعی در کلمات مرکب | حذف شکستگی سطر و حفظ خط فاصله | کلمه در خارج از قالب‌بندی انتهای سطر نیز آن خط فاصله را حفظ می‌کند |
| مرز یک پاراگراف، تیتر، مورد فهرست یا مصرع شعر | حفظ مرز سطر | ساختار متن مبدأ، و نه صرفاً علائم نگارشی جمله |
| انتقال بین ستون‌ها یا صفحات با ترتیب نامشخص | بلاتکلیف گذاشتن آن و بررسی دقیق صفحه | ادامه متن، ترتیب ستون‌ها، زیرنویس تصاویر و پاورقی‌ها |
سطرهای خالی و تورفتگی‌ها می‌توانند به شناسایی پاراگراف‌ها کمک کنند، اما این موارد صرفاً نشانه هستند و قطعیت ندارند. ممکن است بعد از یک تیتر هیچ سطر خالی وجود نداشته باشد. یک سطر با تورفتگی ممکن است ادامه یک فهرست باشد، نه یک پاراگراف جدید. یک سطر کوتاه منتهی به نقطه نیز می‌تواند سطر آخر یک پاراگراف باشد یا جمله‌ای در میانه آن.
اگر خروجی OCR اطلاعات چیدمان یا بلوک‌های متنی را ارائه می‌دهد، هنگام بررسی متن آن را حفظ کنید. خروجی صرفاً متنی (plain text) ممکن است شواهدی را که برای بازسازی این مرزها نیاز دارید از بین ببرد.
تفکیک کلمات دوتکه از خط فاصله‌های واقعی
سه حالت که از نظر ظاهری مشابه‌اند نیازمند ویرایش‌های متفاوتی هستند:
trans- → translation
lation
well- → well-known
known
trans\u00ADlation → translation in a verified reading copy
سطر پایانی از \u00AD استفاده می‌کند تا نویسه‌ای را که دیدنش دشوار است، آشکار سازد. یونیکد میان U+00AD SOFT HYPHEN، که نشانه شکست اختیاری درون کلمه است، و یک خط فاصله مرئی مانند U+2010 HYPHENتمایز قائل می‌شود. این نویسه‌ها قابل جایگزینی با یکدیگر نیستند. مشخصات شکست خط یونیکد همچنین تغییرات املایی وابسته به زبان را در محل شکست خط توصیف می‌کند؛ بنابراین حذف خط فاصله مرئی و چسباندن حروف همیشه کافی نیست.
برای متون معمولی، حذف نشانگر اختیاریِ تأییدشده می‌تواند نسخه‌ای کاربردی برای خواندن ایجاد کند. اما در رونویسی‌های آرشیوی، نسخه اصلی را جداگانه نگه دارید: حذف یک نشانگر، متن کدگذاری‌شده را تغییر می‌دهد، حتی اگر کلمه از نظر ظاهری تغییری نکرده باشد.
برای بررسی املای احتمالی از یک لغت‌نامه در زبان مبدأ استفاده کنید و سپس به متن بازگردید. مدخل لغت‌نامه صرفاً مدرکی کمکی است، نه مجوزی برای بازنویسی نام‌ها، شناسه‌ها یا رسم‌الخط‌های تاریخی. تکرار کلمه در سراسر سند نیز کمک‌کننده است، اما خطای OCR هم می‌تواند دقیقاً تکرار شود.
به عنوان مثال، نمونه آلمانی ما عبارت است از:
Die Auf-
gabe ist klar.
کلمه مورد نظر در این نمونه تألیفی Aufgabe; مدخل Duden بخش‌بندی آن را به صورت Auf|ga|beثبت کرده است. در اینجا پیوند دادن Auf- و gabe توجیه‌پذیر است. این تک‌نمونه یک قاعده کلی برای حذف خط پیوند در زبان آلمانی نیست، و املای لغت‌نامه‌های امروزی نباید بی‌سر‌و‌صدا جایگزین رسم‌الخط یک نسخه قدیمی‌تر شود.
نشانی‌های وب (URL)، کدهای کاتالوگ، نام‌های شیمیایی، مقادیر منفی و سایر نشانه‌های فنی را به عنوان مواردی جداگانه برای بازبینی در نظر بگیرید. باقی ماندن یا نماندن یک خط تیره یا خط پیوند باید تابع متن مبدأ و معنای آن نشانه باشد، نه یک قاعده سرانگشتی متکی به کلمات انگلیسی.
آنچه دوازده نمونه کنترل‌شده نشان می‌دهند
ما یک دموی پاک‌سازی قابل دانلود ساختیم که شامل دوازده رشته متن اصلی است. ساختار و کلمات مورد نظر این متون هنگام تألیف آن‌ها تعریف شد؛ سپس شکست‌های خط و خطاهای ساختگی خط پیوند را در آن‌ها اعمال کردیم. این‌ها نمونه‌های متنی ساختگی هستند، نه خروجی یک موتور OCR یا اسکن‌های یک کتاب.
روش پایه که عمداً ساده و بدون تفکیک طراحی شده، سه جایگزینی انجام می‌دهد: حذف خط فاصله به همراه خط جدید، جایگزینی سایر خطوط جدید با فاصله، و حذف خط فاصله‌های نرم (soft hyphens). مسیر دوم فقط تغییرات تأییدشده فردی را روی متن دقیق اعمال می‌کند و هیچ تلاشی برای تشخیص خودکار بندها یا تعیین املای کلمات به کار نمی‌بندد.
| نمونه | روش پایه ساده | تصمیم تأییدشده |
|---|---|---|
| شکست خط در نثر انگلیسی | دو خط را به‌درستی به هم وصل می‌کند | شکستگی خط بررسی‌شده را با یک فاصله جایگزین کنید |
trans- / lation | به‌درستی ایجاد می‌کند: translation | خط فاصله و شکستگی اضافه شده را حذف کنید |
well- / known | ایجاد می‌کند: wellknown | خط فاصله اصلی را حفظ کنید |
آلمانی Auf- / gabe | به‌درستی ایجاد می‌کند: Aufgabe | فقط این املای تأییدشده را متصل کنید |
| نویسه U+00AD تعبیه‌شده | نشانگر خط فاصله اختیاری را حذف می‌کند | آن را در این نسخه خوانش تألیف‌شده حذف کنید |
| سه نقطه فرانسوی، سپس یک پاراگراف جدید | پاراگراف‌ها را در هم ادغام می‌کند | مرز تعیین‌شده توسط نویسنده را حفظ کنید |
| فهرست شماره‌دار، شعر، کد و عنوان | ساختارهای متمایز را یکدست و فشرده می‌کند | خطوط جدید آن‌ها را حفظ کنید |
| دو پاراگراف بدون خط خالی | آن‌ها را در یکی ادغام می‌کند | پاراگراف‌های تعیین‌شده توسط نویسنده را حفظ کنید |
| نشانگر صفحه بررسی‌نشده | انتقال بین صفحات را یکدست و محو می‌کند | تا زمان بررسی ترتیب، آن را دست‌نخورده باقی بگذارید |
در ۳ اکتبر ۲۰۲۶، اجرای این آزمون ساختگی با Node.js 25.2.1 متن منطبق با مرجع را برای ۴ مورد از ۱۲ نمونه در حالت پایهٔ ساده تولید کرد. روش تأییدشده با هر دوازده مرجع مطابقت داشت و تمام دوازده ورودی را از طریق قابلیت بازگردانی (undo) بازیابی کرد. همچنین ورودی‌های منسوخ، تطابق‌های غیریکتا و موارد فاقد تطابق را رد کرد.
این نتایج، اِعمال دقیق پچ‌ها را در برابر مراجع مشخص و تألیف‌شدهمی‌سنجند. این نتایج برآوردی از دقت در دنیای واقعی ارائه نمی‌دهند: تصمیم‌های تأییدشده از قبل حاوی پاسخ‌ها هستند و مجموعهٔ متنی نیز عمداً برای نمایان کردن موارد خطا انتخاب شده است. ما هیچ ابزار پاک‌سازی تجاری، موتور OCR، مدل ترجمه یا فایل بارگذاری‌شده در BookTranslator را آزمایش نکردیم. هیچ تلاشی مجدد یا نمونهٔ حذف‌شده‌ای هم وجود نداشت.
دانلود ورودی/خروجی واقعی و گزارش پچ‌ها و دستورالعمل‌های بازتولید. کد جاوااسکریپت به‌صورت محلی، بدون وابستگی‌ها یا فراخوانی‌های شبکه اجرا می‌شود و نتایج را چاپ می‌کند؛ این اسکریپت فایل‌های شما را بازنویسی نمی‌کند. بررسی‌های آن مانع از اِعمال یک ویرایشِ تأییدشده روی متنی متفاوت می‌شوند. این بررسی‌ها نمی‌توانند به شما بگویند که آیا ویرایش از نظر زبانی صحیح است یا خیر.
پاک‌سازی هر بار یک بلوکِ تأییدشده
کار را با یک بلوک نثری کوتاه آغاز کنید که ترتیب خواندن و مرزهای پاراگراف آن برایتان مشخص باشد. کار را با کل یک فصل که شامل زیرنویس‌ها، نقل‌قول‌ها، فهرست‌ها و پانویس‌هاست شروع نکنید.
- یک نسخهٔ خام ذخیره کرده و موقعیت منبع را یادداشت کنید. نام فایل، شماره صفحه، پاراگراف یا بلوک و زبان را همراه با هر بخشِ بازبینی‌شده نگه دارید.
- ابتدا مرزهای ساختاری را مشخص کنید. عناوین، موارد فهرست، شعر، جداول و کدها را از متن نثری معمولی جدا کنید. اگر بعداً نشانگرهای ارجاعات صفحات را حذف می‌کنید، خود ارجاعات را خارج از متن اصلی خوانش نگه دارید.
- شکستگی‌های سطر معمولیِ بین کلمات را در همان بلوک به هم متصل کنید. هر شکستگی تأییدشده را با یک فاصله جایگزین کنید. بررسی کنید که کلمات به یکدیگر نچسبیده باشند و فاصلهٔ موجود به یک فاصلهٔ تکراریِ ناخواسته تبدیل نشده باشد.
- کلمات دونیم‌شده را به‌صورت جداگانه بررسی کنید. توکن کامل و جملهٔ پیرامون آن را نمایش دهید. یکی از وضعیت‌های «حذف خط تیره صفحه‌آرایی»، «حفظ خط تیره واقعی» یا «حل‌نشده» را ثبت کنید. کاندیدای حل‌نشده را به‌عنوان تغییر تأییدشده در نظر نگیرید.
- پیش از پذیرش تغییرات، تفاوت‌ها (diff) را به‌دقت بررسی کنید. هر شکستگی خط یا خط‌فاصلهٔ حذف‌شده را با نسخهٔ مبدأ مقایسه کنید. نسخهٔ اصلاح‌شده را همراه با تصمیم‌های اتخاذشده تحت یک نام فایل جدید ذخیره کنید.
- فایل را دوباره باز کرده و از نتیجهٔ ذخیره‌شده کپی بگیرید. فایل نهایی مورد استفاده را بررسی کنید، نه صرفاً پیش‌نمایش ویرایشگر را.
برای بخش‌های کوتاه، ویرایش‌های دستی همراه با ثبت تغییرات (Track Changes) یا مقایسهٔ قبل و بعد ممکن است کافی باشد. اما برای متون طولانی‌تر، یک فهرست تغییرات (Patch List) باید متن دقیق اصلی، جایگزین، موقعیت، دلیل و نام بازبین را ثبت کند. استفاده از یک چک‌سام (Checksum) مبدأ مانع از اعمال تأییدیه‌های قدیمی پس از تغییر متن ورودی می‌شود.
اگر ویرایشگر شما قابلیتی برای پاک‌سازی با حفظ پاراگراف‌ها دارد، آن را روی بلوک‌های دشوار آزمایش کنید، نه فقط روی متن‌های روان و ساده. حفظ شکستگی‌های دوگانهٔ خط (Double Newlines) نمی‌تواند مرز پاراگرافی را که OCR با یک خط جدیدِ تکی نشان داده بازیابی کند. قبل از بررسی دقیق جدول‌ها و قطعه‌کدها، تورفتگی‌ها را حذف نکنید و همه فاصله‌ها را یکجا نبندید.
بدانید چه زمانی باید به تصویر صفحه بازگردید
علائم نگارشی فرانسوی نشان می‌دهند که چرا تشخیص پایان جمله معادل تشخیص پاراگراف نیست. در نمونهٔ تألیفی ما، Il attend… و Le lendemain, il part. به دو پاراگراف مجزا تعلق دارند. سه‌نقطه به تنهایی نشان‌دهندهٔ این مرز نیست. راهنمای Office québécois de la langue française دربارهٔ کاربرد سه‌نقطه (points de suspension) مواردی مانند وقفه یا یک ایدهٔ ناتمام را توصیف می‌کند؛ بنابراین باید از ساختار صفحه برای تصمیم‌گیری دربارهٔ پیوستن خط بعدی استفاده کنید.
بررسی تصویر سند اصلی را برای این موارد الزامی کنید:
| مورد مشکوک | چرا متن به تنهایی کافی نیست | چه مواردی باید مقایسه شوند |
|---|---|---|
| تیتری که بلافاصله پس از آن متن اصلی می‌آید | ممکن است هیچ خط خالی‌ای پس از استخراج باقی نمانده باشد | قلم (تایپ‌فیس)، چینش، فاصله‌گذاری و نقش بخش در سند |
| متنی که در مرز دو صفحه یا دو ستون ادامه می‌یابد | ممکن است سرصفحه، زیرنویس یا پانویس در میان آن فاصله انداخته باشد | آخرین خط مبدأ، ادامهٔ آن و ترتیب خوانش |
| یک نام، کد، مقدار عددی یا اصطلاح ناآشنا | یک پیوند متن ظاهراً معقول هم می‌تواند مقدار آن را تغییر دهد | تک‌تک کاراکترها، از جمله نوع خط‌تیره و ارقام |
| شکست کلمات در متون کهن یا تاریخی | شکل املایی کلمه در محل شکست چاپی ممکن است با حالت پیوسته آن متفاوت باشد | نسخه چاپ، رسم‌الخط متن اصلی و مرجع زبانی مناسب |
| شعر، فهرست‌ها، جدول‌ها یا کدها | انتهای خطوط ممکن است حاوی بار معنایی یا ساختاری باشد | چینش خطوط، مرز میان موارد، سلول‌ها و تو رفتگی‌ها |
| علامت تعلیق (سه‌نقطه)، اختصارات یا خط پایانی کوتاه | علائم نگارشی موقعیت قطعی پاراگراف را ثابت نمی‌کنند | پاراگراف کامل و بلوک‌های پیرامون آن |
اگر در چندین صفحه مشکلی مشابه دیده می‌شود، آن الگو را در کل سند جستجو و نتایج را بررسی کنید. در صورتی که حروف متن اصلی، ترتیب خوانش یا کل بخش‌ها نادرست هستند، نرمال‌سازی را متوقف کرده و به مراحل بازشناسی یا استخراج متن بازگردید. برای بازشناسی در اسنادی با چند زبان، از بخش مجزای گردش کار OCR پی‌دی‌اف چندزبانه.
متن اصلی پاک‌سازی‌شده را پیش از ترجمه تأیید کنید
یک بلوک ویرایش‌شده را با صفحه اصلی مقایسه کنید، سپس بلوکی دیگر و تک‌تک انواع ساختارهای موجود در متن استخراج‌شده را بررسی نمایید. موارد خطای شناخته‌شده را در فهرست بررسی نگه دارید. نمونه‌گیری فقط شواهدی درباره بخش‌های بررسی‌شده ارائه می‌دهد و سلامت باقی بخش‌های کتاب را تضمین نمی‌کند.
- اطمینان حاصل کنید که نام‌ها، اعداد، تاریخ‌ها و کدها همچنان با متن اصلی همخوانی دارند.
- تمام خطوط پیوند (Hyphen) حذف‌شده و هرگونه رسم‌الخط بازسازی‌شده در محل شکست خط را بررسی کنید.
- مرزهای پاراگراف‌ها، عنوان‌ها، موارد فهرست و مصراع‌های شعر را مقایسه کنید.
- مطمئن شوید که سطر اول و آخر در هنگام جابه‌جایی میان صفحات از دست نرفته باشند.
- موارد نامشخص و حل‌نشده را جستجو کنید و آن‌ها را در گزارش بررسی نگه دارید.
- اطمینان حاصل کنید نسخه‌ای که در نهایت ذخیره شده، همان نسخه‌ای است که به مرحله بعدی گردش کار وارد می‌شود.
اگر تمام هدف شما دسترسی به متنی قابل جستجو یا یادداشت‌برداری بوده است، همین متن استخراج‌شده و تأییدشده می‌تواند خروجی نهایی شما باشد و نیازی به ترجمه برای اصلاح آن ندارید.
اگر به سند به زبان دیگری نیاز دارید، محتوای تأییدشده را در یکی از فرمت‌های پشتیبانی‌شده آماده کرده و از گردش کار ترجمه کامل سنداستفاده کنید. حالت OCR در BookTranslator فایل PDF ترجمه‌شده را بر اساس محتوای شناسایی‌شده بازسازی می‌کند و چیدمان دقیق صفحه اصلی را عینا تکرار نمی‌کند؛ این ابزار یک ویرایشگر مستقل برای پاک‌سازی متن یا تضمینی بر تفسیر درست تمام شکست‌های متن اصلی نیست. راهنمای فایل‌های PDF اسکن‌شده توضیح می‌دهد که چه زمانی به نویسه‌خوانی نیاز است.
صفحات اصلی و گزارش پاک‌سازی را برای مرحله نهایی بررسی کیفی ترجمه PDFنگه دارید. یک جمله روان در زبان مقصد نمی‌تواند به شما بگوید که متن مبدأ باید شامل یک خط پیوند واقعی می‌بوده، یا این‌که دو جمله به ظاهر پیوسته در واقع پاراگراف‌های جداگانه‌ای بوده‌اند.
مطالب مرتبط
