Как исправить переносы строк и дефисы после OCR перед переводом

Чтобы исправить переносы строк после OCR, сначала определите границы единого абзаца. Заменяйте пробелами только лишние переводы строк внутри него. Для слов, разорванных переносом, решайте индивидуально, нужно ли убирать дефис или оставить его: trans- , за которым идет lation , превращается в translation, но well- , за которым идет known , превращается в well-known. Сохраняйте историю правок и сверяйте сомнительные склейки с исходной страницей.

Не применяйте команды «удалить все переносы строк» или «удалить все дефисы» ко всей книге сразу. Очищенный фрагмент может читаться более гладко, но при этом потерять абзац, объединить два пункта списка или исказить технический идентификатор. Ваша цель — надежная копия для чтения или перевода, а не минимальное количество символов перевода строки.

Это руководство начинается с этапа, когда распознавание текста уже выполнено. Если при копировании из PDF получаются неверные буквы или цифры, сначала проверьте его текстовый слой. Исправление переносов строк не превратит ошибочно распознанное B-2O4 в исходное B-204.

Определите, что означает каждый перенос строки

Оставьте исходный скан и необработанный текст без изменений. В рабочей копии включите отображение невидимых символов или знаков абзаца. Измените размер окна редактора: строка, которая перестраивается сама без жесткого перевода строки, просто переносится на экране — удалять в ней нечего.

С жесткими переводами строк все иначе. Сравните скан-копию страницы с текстом: проверьте сплошной абзац, заголовок, список и любые нестандартные элементы верстки. Не делайте выводов о структуре всего документа только по титульному листу.

Пустые строки и отступы помогают распознать абзацы, но служат лишь подсказками, а не гарантией. После заголовка может не быть пустой строки. Строка с отступом может оказаться продолжением списка, а не новым абзацем. А короткая строка с точкой на конце может быть как последней строкой абзаца, так и обычным предложением в его середине.

Если инструмент OCR позволяет экспортировать данные о макете или текстовых блоках, сохраняйте их при проверке. Обычный текстовый экспорт нередко стирает именно те сведения, которые необходимы для восстановления границ блоков.

Как отличать перенесенные слова от настоящих дефисов

Три внешне похожих случая требуют разных действий при правке:

trans-          → translation
lation

well-           → well-known
known

trans\u00ADlation → translation in a verified reading copy

В последней строке используется \u00AD , чтобы наглядно обозначить символ, который обычно не виден. В стандарте Unicode символ U+00AD SOFT HYPHEN(мягкий перенос внутри слова) отделен от видимого дефиса вроде U+2010 HYPHEN. Это принципиально разные символы. Спецификация переноса строк Unicode также описывает зависящие от языка изменения в написании на месте переноса; просто удалить видимый дефис и соединить части слова бывает недостаточно.

Для обычной прозы удаление проверенного мягкого переноса помогает получить удобную для чтения копию. Однако для архивной транскрипции оригинал следует сохранять отдельно: удаление служебного символа меняет закодированный текст, даже если визуально слово кажется прежним.

Используйте словарь исходного языка , чтобы проверить потенциальное написание, а затем снова сверьтесь с контекстом фрагмента. Словарная статья служит подтверждением, но не даёт повода заменять имена собственные, идентификаторы или историческую орфографию. Повторяющиеся вхождения в документе тоже помогают, хотя ошибка OCR вполне может воспроизводиться стабильно.

Например, наш образец на немецком языке выглядит так:

Die Auf-
gabe ist klar.

Задуманное слово в этом составленном примере — Aufgabe; Статья в словаре Duden указывает слогоделение как Auf|ga|be. Объединение частей Auf- и gabe здесь оправданно. Однако этот единичный пример не является общим правилом устранения переносов в немецком языке, а современная словарная норма не должна молчаливо вытеснять орфографию старинного издания.

Относитесь к URL-адресам, кодам каталогов, химическим названиям, отрицательным величинам и другим техническим токенам как к отдельным случаям проверки. Сохранять ли дефис или тире, следует решать на основе источника и значения токена, а не эвристик для обычных английских слов.

О чём говорят двенадцать контрольных примеров

Мы подготовили демонстрационный набор для очистки, доступный для скачивания , куда вошли двенадцать исходных строк. Их предполагаемые слова и структура были заданы нами изначально; затем мы намеренно добавили в них переносы строк и артефакты дефисации. Это синтетические примеры текста, а не результат работы OCR или сканы реальной книги.

Намеренно грубый базовый метод выполняет всего три замены: удаляет дефис с последующим переводом строки, заменяет оставшиеся переводы строк пробелами и убирает мягкие переносы. Второй подход применяет только точечные, одобренные вручную изменения к конкретному тексту. Он не пытается автоматически распознавать абзацы или определять орфографию слов.

3 октября 2026 года запуск тестового набора на Node.js 25.2.1 дал совпадение с эталоном лишь для 4 из 12 примеров при использовании прямолинейного базового подхода. Проверенный алгоритм сопоставил все двенадцать эталонов и полностью восстановил все двенадцать исходных фрагментов через отмену изменений. Он также отклонил устаревшие исходные данные, неоднозначные совпадения и случаи отсутствия соответствий.

Эти результаты проверяют точное применение патчей по сравнению с известными авторскими эталонами. Они не отражают точность в реальных условиях: проверенные решения уже содержат правильные ответы, а сам корпус был специально подобран для выявления граничных случаев. Мы не тестировали коммерческие клинеры, OCR-движки, модели перевода или загрузку файлов в BookTranslator. Никаких повторных попыток или исключенных примеров не было.

Скачайте фактические входные/выходные данные и журнал патчей , а также инструкции по воспроизведению. Скрипт на JavaScript выполняется локально без сторонних зависимостей и сетевых запросов и выводит результаты в консоль; он не перезаписывает ваши файлы. Встроенные проверки гарантируют, что утвержденная правка не применится к другому тексту. Однако они не могут определить, верна ли правка с точки зрения языка.

Очищайте по одному проверенному блоку за раз

Начните с небольшого фрагмента прозы, в котором можно четко определить порядок чтения и границы абзацев. Не стоит сразу браться за целую главу с подписями к иллюстрациям, цитатами, списками и сносками.

1. Сохраняйте исходную копию и фиксируйте местоположение источника. Для каждого проверяемого фрагмента сохраняйте имя файла, номер страницы, абзац или блок и язык.
2. Сначала разметьте структурные границы. Отделите заголовки, элементы списков, стихи, таблицы и фрагменты кода от обычного текста. Сохраняйте указания на страницы отдельно от основного текста, если позже вы решите убрать их маркеры.
3. Объединяйте обычные межсловные переносы строк внутри блока. Заменяйте каждый подтвержденный перенос строки пробелом. Убедитесь, что слова не слиплись и на месте переноса не образовался лишний двойной пробел.
4. Проверяйте разорванные слова отдельно. Выводите слово целиком вместе с контекстом всего предложения. Фиксируйте решение: «удалить дефис переноса», «оставить смысловой дефис» или «не определено». Не применяйте правку, пока статус кандидата остается нерешенным.
5. Проверяйте диффы перед подтверждением изменений. Сверьте каждое удаленное разделение строк или дефис с исходником. Сохраните очищенную версию под новым именем файла вместе с историей принятых правок.
6. Откройте заново и скопируйте текст из сохраненного файла. Проверяйте именно тот файл, который пойдет в работу, а не просто предпросмотр в редакторе.

Для небольшого отрывка может хватить ручных правок в режиме отслеживания изменений или сравнения «до/после». Для более объемных текстов стоит вести журнал замен: фиксировать точную исходную подстроку, вариант замены, расположение, причину и автора правки. Контрольная сумма исходника поможет избежать применения устаревших согласований, если входной файл изменится.

Если в вашем редакторе есть режим очистки с сохранением абзацев, протестируйте его на сложных блоках, а не только на сплошном тексте. Сохранение двойных переносов строк не поможет восстановить границу абзаца, которую OCR преобразовал в один перевод строки. Не удаляйте отступы и не сжимайте все пробелы подряд, пока не проверите таблицы и фрагменты кода.

Когда необходимо сверяться со сканом страницы

Французская пунктуация наглядно показывает, почему определение конца предложения не равнозначно выделению абзаца. В нашем примере Il attend… и Le lendemain, il part. относятся к разным абзацам. Одно лишь многоточие само по себе не задает эту границу. В руководстве Office québécois de la langue française по использованию points de suspension описаны разные случаи его применения, включая обрыв фразы или незаконченную мысль; опирайтесь на визуальную структуру страницы, чтобы решить, нужно ли объединять строку со следующей.

Обязательно сверяйтесь со сканом страницы в следующих ситуациях:

Если одна и та же проблема встречается на нескольких страницах, выполните поиск по этому шаблону во всем документе и проверьте найденные совпадения. Если перепутаны буквы оригинала, порядок чтения или целые фрагменты текста, остановите нормализацию и вернитесь к этапу распознавания или извлечения. Для распознавания документов на нескольких языках используйте отдельный процесс OCR для многоязычных PDF.

Проверьте очищенный исходный текст перед переводом

Сравните отредактированный блок с исходной страницей, затем проверьте другой блок и каждый структурный тип текста, встречающийся в выгрузке. Обязательно включайте известные проблемные места в проверочную выборку. Выборочная проверка дает представление только о просмотренных фрагментах, но не гарантирует безошибочность всей книги.

• Убедитесь, что имена, числа, даты и фрагменты кода по-прежнему точно соответствуют оригиналу.
• Проверьте каждый удаленный дефис и любое написание, восстановленное на месте переноса.
• Сверьте границы абзацев, заголовков, элементов списков и стихотворных строк.
• Убедитесь, что первые и последние строки не потерялись при переходах между страницами.
• Выполните поиск нерешенных спорных случаев и зафиксируйте их в журнале проверки.
• Убедитесь, что на следующий этап обработки отправляется именно финальная сохраненная версия.

Если вам требовался только текст для поиска или заметок, этот проверенный фрагмент может быть конечной целью. Перевод для его исправления не требуется.

Если же документ нужен на другом языке, сохраните выверенный текст в поддерживаемом формате и запустите процесс перевода документа целиком. Режим OCR в BookTranslator заново формирует переведенный PDF на основе распознанного содержимого, а не воспроизводит исходную верстку страницы точь-в-точь; он не заменяет сторонний редактор для очистки текста и не гарантирует, что каждый исходный перенос был истолкован верно. Руководство по работе со сканированными PDF объясняет, в каких случаях требуется распознавание.

Сохраняйте исходные страницы и журнал очистки для финальной проверки качества перевода PDF. Бегло звучащее предложение на языке перевода не подскажет вам, что в оригинале должен был стоять настоящий дефис — или что два кажущихся непрерывными предложения на самом деле относились к разным абзацам.