OCR документов смешанных языков: раздельная проверка китайского, английского и цифр

Для распознавания текста в смешанном PDF-файле определите используемые на странице письменности, выберите инструмент для обработки PDF с соответствующими языками распознавания, а затем сверьте извлеченный текст с изображением. Проверяйте китайский текст, английский текст, цифры и связи между метками отдельно. Обнаружение английского заголовка в поиске не гарантирует, что основной текст на китайском языке был распознан.

Добавление еще одного языка требует тестирования и не всегда автоматически улучшает результат. В нашем небольшом китайско-английском эксперименте добавление английского исправило одну английскую метку, но испортило китайское предложение, которое было успешно распознано в конфигурации только для китайского. Ни одна из двух наших конфигураций таблиц не вернула текст из простой таблицы с линиями.

Это не приговор многоязычному OCR в целом, а повод оценивать нужный вам результат, а не количество выбранных языков.

Сначала отделите отсутствующий текст от неверного

Охраняйте исходный файл без изменений. На его копии выберите предложение с типичной страницы и вставьте его в текстовый редактор. Попробуйте отрывок на китайском и на английском, а не только название документа.

Существующий текстовый слой имеет значение. Например, документация по OCR в NAPS2 указывает, что импортированные страницы PDF, уже содержащие текст, остаются без изменений. Повторный импорт страницы с некачественным OCR поэтому не является надежным методом восстановления в рамках такого рабочего процесса.

Если реальная проблема заключается в низком разрешении, искривлении или перекосе скана, устраните ее до того, как оценивать сравнение языковых настроек. Наше более подробное руководство по сканированным PDF-файлам охватывает эту подготовку и последующие этапы перевода.

Выберите языки распознавания, а не целевой язык перевода

Распознавание отвечает на вопрос «какие символы находятся на этой странице?». Перевод отвечает на вопрос «как этот контент должен звучать на другом языке?». Не требуйте от OCR молча упрощать традиционные китайские иероглифы, переводить цитаты на английском языке или переписывать незнакомые идентификаторы.

Составьте короткую опись:

• Китайское письмо: упрощенное, традиционное или оба варианта, включая заголовки и примечания.
• Латиница: английские предложения, имена авторов, ссылки, сокращения и номера моделей.
• Контролируемые значения: даты, десятичные разделители, единицы измерения, знаки минус, идентификаторы и коды с учетом регистра.
• Области: проза, таблицы, подписи к иллюстрациям, сноски или приложение на другом языке.

Например, отчет на традиционном китайском языке может содержать аннотацию и список литературы на английском. Глава на упрощенном китайском языке может включать таблицу с A-01, 23.5, а также °C. Ни то, ни другое нельзя оценивать путем проверки только самого длинного китайского абзаца.

Tesseract предоставляет отдельные модели chi_sim, chi_tra, а также eng в своем официальном репозитории моделей. Его документация по командам поддерживает комбинированный выбор языков и отмечает, что порядок языков может влиять на результаты. Это конфигурационные возможности, а не гарантии того, что каждая дополнительная модель будет полезна.

Если ваш документ вместо этого содержит вертикальные японские колонки и фуригану, воспользуйтесь руководством по вертикальному OCR для японского языка. Это другая задача верстки и разметки, а не просто еще один флажок языка.

Используйте рабочий процесс, который действительно принимает PDF-файлы

Настольный вариант: NAPS2

NAPS2 предлагает документированный способ добавления возможности поиска в отсканированные PDF-файлы:

1. Импортируйте копию файла и откройте его настройки OCR.
2. Загрузите языки распознавания, необходимые для документа.
3. Выберите Несколько языков и выберите соответствующие языки.
4. Включите OCR с возможностью поиска для PDF и сохраните в новый файл.
5. Снова откройте этот файл и сравните скопированный китайский, английский и цифровой текст с видимой страницей.

Выбор нескольких языков появляется после загрузки более чем одного языка. Эти шаги следуют официальному руководству NAPS2; мы не проводили практическое тестирование NAPS2 для этой статьи.

Вариант командной строки: OCRmyPDF

Для PDF-файла на упрощенном китайском и английском языках, содержащего только изображения, пример на основе официальной документации:

ocrmypdf -l chi_sim+eng --output-type pdf \
  --sidecar recognized.txt input.pdf searchable.pdf

Сначала установите необходимые языковые пакеты. Используйте chi_tra для тестирования традиционного китайского вместо того, чтобы предполагать взаимозаменяемость письменности.

В руководстве OCRmyPDF описаны выходные данные PDF и сопутствующего текста (sidecar). Сопутствующий файл необязательно содержит весь документ: текст на страницах, где текст уже был, или на страницах, пропущенных во время OCR, может отсутствовать. Проверьте сам результирующий PDF-файл. Существующий некорректный OCR требует осознанного рабочего процесса повторной обработки; не принудительно растрируйте каждую страницу, не понимая, что это меняет.

Это путь на основе документации, а не наша проверенная тестовая среда. Мы не запускали OCRmyPDF здесь.

Обычному Tesseract требуются отрендеренные страницы

Не используйте tesseract input.pdf ... так, будто это программа для чтения PDF. Tesseract не принимает входные файлы PDF, хотя и может выводить PDF-файлы. У Tesseract.js то же ограничение для входных данных PDF: сначала отрендерите страницы с помощью библиотеки PDF, а затем распознавайте изображения.

Именно этот путь используется в нашем эксперименте ниже. Он выдает текст и результаты в формате TSV, а не проверенный PDF с возможностью поиска.

Что произошло за десять локальных вызовов OCR

Мы создали трехстраничный PDF-файл, состоящий только из изображений, содержащий:

1. упрощенный китайский текст с английскими ссылками, идентификаторами, десятичными числами и единицами измерения;
2. соответствующую страницу на традиционном китайском языке;
3. небольшую китайско-английскую таблицу с тремя строками данных.

Текст и значения представляют собой самостоятельно созданные учебные материалы, а не клиентские файлы или реальные измерения. Каждая целевая текстовая строка содержит 124 непробельных символа, включая 41 иероглиф. Таблица содержит 79 непробельных символов.

Исходные страницы PDF не содержали извлекаемого текста. Мы отрендерили их с помощью Poppler 26.08.0 с разрешением 300 dpi, получив изображения размером 1600×1000 пикселей. Размер шрифта составлял 48 пикселей в Noto Sans CJK SC/TC Regular. Вся пунктуация взята из обычных горизонтальных глифов шрифтов.

8 сентября 2026 года мы запустили Tesseract.js 7.0.0 с tesseract.js-core 7.0.0 локально на macOS ARM64. Официальные tessdata_fast модели были зафиксированы на коммите 87416418657359cb625c412a48b6e1d6d41c29bd. Во всех вызовах использовались OEM 1 и PSM 6 (настройка для однородного текстового блока) с одним и тем же изображением страницы для каждого сравнения языков.

Для каждой страницы текста было предусмотрено четыре языковых сценария, а для таблицы — два. Все десять вызовов завершились успешно; ни один результат не был отброшен, а параметры не настраивались после просмотра вывода. Точные входные данные, хэши моделей, версии и необработанные результаты, а также инструкции по воспроизведению доступны.

Настройка может исправить одно поле и повредить другое

На традиционной странице chi_tra сохранила все 41 иероглиф подряд, но все равно допустила ошибки в некитайском тексте. Например, она изменила английскую метку Document ID на Document 1ID и неверно распознала символ градуса.

Добавление eng восстановило Document ID, но часть предложения о температуре и массе превратилась в похожие на латиницу фрагменты:

Expected: 樣本溫度為 23.5 °C，質量為 1.08 kg。
Observed with chi_tra+eng: RA MEA 23.5°C > HBA 1.08 kg。

Цифры в этой строке уцелели, в то время как окружающий китайский текст — нет. Проверка только 23.5 и 1.08 позволила бы пропустить эти повреждения.

Упрощенная страница продемонстрировала другой компромисс. Добавление английского восстановило BK-2026-A07, которое при запуске только для китайского языка вернулось как BK-2026-AO7. Но это также изменило 与 на 5 в другом месте. Визуально неоднозначный идентификатор O0I1-l остался неверным.

Следующие диагностические данные показывают, почему мы не объявили победителя:

«Правки последовательности ханьских знаков» сравнивают только китайские иероглифы. Это сравнение не учитывает английский текст, знаки препинания или пробелы. «Найденные защищенные строки» — это лишь проверка наличия предопределенных идентификаторов, чисел, единиц измерения и справочных токенов; она не проверяет их позицию или взаимосвязь. Англоязычные результаты демонстрируют эту ловушку: большинство защищенных строк присутствовало, но ни один китайский иероглиф не был возвращен.

Полная таблица сравнения CSV также содержит данные о расстояниях редактирования для всего текста. При сравнении применяется нормализация Unicode NFC и удаляются пробелы; оно не исправляет знаки препинания, не изменяет регистр, не конвертирует китайские письменности и не меняет порядок символов. Изменение порядка языков повлияло на расстановку пробелов в этих текстовых фрагментах, но не изменило нормализованную последовательность символов. Это наблюдение не является общим правилом для порядка языков.

Пустая таблица не является успешным извлечением данных

Оба вызова таблицы вернули пустой текст, несмотря на то что выполнение завершилось без ошибки OCR. Добавление китайского языка не спасло фиксированный рецепт с единообразными блоками.

Мы не тестировали другие режимы сегментации, обрезку ячеек или движок распознавания таблиц. Следовательно, результат не показывают, что Tesseract не умеет читать таблицы. Это свидетельствует о том, что простая смена языка распознавания не решила проблему для данного примера при использованных нами настройках.

Для реальной таблицы требуется полная взаимосвязь Temperature → A-01 → 23.5 → °C, а не четыре токена, разбросанные по странице. Если вывод пуст или взаимосвязи проверить невозможно, прекратите считать такую расшифровку достоверной. Попробуйте использовать рабочий процесс с учетом структуры или расшифруйте нужные ячейки, обращаясь к изображению.

Чего этот эксперимент доказать не может

Это три чистые синтетические страницы из одного семейства шрифтов, проверенные одним агентским редактором. Здесь не проводилось слепое экспертное тестирование, не использовался корпус производственных документов и не тестировались размытые сканы, рукописный текст, сложные таблицы, вертикальный текст или исторические символы.

Эти результаты служат полезными контрпримерами против безусловного правила «добавить больше языков». Они не являются рейтингом движков, общим показателем точности или прогнозом для вашего PDF-файла. Это не было тестированием BookTranslator, а исходный PDF-файл, состоящий только из изображений, не является готовой для чтения копией после OCR.

Выполните четырехчастную проверку пригодности для вашего собственного файла

Скачайте пустой лист для проверки. Выберите страницу, содержащую реальную сложность, а затем добавьте следующие проверки перед обработкой всего файла:

1. Китайский текст: сравните полное предложение, включая менее распространенные символы и предполагаемые упрощенные/традиционные формы. Не исправляйте молча ошибочный символ на тот, который вы ожидали увидеть.
2. Английский язык и идентификаторы: проверьте имена авторов, ссылки, аббревиатуры, заглавные буквы и похожие символы, такие как O/0 или I/l/1. Незнакомый код — это не слово для автоисправления.
3. Числа и единицы измерения: сравните каждое значение с его знаком, десятичной точкой, единицей измерения и меткой. 0.05 и 0.50 должны оставаться различными; распознанное число 23.5 без правильной единицы измерения является неполным.
4. Взаимосвязи и полнота: убедитесь, что каждый абзац или строка таблицы находится на своем месте. Убедитесь в наличии подписей, примечаний и небольших фрагментов на втором языке, а не только основного текста.

Зафиксируйте исходный текст, полученный результат, страницу/область и необходимое действие. Если какая-то конфигурация улучшает одну проверку, но ухудшает другую, сохраните оба наблюдения. Не принимайте файл на основе единой оценки достоверности или среднего количества символов.

Разделяйте три результата: пригодно к использованию для вашей цели в исходном виде, требует точечных исправлений или пока не заслуживает доверия. Для задачи поиска может хватить одного проверенного отрывка; для полноценного чтения требуется охват всего документа, а не аккуратная титульная страница.

Переводите только после того, как поймете смысл оригинала

Если поиск и копируемый текст в оригинале решают вашу задачу, остановитесь на этом. OCR свою задачу выполнил, а перевод — это отдельное решение.

Если вам нужно прочитать документ целиком на другом языке, сохраните оригинал скана и исправленный текст в качестве справочных материалов, а затем следуйте рабочему процессу перевода сканированных PDF. Для подходящего файла переводчик PDF от BookTranslator может стать следующим шагом. Режим OCR в нем восстанавливает переведенный контент, а не гарантирует точное совпадение с исходной версткой страницы; он не отменяет необходимость проверять распознанный текст и связи в таблицах.

После перевода используйте контрольный список проверки качества перевода PDF, чтобы отличать ошибку распознавания исходного текста от ошибки перевода или верстки. Исправление не того этапа — это путь, по которому читаемая ошибка проникает в итоговый файл.