تعرف على التعرف الضوئي على الحروف (OCR) للنصوص اليابانية العمودية: الحفاظ على ترتيب الأعمدة ومعالجة الفوريجانا
استخرج النصوص اليابانية العمودية باستخدام إعدادات التخطيط المناسبة، وافصل الفوريجانا عن نص المتصفح، وتحقق من مخرجات التعرف الضوئي الفعلية مقابل العينات القابلة للتنزيل.
بالنسبة للتعرف الضوئي على الحروف (OCR) للنصوص اليابانية العمودية، تحقق من اتجاه الكتابة قبل تغيير مرشحات الصور. استخدم نموذجاً يابانيًا وإعداد تقسيم يمكنه التعامل مع النصوص العمودية، وتأكد من الأعمدة بالترتيب المقصود، وقرر ما إذا كنت بحاجة إلى النص الأساسي بمفرده أو مع الفوريجانا أيضًا. قد تظل الصفحة المليئة بالحروف القابلة للتمييز نسخًا غير قابلة للاستخدام إذا كان تسلسلها خاطئًا.
لقد أجرينا تجربة محلية صغيرة وقابلة للتكرار لجعل هذه القرارات ملموسة. أدى التكوين الأفقي إلى خلط أعمدتنا العمودية الثلاثة. واستعاد التكوين العمودي النص الأساسي العادي، لكن إضافة الفوريجانا أدت إلى تغيير علامتي ترقيم، ولم يؤدِ اقتطاع النص الصغير إلى إزالة أخطاء الترقيم.
هذه نتائج من عينة اصطناعية صغيرة بشكل متعمد، وليست ادعاء دقة بشأن جميع الكتب اليابانية. الدرس المفيد أضيق:قيم التعرف على الحروف، وترتيب القراءة، ومعالجة التعليقات التوضيحية بشكل منفصل. لا ترسل النتيجة للترجمة لمجرد أنها تبدو وكأنها يابانية.
حدد أولاً النص الذي تريده بالفعل
في التكوين العمودي الياباني التقليدي، تتقدم الحروف أسفل السطر وتتحرك الأسطر من اليمين إلى اليسار. الروبي هو النص الأصغر المرتبط بالحروف الأساسية؛ وتوفر الفوريجانا عادةً نطقها. متطلبات تخطيط النصوص اليابانية الصادرة عن اتحاد الويب العالمي (W3C) تصف اتجاهات الكتابة هذه وعلاقات الروبي.
قبل إجراء التعرف الضوئي على الحروف، قم بتسمية المناطق ذات المعنى في الصفحة:
- الأعمدة العمودية الرئيسية؛
- الروبي الصغير بجانب النص الرئيسي؛
- العناوين الأفقية أو التعليقات التوضيحية أو الجداول؛
- أرقام الصفحات والعناوين الجارية؛
- الملاحظات الهامشية أو الصفحات المجاورة غير ذات الصلة.
لا تعامل كل شريط عمودي كفقرة مستقلة. فقد يكون شريط الكانا الصغير بجانب 図書館 هو قراءته، としょかん، وليس الجملة التالية.
اختر سياسة الإخراج قبل الحكم على التعرف الضوئي على الحروف:
| مهمة القارئ | النتيجة المرغوبة | ما يُعد مشكلة |
|---|---|---|
| ابحث في النص أو ترجمه | النص الرئيسي بترتيبه؛ القراءات المفيدة محفوظة بشكل منفصل | نصوص روبي مُدرجة ضمن النثر، نص رئيسي مُستبعد، أعمدة مُعاد ترتيبها |
| دراسة النطق | النص الرئيسي بالإضافة إلى القراءات المرتبطة بشكل صحيح | نص روبي مفقود أو قراءة مرتبطة بالكلمة الخاطئة |
| إنتاج نسخ دقيق | النص الرئيسي، وعلاقات التعليقات التوضيحية، والقرارات التحريرية محفوظة | الحذف الصامت أو التطبيع للمادة التي كنت تنوي الاحتفاظ بها |
يمكن لنفس المخرج أن ينجح في مهمة ويفشل في أخرى. تجربتنا تستخدم النسخ للنص الرئيسي فقط كهدف للمقارنة. وهي لا تعتبر فقدان الفوريغانا أمراً مقبولاً لإصدار مخصص لدراسة النطق.
تجربة استخراج نص حقيقية مكونة من ثلاث جمل
تستخدم العينة هذه الجمل المؤلفة ذاتياً:
朝の図書館で本を読む。
古い地図には川が見える。
明日は友人と駅で会う。
وهي تصف القراءة في مكتبة، ورؤية نهر على خريطة قديمة، ولقاء صديق في محطة قطار. هناك 34 نقطة ترميز يونيكود لنص الجسم عند إزالة فواصل الأسطر، بما في ذلك النقاط اليابانية الثلاث الكاملة.
لقد قمنا بعرض نفس النص في ثلاثة أشكال:
- نص أفقي.
- ثلاثة أعمدة رأسية، وتُقرأ من اليمين إلى اليسار.
- نفس الأعمدة الرأسية مع الفوريغانا بجانب
図書館,地図,友人، و駅.
هذه صور تعليمية واضحة وليست صفحات ممسوحة ضوئياً من كتاب. يستخدم العارض خط Noto Sans CJK JP، وأحرف نص رئيسية بحجم 64 بكسل، وروبي بحجم 24 بكسل، وتوضيحاً رأسياً مبسطاً حرفاً بحرف. وهو يرسل النقاط الرأسية كدوائر صغيرة محددة بمواضع مختارة يدويًا بدلاً من استخدام الموضع الرأسى الصحيح للحروف في الخط؛ وعليه، فإن نتائج علامات الترقيم لا تثبت أداء استخراج النص على كتاب منضد بشكل صحيح. وهي لا تعيد إنتاج كل قواعد التنضيد الياباني. لا يوجد ضبابية، أو ميل، أو ملمس ورق، أو خط يد، أو طباعة تاريخية، أو صفحة ذات اتجاهات مختلطة في الاختبار.
المحرك، والنماذج، والإعدادات
أجريت التجربة في 7 سبتمبر 2026، باستخدام Tesseract.js 7.0.0 مع Tesseract.js-core 7.0.0 محلياً على نظام macOS ARM64. استخدمت جميع الاستدعاءات الناجحة tessdata_fast النماذج عند الالتزام 87416418657359cb625c412a48b6e1d6d41c29bd، مع OEM 1، وضع محرك LSTM فقط.
يوفر مستودع النماذج الرسمي لـ Tesseract ملفات منفصلة jpn و jpn_vert ملفات. تصف وثائقها PSM 5 كتلة موحدة محاذاة عمودياً وPSM 6 كتلة نصية موحدة؛ اختر افتراض تجزئة يناسب المنطقة التي يتم التعرف عليها. راجع وثائق تجزئة الصفحة.
استخدمت حالاتنا المسجلة jpn مع PSM 6 للنص الأفقي، jpn_vert مع PSM 5 للنص العمودي، وخطأ متعمد في التوافق jpn/PSM 6 تحكم عمودي. يتغير كل من النماذج والتجزئة بين التكوينين العموديين، لذا فهذه مقارنة لخطوات العمل وليست تجربة تعزل تأثير أي من الإعدادين بمفرده.
محاولة أولية مع tessdata_best توقفت في نواة WebAssembly المتاحة قبل إنتاج نص التعرف البصري على الحروف (OCR). لقد تحولنا إلى العدد الصحيح الرسمي tessdata_fast نماذج للتوافق وسجلنا هذا الفشل. لا يترتب على هذا التحويل أي استنتاج حول دقة عائلة نموذج واحدة.
ما الذي عاد فعلياً
تزيل المقارنة المسافات البيضاء وتطبق تسوية Unicode NFC. وهي لا تستبدل علامات الترقيم، أو تصحح الكانجي، أو تعيد ترتيب النص. الكاملة المخرجات الخام وتجزئات الإصدار/النموذج, مقارنة نص الجسم بصيغة CSV، و ملاحظات الأخطاء قابلة للتنزيل.
| الإدخال والإعدادات | النتيجة الملاحظة مقابل الهدف المخصص للنص فقط |
|---|---|
أفقي، jpn، PSM 6 | تطابقت جميع نقاط الكود البالغ عددها 34 بعد إزالة المسافات البيضاء |
عمودي، jpn، عنصر تحكم PSM 6 | تمتد المخرجات عبر الأعمدة وتضمنت استبدال الأحرف؛ وليست نثرًا قابلاً للاستخدام |
عمودي، jpn_vert، PSM 5 | تطابقت جميع نقاط الكود البالغ عددها 34 بعد إزالة المسافات البيضاء؛ وكان ترتيب الأعمدة صحيحًا |
عمودي مع فوريغانا، jpn_vert، PSM 5 | ظل النص الرئيسي مرتباً، ولكن علامتي 。 تحولتا إلى علامات ASCII .؛ ولم يُرجع دليل القراءة (ruby) كقراءات منفصلة |
ثلاث قصاصات لأعمدة النص من صورة الفوريغانا، jpn_vert، PSM 5 | انتهى العمود الأول بـ .، والثاني بـ ,، والثالث بـ 。؛ لم يؤدِ القص إلى إزالة جميع عيوب علامات الترقيم |
على سبيل المثال، أرجعت حالة الفوريغانا هذا السطر الأول:
Expected: 朝の図書館で本を読む。
Observed: 朝 の 図書 館 で 本 を 読む .
يتم تجاهل المسافات بواسطة قاعدة المقارنة المذكورة لدينا. أما علامات الترقيم النهائية فلا يتم تجاهلها. قد تتسامح مهام سير العمل المخصصة للبحث فقط مع هذا الاختلاف، ولكن النسخ الدقيق يجب أن يسجله ويصححه.
بدأ التحكم الرأسي غير المتطابق بـ 明 古 昌، حيث قفز عبر الحروف العليا للأعمدة بدلاً من اتباع الجملة الأولى المقصودة. توضح مخرجاته سبب أن التعرف على الرموز الفردية ليس هو نفس إعادة بناء تسلسل القراءة.
كانت هناك سبع مكالمات OCR مكتملة: أربع حالات لصورة كاملة وثلاث حالات لاقتطاعات. لقد احتفظنا بكل مخرجات. قارن أحد الوكلاء النتائج مقابل الحقيقة الأرضية المؤلفة وفحص الصور بصريًا؛ لم تكن هناك مراجعة بشرية عمياء أو مجموعة بيانات مرجعية واسعة. لا تؤسس التجربة محركًا الأفضل عالميًا، أو معدل دقة على مستوى الكتاب، أو أداءً على مسحك الضوئي.
استخدم سير عمل يعتمد على المناطق أولاً على صفحتك الخاصة
1. حافظ على المصدر واختر صفحة واحدة صعبة
احتفظ بالصورة الأصلية أو ملف PDF دون تغيير. اعمل على نسخة، وسجل رقم الصفحة. اختر صفحة تحتوي على المشكلة التي تحاول حلها: روبي كثيف، أو هامش ضيق، أو عنوان أفقي فوق نص رأسي، أو نوع صغير بشكل غير معتاد.
صفحة الغلاف النظيفة ليست اختبار قبول مفيدًا لكتاب تكون لصفحات متن الكتاب فيه تخطيط مختلف. إذا كان المصدر ملف PDF، قم باستخراج أو عرض الصفحة المحددة باستخدام أداة تثق بها قبل تشغيل سير عمل OCR للصور فقط. تقبل نصوص هذه المقالة ملفات PNG؛ وهي لا تعالج ملفات PDF أو تبني طبقات PDF قابلة للبحث.
لعملية إعداد وترجمة المستندات الممسوحة ضوئيًا بالكامل، استخدم الأوسع نطاقاً سير عمل PDF الممسوح ضوئيًا. تركز هذه الدليل على اتجاه اللغة اليابانية، والتجزئة، وروبي، وقرارات النسخ.
2. تصحيح عيوب التقاط دون تدمير النصوص الصغيرة
افحص الحروف الفعلية بمستوى تكبير مفيد. قم بتقويم الميل غير المقصود، وأزل حدود الصفحة غير المرتبط بها، واحتفظ بتباين كافٍ للتمييز بين الكانا الصغيرة وعلامات الترقيم. تجنب معاملة العتبة العدوانية أو الحدة كتحسين تلقائي: قارن الصورة الناتجة بالأصل قبل الوثوق بـ OCR.
خاص بـ Tesseract إرشادات جودة الصورة يغطي الدقة، والضوضاء، والميل، والحدود. هذه منفصلة عن اتجاه الكتابة. إزالة الميل من صفحة تم تصويرها بزاوية ليست هي نفس عملية تدوير النص الياباني الرأسي المستقيم جانبياً.
تحمل الملفات العينة بيانات تعريف بدقة 300 نقطة في البوصة (dpi)، ولكن هذا الرقم لا يخلق تفاصيل مفقودة. حجم glyph الفعلي لمتنها هو 64 بكسل. صورة منخفضة الدقة أعيدت تسميتها بـ "300 نقطة في البوصة" تظل نفس الصورة منخفضة الدقة.
3. فصل المناطق عندما تنتهك الصفحة افتراض تخطيط واحد
جرب الكتلة الرأسية الرئيسية بمفردها قبل مطالبة مكالمة OCR واحدة بالتعامل مع عنوان أفقي، ونثر رأسي، توضيح، ورقم صفحة. احتفظ بسجل منطقة بسيط مثل "الصفحة 12، المتن، العمود 1 من اليمين". يجعل هذا السجل التجميع اللاحق قابلاً للتدقيق.
للمواد ذات الاتجاهات المختلطة، تعرف على المنطقة الأفقية باستخدام الإعداد الأفقي المناسب والمنطقة الرأسية باستخدام إعداد رأسي، ثم اجمعها بالترتيب الذي قصده المستند. هذا هو سير عمل موصى به لاختباره على ملفك، ليس قدرة تخطيط مختلط يقاس بصورنا العينة الثلاث.
استخدمت تجربة الاقتطاعات الخاصة بنا إحداثيات معروفة بدقة لاستبعاد شريط روبي بجانب كل عمود اصطناعي مع الاحتفاظ بنص متنه وهامش أبيض. لقد كان ذلك عرضًا توضيحيًا لاختيار المنطقة يدويًا، وليس خوارزمية تلقائية لإزالة الفوريغانا. لا تطبق إحداثياته على صفحة كتاب حقيقية.
4. تحقق من الأعمدة قبل تدقيق الحروف الفردية
قارن الحروف الأولى والأخيرة لمتن كل عمود، بالعمل في الاتجاه المقصود. تأكد من عدم فقدان أي عمود، أو تكراره، أو عكسه، أو اندماجه مع جاره. ثم افحص الجمل عند حدود الأعمدة.
فقط بعد من ذلك يجب عليك تصحيح الكانji الفردية، والـ كانا، علامات الترقيم، الأرقام، والأسماء. وإلا، فقد تقضي وقتاً في تنميق أجزاء يتم تجميعها في الفقرة الخاطئة.
مراجعة مفيدة من ثلاث تمريرات هي:
- المناطق والترتيب: كل منطقة نصية مقصودة موجودة مرة واحدة وبالتسلسل.
- الأحرف: قارن الصورة الفعلية بالنص، بما في ذلك علامات الترقيم الصغيرة وعلامات الكانا.
- التعليقات التوضيحية: قرر ما إذا كان يتم الاحتفاظ بكل عنصر روبي، أو ملاحظة، أو تسمية هامشية، أو فصلها، أو استبعادها عمداً.
قيمة ثقة المحرك ليست بديلاً عن عمليات التحقق هذه. لقد أرجع التحكم المبعثر الخاص بنا مرة أخرى رقم ثقة مبلغاً عنه من المحرك؛ وهذا لم يجعل قراءته مقبولة.
لا تقم بإزالة الفوريغانا حتى تعرف السبب
بالنسبة للاستخراج المخصص للنص فقط، يجب ألا يتحول الروبي بطريق الصدفة إلى طبقة ثانية من النثر. لكن حذف كل سلسلة كانا صغيرة ليس قاعدة عامة آمنة. يمكن أن تساعد القراءة في توضيح اسم، أو الحفاظ على النطق الذي اختاره المؤلف، أو دعم مهمة دراسة القارئ.
في صورة الفوريغانا الخاصة بنا، احتوى إخراج التعرف البصري على الحروف (OCR) على الكانجي الرئيسي ولكنه لم يُرجع قراءات القراءات الأربع كمجموعة تعليقات توضيحية منفصلة. قد يكون ذلك كافياً بعد تصحيح علامات الترقيم لمهمة بحث تقتصر على النص فقط. وهو غير كافٍ إذا كان التسليم واعداً بمعلومات النطق.
قم بتخزين القراءات المهمة بشكل منفصل واجعلها مرتبطة بالحدث الصحيح. على سبيل المثال:
Page: sample 1
Column: 1 from the right
Base text: 図書館
Reading shown: としょかん
Decision: retain body text; save reading in the annotation record
عينة نسخ الروبي المنفصل تجعل هذه السياسة صريحة. إنها حقيقة أساسية تم تأليفها مع الصورة، وليست ادعاء نجاح للتعرف البصري على الحروف.
إذا دمج التعرف البصري على الحروف الكانا في كلمة أو فقد ارتباطها، فقارنها بالصورة وأصلح النسخ. لا تطلب من نموذج لغوي تخمين المصدر وتقديم التخمين على أنه نص مستعاد. ضع علامة على القراءة غير المؤكدة للمراجعة بدلاً من ذلك.
تجادل نتائج الاقتطاع أيضاً ضد قاعدة مبسطة تتمثل في "إزالة الروبي وكل شيء يتحسن": ظل هناك اختلافان في علامات الترقيم، وتغيرت نهايات الجمل المتأثرة. تنتمي هذه الملاحظة إلى هذه العينة النظيفة المعينة. إنها تخبرنا بالتحقق من النتيجة بعد التجزيء، وليست دليلاً على أن الاقتطاع يفيد أو يضر التعرف البصري على الحروف بشكل عام.
أعد إنتاج الاختبار أو احتفظ بسجل مراجعة
قم بتنزيل ملف تعريف الارتباط للتجربة لمعرفة النماذج المثبتة ومصادر الخطوط، وإصدارات التبعيات، وأوصاف الملفات، والأوامر. الـ مولد العينات, مشغل التعرف البصري على الحروف، ونص المقارنة البرمجي فصل إنشاء الصور والتعرف عليها وتقييمها.
يستخدم المنفذ واجهة برمجة تطبيقات عامل Tesseract.js. بالنسبة للمنطقة الرأسية، إعداداتها الأساسية هي:
const worker = await createWorker("jpn_vert", 1, {
langPath: modelDirectory,
gzip: false,
cacheMethod: "none",
});
await worker.setParameters({
tessedit_pageseg_mode: "5",
user_defined_dpi: "300",
});
modelDirectory يجب أن تحتوي على jpn_vert.traineddata الملف المُحمل وغير المضغوط. هذا مقتطف وليس البرنامج كاملاً؛ يحفظ المنفذ المُزود أيضاً النتائج الخام وينهي عمل العمال.
إذا كنت تستخدم تطبيق التعرف الضوئي على الحروف (OCR) آخر، فاحتفظ بنفس الأدلة حتى لو احتفظت أسماء الإعدادات باختلافاتها: المنطقة المصدرية، الملف الأصلي، إصدار النموذج أو الأداة، الاتجاه، خيار التقسيم، الإخراج الفعلي، النص المُصحح، والأحرف غير المُعرفة. قالب سجل المراجعة فارغ حتى لا يوحي بأن صفحاتك قد اجتازت الفحص بالفعل.
لا تحول نتيجتنا الصغيرة المطابقة تماماً إلى نسبة مئوية مضمونة لرواية كاملة. تتطلب الخطوط المختلفة، والأعمدة المزدحمة، والأشكال التاريخية، والمسوحات منخفضة الجودة، وفقاعات كلام المانغا اختباراتها التمثيلية الخاصة. تخطيط المانغا والتعرف على الخط اليدوي خارج نطاق هذه التجربة.
ترجم فقط عندما يكون المصدر المستعاد موثوقاً
إذا كان هدفك هو البحث، أو نسخ اقتباسات، أو البحث في القاموس، فقد يكون النص الياباني المُحقق هو النتيجة النهائية. لست بحاجة إلى ترجمة مستند كامل لمجرد تضمنه عملية التعرف الضوئي على الحروف.
إذا كان حاجز اللغة لا يزال يمنع القراءة وكان لديك ملف قابل للاستخدام يمكنك تحميله، فتتابع مع سير عمل ترجمة ملفات PDF. حافظ على المسح الأصلي والنسخ المُحقق حتى تتمكن من تمييز أخطاء التعرف عن أخطاء الترجمة. ينتج المُنفذ العيني ملفات نصوص و TSV، وليس ملف PDF جاهزاً للتحميل التلقائي؛ جهز تنسيق الإدخال الفعلي الذي تتطلبه أداتك التالية.
يعيد وضع التعرف الضوئي على الحروف (OCR) في BookTranslator بناء المحتوى المترجم بدلاً من ضمان التخطيط الرأسي الأصلي. لا تفترض أنه سيحافظ على كل ارتباط روبي أو يصلح أخطاء التعرف غير المُتحقق منها. راجع ترتيب قراءة المستند النهائي وتنسيقه باستخدام دليل الحفاظ على تنسيق PDF و قائمة التحقق النهائية لضمان جودة PDF.
عملية التسليم الموثوقة ليست "اكتمل التعرف الضوئي على الحروف". بل هي "النص الياباني المقصود موجود، وقد تم التحقق من تسلسله، وتوثيق طريقة التعامل مع التعليقات التوضيحية."
مقالات ذات صلة
