Hogyan javítsuk az OCR sortöréseit és elválasztásait fordítás előtt
Javítsa a tördelt OCR-szöveget valódi kötőjelek, bekezdések, listák vagy versek törlése nélkül. Használjon visszafordítható munkafolyamatot és tizenkét letölthető tisztítási példát.
Az OCR sortörések javításához először azonosítsa, mely szöveg tartozik egy bekezdéshez. Csak a nem kívánt sorvégeket cserélje szóközre. Ha egy szó két sorra szakad, külön döntse el, hogy eltávolítja-e a kötőjelet, vagy megtartja: a trans- és a lation együtt translation lesz, de a well- és a known együtt well-known marad. Vezessen változásnaplót, és a bizonytalan összevonásokat hasonlítsa össze az eredeti oldallal.
Ne futtasson „minden sortörés eltávolítása” vagy „minden kötőjel törlése” műveletet egy egész könyvön. A megtisztított kivonat folyékonyabbnak tűnhet, miközben elveszít egy bekezdést, összevon két listaelemet, vagy megváltoztat egy műszaki azonosítót. A cél egy megbízható olvasási vagy fordítási példány – nem a lehető legkevesebb sortörés-karakter.
Ez az útmutató a szövegfelismerés után kezdődik. Ha egy PDF másolása hibás betűket vagy számokat ad, először diagnosztizálja a szövegrétegét. A sortörések megváltoztatása nem tudja a helytelenül felismert B-2O4-et a szándékolt B-204-gé alakítani.
Döntse el, mit jelképez az egyes sortörések
Tartsa változatlanul az eredeti szkennelt és nyers kivonatot. Egy munkapéldányban kapcsolja be a szerkesztőben a szóközök vagy bekezdésjelek megjelenítését. Méretezze át a szerkesztőt: egy sor, amely tárolt sortörés nélkül újratördelődik, csak a képernyőn tördelt; nincs mit törölni.
A tárolt sortörések más ellenőrzést igényelnek. Hasonlítson össze egy folyamatos bekezdést, egy címsort, egy listát és bármely markánsan eltérő oldalelrendezést az oldal képével. Ne következtessen a teljes dokumentum szerkezetére a címlapjából.
| Mit jelképez a törés | Megfelelő művelet | Szükséges bizonyíték |
|---|---|---|
| Vizuális tördelés szavak között egy bekezdésen belül | A tárolt törést cserélje egy szóközre | Mindkét sor ugyanahhoz a bekezdéshez tartozik a forrásban |
| Törés egy szón belül | A töredékek összevonása, általában a tördelési kötőjel eltávolításával | Szándékolt helyesírás, forráskontextus és bármely nyelvspecifikus szabály |
| Tördelés valódi összetett szó kötőjele után | A törés eltávolítása, a kötőjel megtartása | A szó a sorvégi formázáson kívül is megtartja azt a kötőjelet |
| Bekezdés, címsor, listaelem vagy verssor határa | A határ megőrzése | Forrásszerkezet, nem csupán mondatírásjel |
| Egy hasáb vagy oldalátmenet bizonytalan sorrendben | Hagyja megoldatlanul, és vizsgálja meg az oldalt | Folytatás, oszlopsorrend, képaláírások és lábjegyzetek |
Az üres sorok és a behúzás segíthetnek megtalálni a bekezdéseket, de ezek csak támpontok, nem garanciák. Egy címsor után lehet, hogy nincs üres sor. Egy behúzott sor lehet egy lista folytatása, nem új bekezdés. Egy ponttal végződő rövid sor lehet egy bekezdés utolsó sora vagy egy mondat a bekezdés közepén.
Ha az OCR-exportálás elrendezés- vagy blokkinformációkat tartalmaz, őrizze meg azokat a szöveg ellenőrzése közben. Egy egyszerű szöveges export önmagában elveszítheti azokat a bizonyítékokat, amelyekre szüksége van e határok rekonstruálásához.
Válassza szét az elválasztott szavakat a valódi kötőjelektől
Három vizuálisan hasonló eset igényel eltérő szerkesztést:
trans- → translation
lation
well- → well-known
known
trans\u00ADlation → translation in a verified reading copy
Az utolsó sor a \u00AD karaktert használja, hogy egyébként nehezen látható karaktert egyértelművé tegyen. A Unicode megkülönbözteti a U+00AD SOFT HYPHEN (lágy kötőjel) karaktert, amely egy szavon belüli tetszőleges töréspontot jelöl, egy látható kötőjeltől, például a U+2010 HYPHEN karaktertől. Ezek nem felcserélhető karakterek. A Unicode sortörési specifikációja leírja a törésnél fellépő nyelvfüggő helyesírási változásokat is; egy látható kötőjel törlése és a betűk összefűzése nem mindig elegendő.
Közönséges prózaszöveg esetében egy ellenőrzött diszkrecionális jelölő eltávolítása hasznos olvasási példányt eredményezhet. Archivális átirat esetében azonban őrizze meg külön az eredetit: egy jelölő eltávolítása megváltoztatja a kódolt szöveget, még akkor is, ha a szó változatlannak tűnik.
A forrásnyelv szótárában ellenőrizze a lehetséges helyesírást, majd térjen vissza a szövegrészhez. A szótárbejegyzés megerősítő bizonyíték, nem felhatalmazás egy név, azonosító vagy történelmi helyesírás felülírására. A dokumentumban előforduló ismétlődések is segítenek, de egy OCR-hiba következetesen ismétlődhet.
Például a német mintánk a következő:
Die Auf-
gabe ist klar.
A szerzői példában a szándékolt szó az Aufgabe; a Duden szócikke az elválasztását Auf|ga|be formában adja meg. Az Auf- és a gabe összevonása itt indokolt. Ez az egyetlen példa nem általános német elválasztás-feloldási szabály, és a modern szótár helyesírása nem helyettesítheti csendben egy régebbi kiadás helyesírását.
Az URL-eket, katalóguskódokat, vegyületneveket, negatív értékeket és más technikai tokeneket külön ellenőrzési esetekként kezelje. Hogy egy gondolatjel vagy kötőjel megmarad-e, a forrástól és a token jelentésétől kell függenie, nem egy angol szóra vonatkozó heurisztikától.
Mit mutat tizenkét ellenőrzött példa
Készítettünk egy letölthető tisztítási bemutatót, amely tizenkét eredeti karakterláncot tartalmaz. A szándékolt szavakat és szerkezetüket a szerzői létrehozásukkor határoztuk meg; ezután kiválasztott sortöréseket és elválasztási műtermékeket illesztettünk be. Ezek szintetikus szöveges példák, nem OCR-motor kimenetei vagy könyvszkennelések.
A szándékosan nyers alapváltozat három cserét hajt végre: eltávolítja a kötőjel-plusz-újsor kombinációt, a megmaradt újsorokat szóközökre cseréli, és eltávolítja a lágy kötőjeleket. Egy második útvonal csak egyedileg jóváhagyott módosításokat alkalmaz pontos szövegen. Nem próbál bekezdéseket felismerni vagy a szavak helyesírásáról automatikusan dönteni.
| Minta | Nyers alapváltozat | Jóváhagyott döntés |
|---|---|---|
| Angol prózai sortörés | Helyesen összekapcsolja a két sort | Az ellenőrzött sortörést szóközzel helyettesíti |
trans- / lation | Helyesen állítja elő a translation szót | Eltávolítja a beszúrt kötőjelet és a törést |
well- / known | A wellknown szót eredményezi | Tartsd meg az eredeti kötőjelet |
Német Auf- / gabe | Helyesen állítja elő az Aufgabe szót | Csak ezt az igazolt írásmódot illeszd össze |
| Beágyazott U+00AD | Eltávolítja a választható jelölőt | Távolítsd el ebben a szerkesztett olvasópéldányban |
| Francia három pont, majd új bekezdés | Összevonja a bekezdéseket | Tartsd meg a szerző által meghatározott határt |
| Számozott lista, vers, kód és címsor | Egybesimítja a különböző szerkezeteket | Őrizd meg a sortöréseiket |
| Két bekezdés üres sor nélkül | Egyetlen bekezdéssé vonja össze őket | Tartsd meg a szerző által meghatározott bekezdéseket |
| Nem ellenőrzött oldaljelölő | Egybesimítja az oldalváltást | Hagyd érintetlenül, amíg a sorrendet nem ellenőrizték |
2026. október 3-án a fixture Node.js 25.2.1-gyel való futtatása a nyers alapvonal mellett 12 példából 4 esetében a referenciával egyező szöveget eredményezett. A jóváhagyott útvonal mind a tizenkét referenciával egyezett, és visszavonással mind a tizenkét bemenetet helyreállította. Emellett elutasította az elavult bemeneteket, a nem egyedi egyezéseket és a hiányzó egyezéseket.
Ezek az eredmények a pontos javításalkalmazást tesztelik ismert szerzői referenciákkal szemben. Nem becsülik meg a valós pontosságot: a jóváhagyott döntések már tartalmazzák a válaszokat, és a korpuszt szándékosan úgy választották meg, hogy felfedje a hibás eseteket. Nem teszteltünk kereskedelmi tisztítót, OCR-motort, fordítómodellt vagy BookTranslator-feltöltést. Nem voltak újrapróbálkozások vagy kizárt minták.
Töltsd le a tényleges bemenetet/kimenetet és a javítási naplót és a reprodukciós utasításokat. A JavaScript helyben fut, függőségek és hálózati hívások nélkül, és kiírja az eredményeket; nem írja át a fájljaidat. Az ellenőrzései megvédik a jóváhagyott szerkesztést attól, hogy más szövegre alkalmazzák. Nem tudják megmondani, hogy egy szerkesztés nyelvileg helyes-e.
Egyszerre egy ellenőrzött blokkot tisztíts meg
Kezdd egy rövid prózai blokkal, amelynek olvasási sorrendjét és bekezdéshatárait meg tudod állapítani. Ne kezdd egy egész fejezettel, amely képaláírásokat, idézeteket, listákat és lábjegyzeteket tartalmaz.
- Mentsen nyers másolatot, és rögzítse a forrás helyét. Minden átnézett szövegrésznél tartsa meg a fájlnevet, az oldalszámot, a bekezdést vagy blokkot és a nyelvet.
- Először a szerkezeti határokat jelölje meg. Különítse el a címeket, a listaelemeket, a verset, a táblázatokat és a kódot a közönséges prózától. Ha később eltávolítja az oldalhivatkozások jelölőit, őrizze meg azokat a szövegen kívül.
- A blokkon belül a szavak közötti szokásos tördeléseket vonja össze. Minden megerősített törést cseréljen szóközre. Ellenőrizze, hogy a szavak nem olvadtak-e össze, és hogy egy meglévő szóköz nem vált-e zavaró ismétlődéssé.
- A szétvágott szavakat külön vizsgálja át. Mutassa meg a teljes tokent és a környező mondatot. Jegyezze fel: „elrendezési kötőjel eltávolítása”, „valódi kötőjel megtartása” vagy „megoldatlan”. A megoldatlan jelöltet ne tekintse jóváhagyott módosításnak.
- A diffet a elfogadás előtt vizsgálja meg. Hasonlítsa össze minden eltávolított határt vagy kötőjelet a forrásával. Mentse a megtisztított változatot új fájlnév alatt, a döntésekkel együtt.
- Nyissa meg újra, és a mentett eredményből másoljon. A ténylegesen használni kívánt fájlt ellenőrizze, ne csak a szerkesztő előnézetét.
Rövid részlet esetén elegendő lehet a kézi szerkesztés változáskövetéssel vagy egy előtte/utána összehasonlítás. Hosszabb részletnél egy patch-lista rögzítse a pontos eredeti részszöveget, a cserét, a helyet, az okot és az ellenőrzőt. A forrás ellenőrzőösszege segít megakadályozni, hogy a bemenet megváltozása után régi jóváhagyásokat alkalmazzon.
Ha a szerkesztője kínál bekezdésmegőrző tisztítási módot, tesztelje azt a nehéz blokkokon – ne csupán folyó prózán. A dupla sortörések megőrzése nem állítja vissza azt a bekezdéshatárt, amelyet az OCR egyetlen sortöréssel jelölt. Ne törölje a behúzást, és ne vonja össze az összes szóközt, mielőtt megvizsgálná a táblázatokat és a kódot.
Tudja, mikor kell visszatérni az oldalképhez
A francia központozás jól szemlélteti, miért nem azonos a mondatvég-felismerés a bekezdésfelismeréssel. Az általunk írt mintában az Il attend… és a Le lendemain, il part. külön bekezdésekhez tartozik. Az ellipszis önmagában nem állapítja meg ezt a határt. Az Office québécois de la langue française útmutatása a points de suspension használatáról olyan eseteket ír le, mint a megszakítás vagy a befejezetlen gondolat; az oldal szerkezete alapján döntse el, hogy összevonja-e a következő sort.
Ezeknél a jelölteknél tegye kötelezővé a forráskép átnézését:
| Jelölt | Miért nem elegendő önmagában a szöveg | Mit kell összehasonlítani |
|---|---|---|
| Cím, amelyet azonnal próza követ | Kinyeréskor egyetlen üres sor sem maradhat fenn | Betűtípus, igazítás, térköz és szakaszszerep |
| Oldalon vagy hasábon átnyúló szövegrész | Egy fejléc, képaláírás vagy lábjegyzet megszakíthatja | Utolsó forrássor, folytatás és olvasási sorrend |
| Név, kód, mennyiség vagy ismeretlen kifejezés | Egy hihető összevonás is megváltoztathatja az értéket | Minden karakter, beleértve a gondolatjel típusát és a számjegyeket |
| Történelmi nyelvű szétválás | A nyomtatott törésnél a helyesírás eltérhet az egybeírt szótól | Kiadás, forrás helyesírása és egy megfelelő nyelvi hivatkozás |
| Vers, listák, táblázatok vagy kód | A soremelések jelentést vagy szerkezetet hordozhatnak | Sorfolytonosság, elemtörések, cellák és behúzás |
| Három pont, rövidítés vagy rövid utolsó sor | Az írásjelek nem bizonyítják a bekezdés helyét | A teljes bekezdés és a környező blokkok |
Ha több oldal ugyanazt a problémát mutatja, keresse meg ezt a mintát a dokumentumban, és ellenőrizze a találatokat. Ha a forrásbetűk, az olvasási sorrend vagy egész szakaszok hibásak, állítsa le a normalizálást, és térjen vissza a felismeréshez vagy a kinyeréshez. Több nyelv felismeréséhez használja a külön többnyelvű PDF OCR munkafolyamatot.
A tisztított forrás ellenőrzése a fordítás előtt
Hasonlítson össze egy szerkesztett blokkot az eredeti oldallal, majd ellenőrizzen egy másik blokkot és minden eltérő szerkezeti típust, amely a kivonatban előfordul. A ismert hibákat tartsa a felülvizsgálati halmazban. A mintavétel bizonyítékot szolgáltat az ellenőrzött szakaszokról; nem igazolja a könyv többi részét.
- Győződjön meg arról, hogy a nevek, számok, dátumok és kódok továbbra is megegyeznek a forrással.
- Ellenőrizze az összes eltávolított kötőjelet és a törésen át rekonstruált helyesírást.
- Hasonlítsa össze a bekezdés-, cím-, listaelem- és verssorhatárokat.
- Győződjön meg arról, hogy az első és az utolsó sorok túlélték az egyes oldalváltásokat.
- Keresse meg a fel nem oldott jelölteket, és tartsa őket láthatóan a felülvizsgálati naplóban.
- Győződjön meg arról, hogy a végleges mentett verzió az, amelyet a következő munkafolyamat megkap.
Ha csak kereshető szövegre vagy jegyzetekre volt szüksége, ez az ellenőrzött kivonat lehet a végpont. A javításhoz nincs szükség fordításra.
Ha a dokumentumra más nyelven van szüksége, készítse elő az ellenőrzött tartalmat egy támogatott dokumentumformátumban, és használja a teljes dokumentum fordítási munkafolyamatot. A BookTranslator OCR módja a felismert tartalomból épít fel egy lefordított PDF-et, nem pedig az eredeti oldalelrendezést reprodukálja; ez nem külső szövegtisztító szerkesztő, és nem bizonyítja, hogy minden forrástörést helyesen értelmeztek. A beolvasott PDF útmutató elmagyarázza, mikor van szükség felismerésre.
Őrizze meg az eredeti oldalakat és a tisztítási naplót a végső PDF-fordítás QA-ellenőrzéséhez. Egy folyékony célnyelvi mondat nem árulja el, hogy a forrásban valódi kötőjelnek kellett volna lennie – vagy hogy két látszólag folyamatos mondat külön bekezdés volt.
Kapcsolódó bejegyzések
