OCR PDF-a s mješanom jezičnom strukturom: Zasebna provjera za kineski, engleski i brojeve

Za izvođenje OCR-a nad PDF-om s mješanim jezicima, identificirajte pisma na stranici, odaberite alat koji može obraditi PDF s odgovarajućim jezicima prepoznavanja te zatim usporedite ekstrahirani tekst sa slikom. Zasebno provjerite kineski tekst, engleski tekst, brojeve i odnose oznaka. Pronalazak engleskog naslova u pretraživanju ne znači da je kineski glavni tekst bio prepoznat.

Dodavanje drugog jezika vrijedno je testiranja, ali nije automatski poboljšanje. U našem malom kinesko-engleskom eksperimentu, dodavanje engleskog ispravilo je jednu englesku oznaku, ali je oštetilo kinesku rečenicu koju je konfiguracija samo za kineski prepoznala. Nijedna od naše dvije konfiguracije tablica nije vratila tekst iz jednostavne tablice s linijama.

To nije konačna presuda o jezično mješovitom OCR-u općenito. To je razlog da procijenite izlazni rezultat koji vam je potreban, a ne broj odabranih jezika.

Prvo razlikujte nedostajući tekst od netočnog teksta

Ostavite izvornu datoteku neizmijenjenom. Na kopiji odaberite rečenicu s reprezentativne stranice i zalijepite je u uređivač običnog teksta. Isprobajte ulomak na kineskom i engleskom, a ne samo naslov dokumenta.

Postojeći sloj teksta je važan. Na primjer, NAPS2-ova dokumentacija za OCR navodi da se uvezene stranice PDF-a koje već sadrže tekst ostavljaju netaknutima. Ponovni uvoz loše OCR-ane stranice stoga nije pouzdana metoda popravka u tom radnom procesu.

Ako je pravi problem skeniranje niske rezolucije, zakrivljeno ili nagnuto skeniranje, riješite to prije tumačenja usporedbe jezičnih postavki. Naš širi vodič za skenirane PDF-ove pokriva tu pripremu i kasinije faze prevođenja.

Odaberite jezike prepoznavanja, a ne ciljni jezik prevođenja

Prepoznavanje odgovara na pitanje „koji se znakovi nalaze na ovoj stranici?“. Prevođenje odgovara na pitanje „kako bi ovaj sadržaj trebao zvučati na drugom jeziku?“. Nemojte tražiti od OCR-a da tiho pojednostavi tradicionalni kineski, prevede engleski citat ili prepisuje nepoznat identifikator.

Napravite kratak popis:

• Kinesko pismo: pojednostavljeno, tradicionalno ili oboje, uključujući naslove i bilješke.
• Latinični tekst: engleske rečenice, imena autora, reference, kratice i oznake modela.
• Kontrolirane vrijednosti: datumi, decimale, jedinice, predznaci minusa, identifikatori i kodovi osjetljivi na velika i mala slova.
• Područja: proza, tablice, natpisi, fusnote ili dodatak na posebnom jeziku.

Na primjer, tradicionalno kinesko izvješće može sadržavati engleski sažetak i reference. Pojednostavljeno kinesko poglavlje može uključivati tablicu s A-01, 23.5, i °C. Nijedno se ne smije procjenjivati provjeravanjem samo najduljeg kineskog odlomka.

Tesseract nudi odvojene chi_sim, chi_tra, i eng modele u svom službenom repozitoriju modela. Njegova dokumentacija naredbi podržava kombinirane odabire jezika i napominje da redoslijed jezika može utjecati na rezultate. To su mogućnosti konfiguracije, a ne jamstva da svaki dodatni model pomaže.

Ako vaš dokument umjesto toga sadrži okomite japanske stupce i furiganu, upotrijebite vodič za japanski okomiti OCR. To je drugačiji problem izgleda i bilješki, a ne samo još jedna kvačica za jezik.

Upotrijebite tijek rada koji doista prihvaća PDF-ove

Put putem računalne aplikacije: NAPS2

NAPS2 nudi dokumentirani put za omogućavanje pretraživanja skeniranih PDF-ova:

1. Uvezite kopiju datoteke i otvorite njezine postavke OCR-a.
2. Preuzmite jezike prepoznavanja potrebne za dokument.
3. Odaberite Više jezika i odaberite odgovarajuće jezike.
4. Omogućite OCR za PDF-ove s mogućnošću pretraživanja i spremite u novu datoteku.
5. Ponovno otvorite tu datoteku i usporedite kopirani kineski, engleski i numerički tekst s vidljivom stranicom.

Opcija više jezika pojavljuje se nakon što se preuzme više od jednog jezika. Ovi koraci slijede službeni vodič za NAPS2; nismo provodili praktično testiranje NAPS2-a za ovaj članak.

Put putem naredbenog retka: OCRmyPDF

Za PDF na pojednostavljenom kineskom/engleskom koji sadrži samo slike, primjer temeljen na službenoj dokumentaciji je:

ocrmypdf -l chi_sim+eng --output-type pdf \
  --sidecar recognized.txt input.pdf searchable.pdf

Najprije instalirajte potrebne jezične pakete. Upotrijebite chi_tra za test na tradicionalnom kineskom umjesto da pretpostavljate da su pisma zamjenjiva.

Priručnik za OCRmyPDF dokumentira izlazne PDF datoteke i popratne tekstualne datoteke. Ta popratna datoteka nije nužno cijeli dokument: tekst na stranicama koje su već imale tekst ili stranice preskočene tijekom OCR-a možda nedostaju. Provjerite samu izlaznu PDF datoteku. Postojeći netočan OCR zahtijeva namjeran tijek rada s ponovnim izvođenjem; nemojte prisilno provoditi rasterizaciju svake stranice a da ne razumijete što se time mijenja.

Ovo je put temeljen na dokumentaciji, a ne naše izmjereno okruženje za testiranje. Ovdje nismo pokretali alat OCRmyPDF.

Običan Tesseract treba renderirane stranice

Nemojte koristiti tesseract input.pdf ... kao da je čitač PDF-a. Tesseract ne prihvaća PDF unos, iako može proizvesti PDF izlaz. Tesseract.js ima istu distinkciju za PDF unos: prvo renderirajte stranice pomoću PDF biblioteke, a zatim prepoznajte slike.

To je put koji se koristi za naš eksperiment u nastavku. On proizvodi tekst i TSV dokaze, a ne testirani pretraživi izlazni PDF.

Što se dogodilo u deset lokalnih OCR poziva

Stvorili smo trostrani PDF koji sadrži samo slike i koji sadrži:

1. pojednostavljenu kinesku prozu s engleskim referencama, identifikatorima, decimalama i jedinicama;
2. odgovarajuću stranicu na tradicionalnom kineskom;
3. malu kinesko-englesku tablicu s tri retka podataka.

Tekst i vrijednosti su samostalno izrađeni materijal za učenje, a ne korisničke datoteke ili stvarna mjerenja. Svaki prozni cilj sadrži 124 kodne točke bez razmaka, uključujući 41 han znak. Tablica sadrži 79 kodnih točaka bez razmaka.

Izvorne stranice PDF-a nisu imale tekst koji se može izdvojiti. Renderirali smo ih pomoću Popplera 26.08.0 pri 300 dpi, čime su proizvedene slike veličine 1600×1000 piksela. Veličina fonta bila je 48 piksela u Noto Sans CJK SC/TC Regular. Sva interpunkcija potječe iz običnih horizontalnih glifova fontova.

Dana 8. rujna 2026. lokalno smo pokrenuli Tesseract.js 7.0.0 s tesseract.js-core 7.0.0 na macOS ARM64. Službeni tessdata_fast modeli bili su pričvršćeni na umit 87416418657359cb625c412a48b6e1d6d41c29bd. Svaki je poziv koristio OEM 1 i PSM 6, postavku jednolika bloka teksta, s istom slikom stranice za svaku poredbu jezika.

Postojala su četiri jezična recepta za svaku proznu stranicu i dva za tablicu. Svih deset poziva je završeno; nijedan rezultat nije odbačen i nijedan parametar nije prilagođen nakon pregleda izlaza. Točni unosi, sažeci modela, verzije i sirovi rezultati i upute za reprodukciju su dostupne.

Postavka može popraviti jedno polje, a oštetiti drugo

Na tradicionalnoj stranici, chi_tra zadržao je svih 41 kineskih znakova u slijeku, ali je ipak napravio pogreške koje nisu na kineskom. Na primjer, promijenio je englesku oznaku Document ID u Document 1ID i pogrešno pročitao simbol stupnja.

Dodavanje eng vratilo je Document ID, ali dio rečenice o temperaturi i masi pretvorio se u fragmente koji izgledaju poput latiničnih:

Expected: 樣本溫度為 23.5 °C，質量為 1.08 kg。
Observed with chi_tra+eng: RA MEA 23.5°C > HBA 1.08 kg。

Brojevi su preživjeli u tom retku, dok okolni kineski nisu. Provjera samo 23.5 i 1.08 propustila bi štetu.

Pojednostavljena stranica pokazala je drugačiji kompromis. Dodavanje engleskog vratilo je BK-2026-A07, što je izvođenje samo za kineski vratilo kao BK-2026-AO7. No, također je promijenilo 与 u 5 na drugom mjestu. Vizualno dvosmislen identifikator O0I1-l ostao je pogrešan.

Sljedeće dijagnostike pokazuju zašto nismo proglasili pobjednika:

„Uređivanja han-slijeda“ uspoređuje samo kineske ideograme. Ne boduje engleski jezik, znakove interpunkcije ni razmake. „Pronađeni zaštićeni nizovi“ samo je provjera prisutnosti za unaprijed definirane identifikatore, brojeve, jedinice i referentne oznake; ne provjerava njihov položaj ili odnos. Izlazi koji sadrže samo engleski jezik pokazuju zamku: većina zaštićenih nizova bila je prisutna, a ipak nijedan kineski znak nije vraćen.

Cijeli CSV za usporedbu također izvještava o udaljenostima uređivanja cijelog teksta. Usporedba primjenjuje Unicode NFC i uklanja razmake; ne ispravlja interpunkciju, ne mijenja velika i mala slova, ne pretvara kineska pisma niti preuređuje znakove. Obrtanje redoslijeda jezika promijenilo je razmake u ovim tekstualnim izlazima, ali ne i normalizirani niz znakova. Ta opservacija nije opće pravilo o redoslijedu jezika.

Prazna tablica nije uspješno vađenje podataka

Oba poziva tablice vratila su prazan tekst, unatoč tome što su završena bez pogreške izvođenja OCR-a. Dodavanje kineskog jezika nije spasilo fiksni recept s jednolikim blokovima.

Nismo testirali druge načine segmentacije, izreze ćelija ni mehanizam za prepoznavanje tablica. Rezultat stoga ne pokazuju da Tesseract ne može čitati tablice. To pokazuje da sama promjena jezika prepoznavanja nije riješila ovaj uzorak pod postavkama koje smo koristili.

Za stvarnu tablicu potreban je potpuni odnos Temperature → A-01 → 23.5 → °C, a ne četiri tokena pronađena negdje na stranici. Ako je izlaz prazan ili se odnosi ne mogu provjeriti, prestanite ga tretirati kao pouzdan prepis. Isprobajte radni tijek svjestan rasporeda ili prepišite potrebne ćelije uz reference na sliku.

Što ovaj eksperiment ne može utvrditi

Ovo su tri čiste sintetičke stranice iz jedne obitelji fontova, koje je pregledao jedan agent pisac. Nije bilo zaslijepljenog ljudskog pregleda, korpusa proizvodnih dokumenata ni testiranja zamućenih skenova, rukopisa, složenih tablica, okomitog teksta ili povijesnih znakova.

Rezultati su korisni protuprimjeri bezuvjetnom pravilu „dodaj više jezika”. Oni nisu rangiranje strojeva, opća stopa točnosti ni predviđanje za vaš PDF. Ovo nije bio test za BookTranslator, a izvorni PDF koji sadrži samo slike nije čitana kopija s dovršenim OCR-om.

Upotrijebite provjeru prihvaćanja u četiri dijela na vlastitoj datoteci

Preuzmite prazan list za pregled. Odaberite stranicu koja sadrži stvarnu poteškoću, a zatim dodajte sljedeće provjere prije obrade cijele datoteke:

1. Kineski tekst: usporedite cijelu rečenicu, uključujući rjeđe znakove i željene pojednostavljene/tradicionalne oblike. Nemojte tiho normalizirati pogrešan znak u onaj koji ste očekivali.
2. Engleski i identifikatori: pregledajte imena autora, reference, kratice, kapitalizaciju i slične znakove kao što su O/0 ili I/l/1. Nepoznati kod nije riječ koju treba automatski ispravljati.
3. Brojevi i jedinice: usporedite svaku vrijednost s njezinim znakom, decimalnom točkom, jedinicom i oznakom. 0.05 i 0.50 moraju ostati različiti; prepoznati 23.5 bez ispravne jedinice je nepotpun.
4. Odnosi i potpunost: provjerite pripada li svaki odlomak ili redak tablice tamo gdje se očekuje. Potvrdite da su natpisi, bilješke i mali ulomci na sekundarnom jeziku prisutni, a ne samo glavni tekst.

Zabilježite izvorni tekst, zapaženi rezultat, stranicu/regiju i potrebnu radnju. Kada konfiguracija poboljšava jednu provjeru, a pogoršava drugu, zadržite oba zapažanja. Nemojte prihvatiti datoteku na temelju jedne ocjene pouzdanosti ili prosječnog broja znakova.

Razvrstajte u tri ishoda: upotrebljivo u izvornom obliku za vašu svrhu, zahtijeva specifične ispravke ili mu se još ne može vjerovati. Zadatak pretraživanja može zahtijevati samo jedan provjereni odlomak; cjelovita kopija za čitanje zahtijeva pokrivenost cijelog dokumenta, a ne samo čistu naslovnu stranicu.

Prevodite tek nakon što saznate što piše u izvorniku

Ako pretraživanje i izvorni tekst koji se može kopirati rješavaju vaš problem, tu se zaustavite. OCR je obavio svoj posao; prevođenje je zasebna odluka.

Ako trebate pročitati cijeli dokument na drugom jeziku, zadržite izvorni sken i ispravljeni tekst kao reference, a zatim slijedite tijek rada za prijevod skeniranog PDF-a. Za prikladnu datoteku, BookTranslatorov PDF prevoditelj može biti sljedeći korak. Njegov OCR način rada rekonstruira prevedeni sadržaj umjesto da obećava točno podudaranje s izvornim izgledom stranice; to ne uklanja potrebu za provjerom vraćenog teksta i odnosa u tablicama.

Nakon prijevoda, upotrijebite kontrolni popis za provjeru kvalitete prijevoda PDF-a kako biste razlikovali pogrešku u prepoznavanju izvora od pogreške u prijevodu ili izgledu. Ispravljanje pogrešne faze način je na koji čitljiva pogreška opstaje u konačnoj datoteci.