Mis on Nemotron OCR v1?
Nemotron OCR v1 on NVIDIA NeMo Retrieveri kollektsiooni kuuluv optilise märgituvastuse mudel. OCR teisendab pildil oleva teksti masinloetavaks tekstiks. Selle mudeli puhul ei piirdu tulemus tavalise tekstistringiga: konveier võib tagastada ka usaldusskoorid, piirdekastide koordinaadid ning teabe, mis aitab mõista, kuidas tekstialad lehel omavahel seotud on.
Mudel on mõeldud ingliskeelseks OCR-iks, mitte üldotstarbeliseks teksti genereerimiseks. See suudab töödelda skannitud dokumente, pildistatud lehti, kviitungeid, äridokumente, graafikuid, tabeleid, infograafikuid ja teksti sisaldavaid loomuliku stseeni pilte. Seejärel saab väljundi otsingu jaoks indekseerida, edastada otsinguga täiendatud genereerimise süsteemi või kasutada dokumenditöötlustarkvaras.
NVIDIA avaldas Nemotron OCR v1 23. oktoobril 2025. See on NVIDIA mudelite ja juurutuse kataloogis endiselt saadaval ingliskeelse OCR-i võimalusena, kuigi Nemotron OCR v2 on uuem valik juhul, kui vaja on mitmekeelset tuge või värskemat OCR-i realisatsiooni.
Kuidas mudel töötab
Nemotron OCR v1 ühendab ühes otsast lõpuni toimivas konveieris kolm põhifunktsiooni. Esmalt leiab tekstituvasti pildilt tõenäolised tekstialad. NVIDIA nimetab tuvastaja põhiarhitektuurina RegNetY-8GF-i, konvolutsioonilise närvivõrgu arhitektuuri, mida kasutatakse visuaalsete mustrite analüüsimiseks ja teksti asukoha leidmiseks.
Seejärel loeb Transformeril põhinev tuvastusmoodul leitud alad läbi ja transkribeerib nende sisu. Transformerid on närvivõrgu komponendid, mis suudavad modelleerida järjestuses olevaid seoseid. See on kasulik sõnade ja ridade tuvastamisel, sest iga märki ei käsitleta eraldiseisva sümbolina.
Seejärel analüüsib relatsioonimoodul tekstialade vahelisi seoseid. See aitab süsteemil järeldada loogilisi rühmitusi, lugemisjärjekorda, plokke, veerge, tabeleid, graafikuid ja muid lehestruktuure. NVIDIA andmetel on tuvastaja, tuvastusmooduli ja relatsioonikomponentide peale kokku ligikaudu 52,5 miljonit parameetrit ning mudeli komponente treeniti ühiselt ühe OCR-konveierina.
Toetatud sisendid ja väljundid
Dokumenteeritud sisend on RGB-pilt PNG- või JPEG-vormingus. Nemotron OCR v1 aktsepteerib kas uint8-piksliväärtusi, mida kasutatakse tavaliselt standardsete pildiandmete puhul, või float32-väärtusi. Ühte pilti saab esitada tensorina kujul 3 × H × W, pakktöötluses kasutatakse kuju B × 3 × H × W, kus H ja W tähistavad pildi kõrgust ja laiust ning B paki suurust.
Konveier toetab nii üksikpiltide kui ka pakettide töötlemist. Tulemusi saab koondada sõna, lause või lõigu tasemel, võimaldades rakendusel valida järgmise töötlusetapi jaoks sobiva detailsusastme. Näiteks võivad sõnataseme tulemused olla kasulikud täpsel koordinaatide põhisel esiletõstmisel, samas kui lõigutaseme koondamine võib olla otsingu indekseerimise või otsingu jaoks mugavam.
Väljund sisaldab tuvastatud teksti, usaldusskoore ja piirdekastide koordinaate. Küljenduse analüüs võib lisaks toetada lugemisjärjekorra ja plokkide analüüsi. See on oluline lehtede puhul, kus pikslite lihtsalt vasakult paremale lugemine annaks vale tulemuse, näiteks mitmeveeruliste aruannete, tabelite, vormide ja infograafikute korral.
| Võimekus | Kontrollitud teave |
|---|---|
| Põhisisend | RGB PNG- või JPEG-pildid |
| Sisendvormingud | uint8- või float32-pildiväärtused |
| Töötlemine | Üksikpildid või paketid |
| Teksti katvus | Ainult inglise keel |
| Väljund | Tuvastatud tekst, usaldusskoorid ja piirdekastid |
| Koondamine | Sõna, lause või lõigu tasemel |
| Küljendusteave | Lugemisjärjekord ja tekstiplokkide vahelised seosed |
Milline on selle koht NVIDIA mudelivalikus?
Nemotron OCR v1 on spetsialiseeritud mudel, mitte üldotstarbeline Nemotroni vestlusmudel. See kuulub NVIDIA dokumendi- ja otsingutööriistade hulka, sealhulgas NeMo Retrieveri ja NVIDIA Inference Microservicesi koosseisu. NVIDIA pakub allalaaditavaid mudeliartefakte ja juurutusvõimalusi GPU-kiirendusega teenindamiseks.
Mudel on loetletud ka NVIDIA OCR-i dokumentatsioonis ning seda saab kasutada dokumentide süsteemi importimise ja otsingu töövoogudes. Selle ülesanne on muuta visuaalsed dokumendid struktureeritud tekstiks ja küljendusandmeteks, enne kui mõni teine süsteem teostab otsingu, andmete leidmise, kokkuvõtete koostamise, klassifitseerimise või küsimustele vastamise.
Nemotron OCR v2 on kaasasolevas dokumentatsioonis nimetatud uuem seotud valik. Kõige olulisem praktiline erinevus seisneb keeletoetuses: v1 toetab ainult inglise keelt, v2 pakub inglise keele ja mitmekeelse OCR-i variante. Olemasolevad süsteemid võivad endiselt valida v1 ühilduvuse, väljakujunenud konveierite või konkreetse juurutusnõude tõttu, kuid uued projektid, mis vajavad inglise keelest erinevaid keeli, peaksid selle asemel hindama v2 kasutamist.
Tugevused ja praktilised kasutusjuhud
Nemotron OCR v1 peamine tugevus on see, et see läheb lihtsast pildilt tekstiks transkribeerimisest kaugemale. Mudel on loodud säilitama teavet teksti asukoha ning eraldi alade omavaheliste seoste kohta. Seetõttu sobib see struktureeritud dokumenditöötluseks paremini kui OCR-süsteem, mis tagastab ainult ühtse struktureerimata tekstistringi.
- Dokumentide süsteemi importimine: Muuda skannitud aruanded, arved, kviitungid ja äridokumendid otsitavaks tekstiks, säilitades samal ajal alade koordinaadid.
- Ettevõtteotsing: Eralda pildipõhistest failidest tekst, et dokumente saaks indekseerida kõrvuti digitaalselt loodud sisuga.
- RAG-i eeltöötlus: Valmista visuaalsed dokumendid otsinguga täiendatud genereerimise süsteemide jaoks ette, luues enne indekseerimist teksti ja küljendust arvestavad metaandmed.
- Tabelid ja graafikud: Töötle teksti, mis paikneb struktureeritud visuaalsetes elementides ning mille puhul on oluline lugemisjärjekord ja plokkidevahelised seosed.
- Agentlikud dokumenditöövood: Varusta järgmise etapi tarkvara tuvastatud teksti, usaldusväärtuste ja koordinaatidega kontrollimiseks või inimese kaasamiseks.
- Loomuliku stseeni tekst: Tuvasta ingliskeelset teksti fotodel ja muudel piltidel, mis ei pärine tavapärastest kontoridokumentidest.
Relatsiooniväljund on eriti kasulik siis, kui dokumendi struktuur mõjutab tähendust. Kahe veeruga aruande, eraldi väljadega kviitungi või mitme märgistatud alaga infograafiku puhul ei pruugi piisata kõigi tuvastatud sõnade lihtsalt koordinaatide järjekorras ühendamisest.
Täpsus ja jõudlus
NVIDIA mudelikaart esitab mitu ettevõttesisese hindamise tulemust: märgiveamäär 0,1633, bag-of-character-veamäär 0,0453, bag-of-word-veamäär 0,1203, tabelieralduse TEDS 0,781 ning multimodaalse otsingu Recall@5 skoorid 0,779 avalikel tuluandmetel ja 0,901 digitaalsetel korpustel.
Need on teenusepakkuja esitatud ettevõttesisesed hindamistulemused, mitte universaalsed garantiid. OCR-i tulemused sõltuvad pildi resolutsioonist, valgustusest, lehe kvaliteedist, tüpograafiast, varjestatusest, keelest ja dokumendi kujundusest. Seetõttu tuleks neid näitajaid käsitleda NVIDIA testimise võrdluspunktidena, mitte kõigi OCR-i töökoormuste puhul otseselt võrreldavate tulemustena.
Nemotron OCR v1 on loodud NVIDIA GPU-kiirendusega keskkondade jaoks. Kohalik juurutus nõuab sobivat CUDA-tarkvarapinu ja ühilduvat riistvarakonfiguratsiooni. Kaasasolev uurimus ei täpsusta universaalset järelduskiirust, minimaalset GPU-d, maksimaalseid pildimõõtmeid, kontekstiakent ega väljundi maksimaalset tokenipiirangut. Need väärtused tuleb üle kontrollida kasutatava konkreetse NVIDIA juurutusviisi ja versiooni põhjal.
Piirangud ja toetamata ülesanded
Kõige selgem piirang on keelekasutus. Nemotron OCR v1 toetab ainult inglise keelt, mistõttu ei sobi see iseseisva lahendusena mitmekeelsete arhiivide, mahukalt mitteingliskeelset teksti sisaldavate dokumentide või juurutuste jaoks, mis peavad automaatselt tuvastama paljusid kirjasüsteeme. Mitmekeelse toe vajaduse korral on asjakohasem NVIDIA valik Nemotron OCR v2.
Oluline on ka pildikvaliteet. Udused fotod, madal kontrastsus, ebaharilikud fondid, tugev perspektiivmoonutus, osaliselt varjatud tekst ja väga stiliseeritud küljendused võivad tuvastuskvaliteeti vähendada. Usaldusskoorid aitavad ebakindlaid tulemusi tuvastada, kuid suure mõjuga töövoogudes, näiteks finantsdokumentide, juriidiliste dokumentide või isikuandmetega seotud töötlemise puhul, on endiselt vaja kontrolli.
See ei ole üldotstarbeline teksti genereerimise mudel. Seda ei ole dokumenteeritud vestlusassistendi, koodimudeli, visuaalsetele küsimustele vastamise süsteemi, kõnemudeli, pildigeneraatori, videomudeli ega arutlusmudelina. Kaasasolevas uurimuses ei ole kinnitatud ka tööriistade ega funktsioonikutsete võimalust. Selle struktureeritud väljund kirjeldab OCR-i tuvastustulemusi; see ei tähenda üldise JSON-režiimi ega agentide tööriistaliidese olemasolu.
Hinnastamine, litsents ja juurdepääs
Kaasasolevas uurimuses ei esitata avalikku pildi-, tokeni- ega tellimusepõhist hinda. Mudelile pääseb ligi NVIDIA mudeliartefaktide ja NVIDIA juurutusplatvormide kaudu, kuid kasutamise maksumus sõltub valitud taristust, GPU mahust, teenindusmeetodist ning NVIDIA platvormile või ettevõtetele kohaldatavatest tingimustest. Olemasoleva teabe põhjal oleks ebatäpne kirjeldada Nemotron OCR v1-l olevat kindlat tarbija-API hinda.
NVIDIA väidab, et mudelit võib kasutada ärilistel eesmärkidel NVIDIA Open Model License Agreementi alusel. Kaasasolevad järeltöötlusskriptid on litsentsitud Apache 2.0 alusel. Organisatsioonid peaksid enne mudeli ärilisse tootesse kaasamist tutvuma kohaldatavate litsentsitingimuste ja juurutusdokumentatsiooniga.
Millal valida Nemotron OCR v1?
Vali Nemotron OCR v1 siis, kui peamine vajadus on piltidelt ingliskeelse teksti eraldamine ning töövoog saab kasu piirdekastidest, usaldusskooridest, lugemisjärjekorrast või küljenduselementide vahelistest seostest. See sobib hästi meeskondadele, kes juba kasutavad NVIDIA GPU-taristut, ning konveieritele, mis vajavad OCR-i otsingu, andmete leidmise, RAG-i või dokumendianalüüsi eeltöötlusetapina.
Teine OCR-süsteem võib olla sobivam siis, kui mitmekeelne tuvastus on hädavajalik, juurutus peab töötama väljaspool NVIDIA-keskset keskkonda või eelistatakse hallatud teenust, mille kasutushinnad on selgelt avaldatud. Üldotstarbeline visuaal-keelemudel võib olla parem valik siis, kui ülesanne nõuab pildi kohta küsimustele vastamist, visuaalse sisu kokkuvõtmist või OCR-i ühendamist avatud vormis arutlusega, mitte spetsiaalsete OCR-struktuuride loomist.
NVIDIA praeguses OCR-i perekonnas tasub uute mitmekeelsete juurutuste puhul hinnata Nemotron OCR v2. Nemotron OCR v1 on endiselt praktiline valik ingliskeelsete töökoormuste jaoks, kui olemasolevad mudeliartefaktid, küljendust arvestavad väljundid või ühilduvus väljakujunenud NeMo Retrieveri või NIM-i konveieriga on uuema versiooni kasutuselevõtust olulisemad.
Kokkuvõte
Nemotron OCR v1 on spetsialiseeritud ainult inglise keelt toetav OCR-mudel, mille eesmärk on muuta keerukad pildid struktureeritud tekstiks ja dokumendi küljendusteabeks. Selle tuvastaja, tuvastusmooduli ja relatsioonikomponendi ühendav ülesehitus muudab selle dokumendisisestuse ja otsingu konveierite jaoks sobivamaks kui vestluspõhiseks kasutuseks. Kõige olulisemad valikuküsimused on, kas ainult inglise keele tugi on piisav, kas NVIDIA GPU-põhine juurutus sobib keskkonda ning kas rakendus vajab küljendust arvestavat OCR-i, mitte üldist visuaalset arutlusvõimet.