Mida Nemotron OCR v2 teeb
Nemotron OCR v2 on NVIDIA praegune OCR-mudel NeMo Retrieveri ökosüsteemi jaoks. OCR ehk optiline märgituvastus teisendab pildil nähtava teksti masinloetavaks tekstiks. Nemotron OCR v2 laiendab seda ülesannet, tuvastades, kus tekst paikneb, ja modelleerides tuvastatud piirkondade vahelisi seoseid. See aitab järgnevatel süsteemidel säilitada suurema osa dokumendi struktuurist, selle asemel et saada vastu lihtsalt korrastamata märgijada.
Mudel on mõeldud selliste piltide jaoks nagu skannitud dokumendid, kviitungid, vormid, äridokumendid, ainult pildina esitatud PDF-leheküljed, diagrammid, infograafikud ja loomulikus keskkonnas olev tekst. Väljund võib sisaldada tuvastatud teksti, iga tuvastatud piirkonna asukohta näitavaid piirdekaste ning usaldusskoore. Sõltuvalt järeldamise konfiguratsioonist ja juurutusviisist saab tulemusi koondada sõna, lause või lõigu tasemel.
Praktiliselt võib seda mudelit käsitleda pildilt struktureeritud tekstiks teisendava komponendina. See võib valmistada dokumente ette otsinguks, otsinguga täiendatud genereerimiseks (RAG), indekseerimiseks või agentseteks töövoogudeks, kuid see ei ole ise üldotstarbeline vestlusrobot ega dokumendiloogika süsteem.
Kuhu see NVIDIA praeguses tootevalikus sobitub
Nemotron OCR v2 kuulub NVIDIA NeMo Retrieveri tooteperekonda, mis pakub komponente dokumentidest ja muudest allikatest teabe eraldamiseks ning selle kasutamiseks otsingusüsteemides. Praegune OCR-i dokumentatsioon nimetab Nemotron OCR v2 toetatud OCR-mudeliks ning pakub selle inglise- ja mitmekeelseid variante. NVIDIA teeb selle kättesaadavaks NVIDIA NIM-i juurutusvõimaluste kaudu ning allalaaditavate mudelikaaludena kohalikuks kasutamiseks.
Dokumenteeritud kaks varianti on mõeldud erinevate keele- ja tuvastusvajaduste jaoks:
| Variant | Tuvastusvõimekus | Märgistik | Keelte tugi |
|---|---|---|---|
| Inglise keel | Maksimaalne järjestuse pikkus 32 | 855 märki | Inglise keel |
| Mitmekeelne | Maksimaalne järjestuse pikkus 128 | 14 244 märki | Inglise keel, lihtsustatud hiina keel, traditsiooniline hiina keel, jaapani keel, korea keel ja vene keel |
Mitmekeelne variant on segakeelsete kogumite jaoks laiem valik ning praeguses NIM-i tugidokumentatsioonis on see märgitud vaikevariandina. Eespool toodud järjestuse pikkused kirjeldavad tuvastaja tekstivõimekust; neid ei tohiks tõlgendada vestluse kontekstiakna ega kogu töövoo maksimaalse dokumendipikkusena.
Kuidas mudel töötab
Nemotron OCR v2 kasutab hübriidset tuvastaja ja märgituvastaja arhitektuuri. RegNetX-8GF-i tuvastaja leiab esmalt pildil tekstipiirkonnad. Seejärel transkribeerib pre-norm Transformer’i põhine märgituvastaja nendes piirkondades oleva teksti. Eraldi relatsioonimoodul modelleerib loogilist rühmitamist, lugemisjärjekorda ja paigutusevahelisi seoseid.
Selline ülesannete jaotus on oluline dokumentide puhul, kus visuaalne asukoht kannab tähendust. Näiteks võib kviitung sisaldada eraldi piirkondades kaupluse päist, tootekirjeldusi, hindu ja kogusummasid. Vormil võivad väljade kõrval paikneda sildid, samas kui äridokument võib sisaldada mitut veergu või tabelit. Ainuüksi teksti tuvastamine ei selgita neid seoseid; mudeli paigutuseanalüüsi eesmärk on pakkuda lisastruktuuri süsteemidele, mis dokumenti taastavad või indekseerivad.
NVIDIA dokumentatsiooni kohaselt on ingliskeelsel variandil 53 831 335 parameetrit ja mitmekeelsel variandil 83 853 044 parameetrit. Need on mudeli suuruse näitajad, mitte konkreetse riistvarakonfiguratsiooni täpsuse või töötlemiskiiruse garantii.
Sisendid ja väljundid
Mudel aktsepteerib RGB-pilte PNG- või JPEG-vormingus. Sisendeid saab esitada float32- või uint8-tensoritena ning need võivad olla ühe pildina mõõtmetega 3 × H × W või partiina mõõtmetega B × 3 × H × W. Dokumenteeritud eeltöötlus teisendab uint8-väärtused automaatselt ja rakendab mitme skaala suuruse muutmist.
Otsene väljund on struktureeritud OCR-teave, mitte äsja genereeritud pilt, helifail või video. Tüüpiline tagastatav teave hõlmab järgmist:
- Tuvastatud tekstipiirkonnad ja nende piird kastid
- Iga piirkonna kohta tuvastatud tekst
- Usaldusskoorid
- Loogiline rühmitamine ja lugemisjärjekorra teave sõltuvalt konfiguratsioonist
Seega toetab Nemotron OCR v2 pildisisendit ja tekstipõhist struktureeritud väljundit. See ei loo algupäraselt pilte, heli, videot, vektor-esitusi ega kõnet. Tavapärase keelemudeli kontekstiakna või väljundi maksimaalse märgipiirangu kohta ei ole dokumentatsiooni esitatud. Asjakohased dokumenteeritud tuvastuspiirangud on avaldatud tuvastaja järjestuse pikkused.
Juurutusvõimalused ja käituskeskkonna tugi
NVIDIA pakub Nemotron OCR v2 mudelit NIM-i kaudu ja allalaaditavate mudelikaaludena. Toetatud juurutusdokumentatsioon hõlmab Ampere’i, Blackwelli, Hopperi ja Lovelace’i arhitektuuril põhinevaid NVIDIA GPU-süsteeme; eelistatud operatsioonisüsteemina on nimetatud Linux. Mudelikaart nimetab toetatud käitusmootoritena TensorRT-d ja PyTorchi, allalaaditav hoidla aga pakub PyTorchil põhinevat kohalikku järeldamisviisi.
Seetõttu sobib mudel paremini organisatsioonidele, kes juba kasutavad NVIDIA GPU-taristut, kui kasutajatele, kes otsivad kerget ja riistvarast sõltumatut OCR-teeki. Ametlik optimeeritud juurutus võib nõuda ühilduvat NVIDIA riistvara ja sellega seotud käituskeskkonda. Enne tootmiskasutust peaksid meeskonnad testima oma andmetel pildi suurusi, dokumendipaigutusi, keelte kombinatsioone ja järeltöötluse vajadusi.
Hind ja kättesaadavus
Esitatud allikatest ei leitud täpselt Nemotron OCR v2 mudeli ametlikku avalikku märgi-, pildi- ega korduvkasutusepõhist hinda. Seetõttu ei saa olemasoleva dokumentatsiooni põhjal usaldusväärset hinnavõrdlust arvutada. Kulud võivad sõltuda valitud NVIDIA levitusviisist, taristust, juurutuskorraldusest ja GPU-võimsusest, mitte avaldatud mudelipõhisest hinnast.
Mudel on saadaval NVIDIA Build.NVIDIA.com-i mudelidokumentatsiooni, NIM-iga seotud juurutusdokumentatsiooni ja NVIDIA mudelihoidla kaudu Hugging Face’is. Allalaaditava mudeli olemasolu ei tähenda iseenesest, et majutatud järeldamine on tasuta või et kõigil juurutusviisidel kehtivad samad tingimused.
Peamised tugevused ja kompromissid
Nemotron OCR v2 peamine tugevus on spetsialiseeritus. Selle arhitektuur tegeleb nii tuvastamise kui ka dokumendi paigutusega, mis on andmete sisestamise töövoogudes kasulikum kui pelk teksti transkribeerimine. Mitmekeelne variant hõlmab samuti kuut keelerühma, sealhulgas hiina kirjaviise, jaapani, korea ja vene keelt, mistõttu sobib see mitmekeelsetele kogumitele, mille jaoks ingliskeelse variandi ulatusest ei piisaks.
Teine praktiline eelis on juurutusvõimalused NVIDIA-põhistes keskkondades. TensorRT tugi võib olla oluline optimeeritud järeldamise jaoks, samas kui PyTorchi kaalud pakuvad meeskondadele, kes loovad oma töötlemiskonveieri, hõlpsamini ligipääsetavat kohalikku arendusteed.
Kompromiss seisneb selles, et selline spetsialiseeritus ei muuda mudelit üldotstarbelise multimodaalse keelemudeli asendajaks. Nemotron OCR v2 eraldab nähtava teksti ja korraldab selle; dokumendi taastamise, skeemi normaliseerimise, indekseerimise, valideerimise ja kõrgema taseme tõlgendamise eest vastutab endiselt järgnev tarkvara. Väljavõetud sisu kohta küsimustele vastamiseks või selle üle keeruka arutluse tegemiseks võib vaja minna eraldi süsteemi.
Selle mudeliga kaasas olev toimetuslik hinnang hindab selle kiirust ja maksumust võrreldes spetsialiseeritud rolliga soodsalt, kuid annab arutlus- ja kodeerimisvõimele madalad hinded. Need on toimetuslikud hinnangud, mitte NVIDIA võrdlustestide tulemused ega müüja avaldatud reitingud. Need peegeldavad asjaolu, et OCR-ile keskendunud mudel võib oma ettenähtud ülesandes olla tõhus, kuid see ei ole mõeldud koodi genereerimiseks ega avatud ülesandepüstitusega arutluseks.
Parimad kasutusjuhud
- Teksti eraldamine skannitud dokumentidest ja ainult pildina esitatud PDF-lehekülgedelt
- Kviitungite, vormide, arvete ja äridokumentide ettevalmistamine otsinguks või indekseerimiseks
- OCR-eeltöötluse lisamine otsinguga täiendatud genereerimise süsteemidele
- Teksti asukohtade ja paigutusseoste säilitamine tabelites, diagrammides ja infograafikutes
- Mitmekeelsete pildi-teksti otsingukonveierite loomine
- Struktureeritud dokumendisisu edastamine järgnevatele agentidele või äriprotsessidele
RAG-konveieri puhul võib Nemotron OCR v2 olla esimene töötlemisetapp: see tuvastab ja transkribeerib teksti, tagastab asukoha- ja usaldusväärtused ning edastab normaliseeritud sisu tükeldamis-, indekseerimis- ja otsingukomponentidele. Rakendus saab kasutada usaldusskoore ebakindlate piirkondade ülevaatamiseks märkimiseks, selle asemel et käsitleda iga tuvastatud märki võrdselt usaldusväärsena.
Millal valida Nemotron OCR v2
Vali Nemotron OCR v2 siis, kui sisend koosneb peamiselt visuaalsest dokumendisisust ja väljund peab säilitama enamat kui pelgalt teksti. See sobib eriti hästi juhul, kui oluline on mitmekeelne tuvastamine, piirdekastid, lugemisjärjekord või paigutust arvestav eraldamine ning juurutuskeskkonnas on juba toetatud NVIDIA GPU-d.
Mitmekeelne variant on mõistlik lähtekoht kogumitele, mis sisaldavad inglise keele kõrval hiina, jaapani, korea või vene keelt. Ingliskeelne variant võib sobida siis, kui korpus piirdub inglise keelega ja väiksema tuvastaja võimekusest piisab. Esitatud uuring ei paku variantide otsest täpsusvõrdlust, seega tuleks valikut kontrollida tüüpiliste dokumentide põhjal.
Teine lahendus võib olla sobivam siis, kui peamine vajadus on vestluslik küsimustele vastamine, koodi genereerimine, laiapõhjaline visuaalne arutlus, vektor-esitused või piltide, heli või video loomine. Samuti võivad ühilduva NVIDIA GPU-taristuta meeskonnad eelistada teistsugust OCR-teenust või -teeki, kui juurutuse keerukuse vähendamine on NVIDIA toetatud pinu kasutamisest olulisem.
Piirangud, mida enne tootmiskasutust kontrollida
Nemotron OCR v2 kohta ei ole dokumenteeritud üldotstarbelist teadmiste lõppkuupäeva, sest tegemist on OCR-mudeliga, mitte vestlusmudeliga, mille puhul oleks määratud teadmiste piir. Esitatud teave ei kinnita ka tööriistade kasutamist, funktsioonikutseid, voogedastust, peenhäälestust, vahemällu salvestamist, partiiliideseid ega eraldiseisvat JSON-režiimi. Rakendused ei tohiks eeldada nende võimaluste olemasolu üksnes seetõttu, et OCR-tulemused on struktureeritud.
Inglise ja mitmekeelse variandi keelte tugi erineb märkimisväärselt, samuti erinevad tuvastaja järjestuse võimekused. Dokumenteeritud optimeeritud juurutusviisid on seotud toetatud NVIDIA GPU-keskkondadega. Lõpuks ei ole OCR-i usaldusväärsus sama mis rakenduse taseme korrektsus: enne automaatse eraldamise usaldamist tuleb dokumente testida väikese teksti, ebatavaliste paigutuste, tabelite, segakirjade ja pildikvaliteedi suhtes.