Mis on NVIDIA Nemotron OCR v2?
NVIDIA Nemotron OCR v2 on optilise märgituvastuse (OCR) mudel, mis on mõeldud piltidelt teksti eraldamiseks. Erinevalt üldotstarbelisest keelemudelist on see spetsialiseerunud teksti asukoha määramisele ja transkribeerimisele, mitte esseede kirjutamisele, küsimustele vastamisele, koodi genereerimisele või avatud vestluste pidamisele.
Mudel võtab vastu RGB-pilte PNG- või JPEG-vormingus ja tagastab struktureeritud OCR-tuvastused. Tuvastus võib sisaldada ära tuntud teksti, usaldusväärsusskoori ja vastava tekstiala koordinaate. Nemotron OCR v2 analüüsib ka tuvastatud piirkondade omavahelisi seoseid, aidates järgnevatel süsteemidel dokumendi struktuuri ja lugemisjärjekorda taastada.
NVIDIA paigutab mudeli oma NeMo Retrieveri kollektsiooni ning teeb selle Hugging Face'i kaudu allalaaditava mudelina kättesaadavaks. Seda saab käitada ka NVIDIA NIM-i, konteineriseeritud järeldusteenuse või NVIDIA majutatud teenuste kaudu. See annab kasutajatele mitu juurutusvõimalust alates mudeli lõimimisest oma GPU-keskkonda kuni selle katsetamiseni majutatud lõpp-punkti kaudu.
Arhitektuur ja mudelivariandid
Nemotron OCR v2 ühendab kolm ühiselt treenitud komponenti:
- Tekstituvasti: RegNetX-8GF konvolutsiooniline võrk määrab pildil tekstialade asukohad.
- Tekstituvastaja: Transformeril põhinev komponent teisendab visuaalsed tekstialad märkideks ja sõnadeks.
- Seosemudel: Paigutusele keskenduv komponent hindab rühmitamist, dokumendi struktuuri ja lugemisjärjekorda.
NVIDIA pakub inglise- ja mitmekeelseid variante. Ingliskeelsel tuvastajal on kolm Transformeri kihti, 256-mõõtmeline peitkihi suurus, maksimaalne jada pikkus 32 ja 855 märgist koosnev märgistik. Mitmekeelsel tuvastajal on kuus Transformeri kihti, 512-mõõtmeline peitkihi suurus, maksimaalne jada pikkus 128 ja 14 244 märgist koosnev märgistik.
Mudelikaardi järgi on ingliskeelsel variandil ligikaudu 53,8 miljonit parameetrit ja mitmekeelsel variandil 83,9 miljonit parameetrit. Need on mudeliarhitektuuri üksikasjad, mitte garantii konkreetse juurutuse mälukasutuse või kiiruse kohta igal GPU-l.
Toetatud keeled, sisendid ja väljundid
NVIDIA mudelinimekirja järgi toetab mitmekeelne variant 11 keelt. Treeningandmestik hõlmab reaalseid ja sünteetilisi näiteid dokumentidest, looduslikest stseenidest, tabelitest, diagrammidest, infograafikutest ja käsitsi kirjutatud lehekülgedest. Mudel toetab sõna-, lause- ja lõigutasandi koondamist ning rakendab automaatset mitmeskaalalist suuruse muutmist.
Sisendid on pildipõhised: üksikud RGB PNG- või JPEG-failid või pildipakid. Esitatud spetsifikatsioonides ei nimetata teksti, heli ega videot otseste sisendmodaalsustena. Nemotron OCR v2 toodab teksti ja struktureeritud OCR-teavet, mitte pilte, heli, videot ega kõnet.
Selle seostetöötlus on oluline siis, kui rakendus vajab enamat kui lihtsalt transkribeeritud teksti. Näiteks saab dokumenditöötluse süsteem kasutada piirdekaste ja lugemisjärjekorra teavet, et säilitada pealkirja, selle lõigu, tabeli ja lähedal asuvate märkuste omavahelised seosed. Samad väljundid võivad toetada diagrammide tekstiks teisendamist, tabelite tekstiks teisendamist, infograafikute töötlemist ja pildipõhist otsingut.
Juurutusvõimalused ja jõudlus
Nemotron OCR v2 saab PyTorchi abil käitada toetatud NVIDIA GPU-del, sealhulgas Ampere'i, Hopperi, Lovelace'i ja Blackwelli arhitektuuridel. NVIDIA NIM pakub piltide OCR-i jaoks CUDA-põhist käituskeskkonda, inglise- ja mitmekeelseid variante, latentsus- ja läbilaskevõimele optimeeritud konfiguratsioone ning /v1/ocr järelduslõpp-punkti.
NVIDIA NIM-i jõudlusdokumentatsiooni järgi saavutab mitmekeelne variant loetletud võrdlustesti konfiguratsioonis GB200-l kuni 129,0 pilti sekundis. Ingliskeelse variandi näitajaks on vastava konfiguratsiooni korral kuni 147,8 pilti sekundis. Need on teenusepakkuja avaldatud võrdlustesti tulemused, mitte universaalsed jõudlusgarantiid. Tulemused võivad sõltuvalt GPU tüübist, pildi kodeeringust, eraldusvõimest, pakisuurusest, samaaegsusest ja käituskeskkonna seadistustest muutuda.
Praktilises mõttes on mudel kõige atraktiivsem siis, kui OCR-i läbilaskevõime on oluline ja organisatsioon kasutab juba ühilduvat NVIDIA taristut. Majutatud lõpp-punkt võib vähendada juurutamisega seotud tööd, samas kui iseseisvalt hallatav mudel või NIM-i juurutus võib anda suurema kontrolli andmetöötluse asukoha ja skaleerimise üle. Uuringud ei määra kõigi nende juurutusviiside jaoks üht universaalset hinda.
Hind ja juurdepääs
Nemotron OCR v2 ametlikku avalikku märgi- ega pildipõhist hinda ei tuvastatud. Mudel on allalaaditav ja NVIDIA loetleb tasuta majutatud lõpp-punkti. Majutatud teenuse kättesaadavus, kvoodid, autentimisnõuded ja kasutustingimused võivad muutuda, mistõttu tuleks enne tootmises kasutamist kontrollida NVIDIA praegust mudelilehte.
Mudeli ise majutamine ei pruugi olla tasuta: mudel vajab ühilduvat GPU-taristut ning GPU-de, salvestusruumi ja käitamise kulud ning võimalik NVIDIA tarkvara- või teenuslitsentsimine on allalaaditava mudeli staatusest eraldi. NIM on juurutusmehhanism, mitte üks universaalne hinnapakett kõigi Nemotron OCR v2 kasutusjuhtude jaoks.
Peamised tugevused ja piirangud
Tugevused
- Struktureeritud OCR-tulemused: Tekst, usaldusväärsusskoorid ja piirdekastid on dokumenditöötluse süsteemides kasulikumad kui lihtsalt asukohata tekstijada.
- Paigutuse arvestamine: Seoste analüüs võib aidata keerukatel lehekülgedel säilitada rühmitamist ja lugemisjärjekorda.
- Mitmekeelne tugi: NVIDIA nimekirja järgi toetab mitmekeelne variant 11 keelt ja kasutab ingliskeelse variandiga võrreldes märkimisväärselt suuremat märgistikku.
- Lai dokumendivalik: Dokumenteeritud treeningandmestik hõlmab vorme, aruandeid, tabeleid, diagramme, infograafikuid, looduslikke stseene ja käsitsi kirjutatud lehekülgi.
- Paindlik juurutus: Kasutajad saavad töötada Hugging Face'i, PyTorchi, NVIDIA NIM-i või NVIDIA majutatud teenustega.
- GPU-dele suunatud läbilaskevõime: NVIDIA avaldatud NIM-i tulemused näitavad kindla GB200 konfiguratsiooni korral suurt pilditöötluse läbilaskevõimet.
Piirangud
- See ei ole üldotstarbeline keelemudel: See ei ole mõeldud vestluste genereerimiseks, üldiseks arutlemiseks, programmeerimiseks ega vabas vormis teksti loomiseks.
- GPU-nõuded: Dokumenteeritud kiirendatud juurutused nõuavad ühilduvat NVIDIA GPU-taristut. Jõudlus ja kasutatavus sõltuvad valitud riistvarast.
- Tavapärase keelemudeli kontekstiakna puudumine: Esitatud uuringutes ei avaldata üldist konteksti pikkust ega väljundi maksimaalset märgipiirangut. Mudel töötab piltidega ja toodab tavapärase viiba-vastuse asemel OCR-tuvastusi.
- Üldise tööriistakutsungi puudumine: Spetsifikatsioonides ei nimetata mudeli võimekusena funktsioonikutsungeid, veebiootsingut, voogedastust ega agenditööriistu.
- OCR-i täpsus sõltub sisendist: Pildi kvaliteet, eraldusvõime, ebatavaline tüpograafia, käsikiri, lehekülje paigutus ja keel võivad tulemusi mõjutada. Usaldusväärsusskoore tuleks kasutada valideerimise signaalina, mitte käsitleda absoluutse tõena.
Arutlemine, programmeerimine ja tööriistade tugi
Nemotron OCR v2 teeb ülesandespetsiifilist visuaalset ja paigutuslikku järeldamist, kuid seda ei tohiks hinnata arutlusmudelina. Selle seosekomponent suudab tuletada tekstialade vahelisi seoseid ja aidata määrata lugemisjärjekorda, kuid see erineb mitmeastmelisest arutlemisest suvaliste küsimuste või dokumentide üle.
Sellel ei ole dokumenteeritud programmeerimisvõimekust ja see ei genereeri tarkvara. Samuti ei paku see sisseehitatud veebisirvimist, funktsioonikutsungeid, väliseid tööriistu ega üldisi agenditoiminguid. Rakendus võib suunata OCR-väljundi eraldi keelemudelisse või dokumenditöötluse töövoogu, kuid täiendav arutlemine või tööriistade kasutamine pärineb ümbritsevast süsteemist, mitte Nemotron OCR v2-st endast.
Parimad kasutusjuhud
Nemotron OCR v2 sobib hästi olukordadesse, kus rakendus peab enne järgmise süsteemi töötlust teisendama visuaalse sisu struktureeritud tekstiks. Sobivad näited on järgmised:
- Skannitud PDF-ide, vormide, aruannete ja pildistatud dokumentide töötlemisse võtmine.
- Teksti ja koordinaatide eraldamine ettevõtteotsingu või otsinguga täiendatud genereerimise (RAG) töövoogude jaoks.
- Tabelite, diagrammide ja infograafikute eeltöötlus dokumendiluure süsteemide jaoks.
- Pildipõhise otsingu loomine koos tekstialade metaandmetega.
- Lugemisjärjekorra ja paigutuse seoste säilitamine dokumentide teisendamisel.
- Mitmekeelsete dokumendikogumike töötlemine NVIDIA GPU-taristul.
Tootmisvoogudes peaksid rakendused säilitama lähtepildi, talletama usaldusväärsusskoorid ja määratlema ülevaatamisreeglid väikese usaldusväärsusega tuvastuste või OCR-vigade suhtes eriti tundlike dokumenditüüpide jaoks.
Millal valida Nemotron OCR v2?
Valige Nemotron OCR v2 siis, kui põhiprobleem on struktureeritud asukohtade ja paigutusseostega mitmekeelne OCR, eriti juhul, kui GPU-kiirendusega töötlemine või NVIDIA juurutustööriistad on keskkonnas juba kasutusel. See on üldise nägemis-keelemudelil põhineva assistendi asemel sobivam siis, kui avatud selgitustest on olulisemad prognoositavad OCR-väljad, piirdekastid ja läbilaskevõime.
Üldotstarbeline nägemis-keelemudel võib olla sobivam siis, kui rakendus peab pildi kohta küsimustele vastama, dokumenti kokku võtma, ebaselget visuaalset sisu tõlgendama või ühendama OCR-i ja põhjaliku arutlemise ühe vastuse raames. Kerge traditsiooniline OCR-süsteem võib olla eelistatav lihtsate ja piiratud keelevalikuga skannide puhul, kui paigutuse seosefunktsioonid ja GPU-põhine juurutus ei õigusta täiendavat taristut. Seega tuleks Nemotron OCR v2 valida selle OCR-ile spetsialiseerunud struktureeritud väljundi, mitmekeelse toe ja juurutusvõimaluste tõttu – mitte vestlus- või programmeerimismudeli asendusena.