Mida NVIDIA Nemotron Page Elements v3 teeb
NVIDIA Nemotron Page Elements v3 on dokumendipaigutuse objektituvastusmudel. Selle ülesanne on leida leheküljel tähenduslikud piirkonnad, mitte lugeda, kokku võtta ega genereerida nende piirkondade sisu. Näiteks suudab see tuvastada aruandes oleva tabeli ligikaudse asukoha, esitluses oleva diagrammi, jaotise kohal paikneva pealkirja või korduva päise ja jaluse.
Mudel on kasulik siis, kui dokumenditöötlussüsteem peab otsustama, mida järgmisena teha. Tuvastatud tabeli saab suunata tabelistruktuuri eraldamisele, tekstipiirkonna OCR-ile ning diagrammi või infograafiku spetsiaalsele visuaalanalüüsi komponendile. Seega toimib mudel suuremates dokumenditehisintellekti töötlusahelates varajase suunamise ja paigutuse analüüsi etapina.
NVIDIA loetleb mudeli aktiivse ja allalaaditavana ning see on saadaval ka ettevõtte majutatud NIM-liidese kaudu. See asendab varasema mudeli nemoretriever-page-elements-v2. Mudel kuulub NVIDIA laiema Nemotroni ja NeMo Retrieveri ökosüsteemi, kuid mudel ise keskendub spetsiaalselt leheküljeelementide tuvastamisele.
Milliseid dokumendielemente see tuvastab
Nemotron Page Elements v3 tuvastab kuus dokumenteeritud kategooriat:
- Tabel: ridade ja veergudena paigutatud andmed.
- Diagramm: visualiseeringud, näiteks tulp-, joon- või sektordiagrammid.
- Infograafik: diagrammid, vooskeemid ja muud keerukad visuaalsed esitlused.
- Pealkiri: jaotiste pealkirjad või tabelite, diagrammide ja infograafikutega seotud pealkirjad.
- Päis või jalus: korduvad leheküljetasandi piirkonnad, näiteks dokumendi päised, jalused või muud lehe kujunduselemendid.
- Tekst: tekstilõigud või eraldiseisev tekst, mis ei sobitu ühegi teise klassiga.
Iga tuvastus sisaldab piirdekasti, mis näitab elemendi asukohta, usaldusskoori ja klassisilti. Väljund kirjeldab seega lehekülje visuaalset struktuuri kujul, mida järgmised tarkvarakomponendid saavad töödelda.
Arhitektuur, sisend ja väljund
NVIDIA mudeli dokumentatsiooni kohaselt kasutab tuvastaja YOLOX-i objektituvastusarhitektuuri koos DarkNet53 magistraalvõrgu ja lahutatud peaga funktsioonipüramiidvõrguga. YOLOX on loodud objektide tõhusaks asukoha määramiseks ja klassifitseerimiseks pildil. Selle mudeli puhul on objektideks igapäevaste fotoobjektide asemel dokumendipiirkonnad.
NVIDIA andmetel on mudelil ligikaudu 54 miljonit parameetrit. Sisendleheküljed on RGB-pildid, mis skaleeritakse enne järeldamist suurusele 1024 × 1024 pikslit. Dokumenteeritud käituskeskkond on TensorRT ning toetatud riistvara hõlmab NVIDIA Ampere'i, Hopperi ja Lovelace'i GPU-arhitektuure. Kaasasolevas dokumentatsioonis on dokumenteeritud juurutuse operatsioonisüsteemina nimetatud Linux.
| Spetsifikatsioon | Dokumenteeritud üksikasjad |
|---|---|
| Peamine ülesanne | Dokumendi leheküljeelementide objektituvastus |
| Arhitektuur | YOLOX koos DarkNet53 magistraalvõrgu ja FPN-i lahutatud peaga |
| Ligikaudne parameetrite arv | 54 miljonit |
| Pildisisend | RGB-lehekülje pilt |
| Eeltöötluse suurus | 1024 × 1024 pikslit |
| Väljund | Piirdekarbid, usaldusskoorid ja elemendisildid |
| Käituskeskkond | TensorRT |
| Dokumenteeritud riistvara | NVIDIA Ampere'i, Hopperi ja Lovelace'i GPU-d |
| Dokumenteeritud operatsioonisüsteem | Linux |
Pildi suurus 1024 × 1024 on sisendi töötlemise spetsifikatsioon, mitte kontekstiaken ega märgilimiit. Kaasasolevas dokumentatsioonis ei ole selle mudeli jaoks esitatud keelemudeli konteksti pikkust, genereeritavate märkide maksimaalset arvu ega tekstigenereerimise väljundimahtu.
Treening ja esitatud hindamistulemused
NVIDIA andmetel eeltreeniti mudelit 118 287 COCO train2017 pildil ning seejärel peenhäälestati 36 093 Digital Corpora pildil. Peenhäälestuse annotatsioonid koostati Azure AI Document Intelligence'i ja inimeste andmeannotatsioonimeeskonna abil.
Esitatud klassipõhised keskmise täpsuse väärtused on järgmised:
| Klass | Esitatud keskmine täpsus |
|---|---|
| Infograafik | 66.863% |
| Diagramm | 54.191% |
| Päis või jalus | 53.895% |
| Tekst | 45.418% |
| Tabel | 44.643% |
| Pealkiri | 38.529% |
Need näitajad on teenusepakkuja esitatud hindamistulemused, mitte garantii iga dokumendikogu puhul. Jõudlus võib varieeruda sõltuvalt lehekülje kujundusest, skannimise kvaliteedist, pildi eraldusvõimest, tüpograafiast, keelest ja dokumendivaldkonnast. Pealkirja väiksem esitatud skoor võrreldes infograafiku skooriga viitab ka sellele, et klasse ei tohiks ilma tüüpilise materjaliga testimata pidada võrdselt usaldusväärseks.
Koht NVIDIA tootekataloogis
Nemotron Page Elements v3 on spetsialiseeritud mudel, mitte üldotstarbeline Nemotroni keelemudel. NVIDIA teeb selle kättesaadavaks allalaaditava mudelina ja majutatud NIM-liidese kaudu. NIM on siin oluline kui mudeli teenindamise viis, kuid selle aluseks olev võimekus on endiselt lehekülje paigutuse tuvastamine.
Mudel võib seega paikneda ettevõtte dokumenditöötlusahela algusosas. Tüüpiline töövoog võib teisendada PDF-lehekülje pildiks, saata pildi Nemotron Page Elements v3-le, kasutada tagastatud kaste piirkondade kärpimiseks või suunamiseks ning rakendada seejärel OCR-i, tabelite parsimist, diagrammianalüüsi või otsinguindekseerimist. Multimodaalne otsinguga täiendatud genereerimise süsteem võib tuvastuste abil säilitada paigutusteabe, enne kui valitud piirkonnad järgmistele komponentidele edastatakse.
See eristab mudelit genereerivast visioonikeelemudelist. Visioonikeelemudel võib pilti kirjeldada või vastata seda puudutavatele küsimustele, samal ajal kui Nemotron Page Elements v3 pakub lehekülje piirkondadest piiritletumat ja prognoositavamat kaarti. Teisalt ei paku tuvastaja semantilist tõlgendust, mida genereeriv mudel võiks pakkuda.
Peamised tugevused ja piirangud
Tugevused
- Selge spetsialiseerumine: mudel keskendub kindlale dokumendielementide kogumile, selle asemel et püüda teha üldist visuaalset või keelelist arutlust.
- Kasulik struktureeritud väljund: piirdekaste, silte ja usaldusskoore saab järgmine tarkvara otse kasutada.
- Sobivus töötlusahelatega: see aitab suunata eri piirkondi OCR-i, tabelite eraldamise, indekseerimise või multimodaalse otsingu komponentidele.
- NVIDIA juurutusvõimalus: TensorRT tugi ning dokumenteeritud ühilduvus Ampere'i, Hopperi ja Lovelace'i riistvaraga pakuvad juurutusvõimalust NVIDIA GPU-keskkondades.
- Allalaaditavus: organisatsioonid saavad mudelit NVIDIA Open Model License Agreementi tingimuste alusel hinnata või juurutada, järgides selle litsentsi tingimusi.
Piirangud
- Tuvastus ei ole eraldamine: mudel leiab tabeli asukoha, kuid ei taasta selle ridu ega veerge ega tagasta tabeli väärtusi.
- Tuvastus ei ole OCR: teksti piirdekast ei sisalda teksti ümberkirjutust.
- Puuduvad genereerimine ja üldine arutlus: mudel ei ole mõeldud vestlemiseks, kokkuvõtete tegemiseks, küsimustele vastamiseks, kodeerimiseks ega dokumentide vabaks tõlgendamiseks.
- Piiratud klassisõnavara: dokumenteeritud väljundikategooriad hõlmavad levinud leheküljeelemente, kuid ei esinda kõiki võimalikke dokumendiobjekte.
- Riistvara- ja operatsioonisüsteeminõuded: dokumenteeritud juurutus on suunatud Linuxile ja TensorRT toetatud NVIDIA GPU-arhitektuuridele.
- Kvaliteet varieerub dokumenditi: ebatavalised paigutused, halva kvaliteediga skannid, tiheda sisuga leheküljed ja valdkonnaspetsiifilised vormingud võivad nõuda valideerimist ja varuloogikat.
Modaalsused, arutlus ja tööriistade tugi
Kontrollitud sisendmodaalsus on RGB-pilt. Mudel ei aktsepteeri esmase dokumenteeritud sisendina heli, videot ega vestluslikku tekstiviipa. Selle väljund on struktureeritud tuvastusandmed, mitte tekst, pilt, heli ega video.
Arutlus- ja kodeerimisvõimalused ei ole rakendatavad samal viisil nagu keelemudelite puhul. Tuvastaja ei selgita dokumenti iseseisvalt, ei kirjuta koodi, ei kutsu funktsioone, ei sirvi veebi ega kasuta väliseid tööriistu. OCR-i, parsimise, otsingu või keelelise arutluse peavad ümbritsevas rakenduses tagama teised komponendid.
Struktureeritud väljund on väärtuslik, sest annab tarkvarale tuvastatud piirkondade selgesõnalise esituse. Struktureeritud tuvastusi ei tohiks siiski segi ajada üldise JSON-režiimiga suvaliste kasutajapäringute jaoks. Kaasasolevas uuringus ei dokumenteerita selle mudeli jaoks eraldi JSON-režiimi, voogedastuskäitumist, peenhäälestusliidest, vahemällu salvestamise funktsiooni ega pakkide töötlemise API-t.
Hind, juurdepääs ja litsents
Nemotron Page Elements v3 jaoks ei ole esitatud sisend- ega väljundmärgi hinda, tellimuse hinda ega pildipõhist hinda. Allalaaditav mudel on märgitud äriliseks ja mitteäriliseks kasutuseks kättesaadavaks NVIDIA Open Model License Agreementi alusel. NVIDIA NIM-i kaudu pakutav majutatud proovijuurdepääs võib olla päringumahuga piiratud, kuid uuringus ei ole majutatud tootmiskasutuse hinda esitatud.
Praktilises mõttes nihutab allalaaditav kasutus peamised kulukaalutlused NVIDIA GPU-taristu, salvestusruumi, juurutuse ja käitamise suunas, mitte dokumenteeritud päringupõhise mudelitasu suunas. Majutatud NIM-i juurdepääs võib vähendada taristuga seotud tööd, kuid enne tootmise kavandamist tuleks NVIDIA kehtivast teenusedokumentatsioonist üle kontrollida rakenduvad piirangud ja kommertshinnad.
Millal valida Nemotron Page Elements v3
Vali see mudel siis, kui vahetu probleem on dokumendilehekülgedel piirkondade leidmine ja ülejäänud töötlusahelat haldavad eraldi komponendid. See sobib hästi järgmisteks ülesanneteks:
- Ettevõtete aruannete, vormide, esitluste ja skannitud dokumentide eeltöötlemine.
- Tekstipiirkondade suunamine OCR-i ja tabelite saatmine tabelistruktuuri eraldamisele.
- Diagrammide ja infograafikute tuvastamine enne spetsiaalse visuaalanalüüsi rakendamist.
- Korduvate päiste ja jaluste eemaldamine või eraldi käsitlemine indekseerimise ajal.
- Lehekülje paigutuse metaandmete lisamine dokumendiotsingu või multimodaalse RAG-i süsteemidele.
- Fokuseeritud tuvastaja käitamine NVIDIA GPU-kiirendusega keskkonnas.
Teine lahendus võib olla sobivam, kui rakendus vajab ühes mudelis transkriptsiooni, tabelite taastamist, dokumendiküsimustele vastamist, kokkuvõtete koostamist, piltide pealkirjastamist või laiaulatuslikku visuaalset arutlust. Sellistel juhtudel võib pärast seda tuvastajat või selle asemel vaja minna spetsiaalset OCR-i või tabeliparserit, visioonikeelemudelit või kombineeritud dokumendimõistmise süsteemi. Nemotron Page Elements v3 on kõige kasulikum siis, kui prognoositav piirkondade tuvastamine on tähtsam kui ühe mudeli kasutamine kõigi dokumendiga seotud ülesannete jaoks.
Kokkuvõte
NVIDIA Nemotron Page Elements v3 on dokumenditehisintellekti jaoks mõeldud fokuseeritud paigutuse analüüsi komponent. Selle põhiväärtus seisneb leheküljepildi teisendamises sildistatud piirkondadeks, mida järgmised süsteemid saavad töödelda. Mudeli dokumenteeritud arhitektuur, TensorRT käituskeskkond, NVIDIA GPU-de tugi ja struktureeritud tuvastused muudavad selle sobivaks OCR-i ettevalmistuseks, tabelite ja diagrammide suunamiseks, indekseerimiseks ning paigutust arvestavateks otsingu töötlusahelateks. Seda ei tohiks hinnata vestlusroboti ega üldotstarbelise multimodaalse mudelina: see tuvastab, kus leheküljeelemendid asuvad, samal ajal kui nende lugemiseks, eraldamiseks, tõlgendamiseks või sisu genereerimiseks on vaja teisi tööriistu.