Mida NVIDIA Nemotron Table Structure v1 teeb
NVIDIA Nemotron Table Structure v1 on spetsiaalne objektituvastusmudel dokumentide piltidel olevate tabelite jaoks. Küsimustele vastamise, teksti kirjutamise või kogu dokumendi valmis arvutustabeliks teisendamise asemel tuvastab see, kus tabeli olulised komponendid pildil paiknevad.
Selle peamised tuvastusklassid on üksikud lahtrid, read ja veerud. Lahtrite hulka võivad kuuluda ka ühendatud lahtrid, mis on aruannetes, arvetel, vormidel, esitlustel ja muudes dokumentides tavalised. Iga tuvastatud elemendi kohta annab mudel asukohateabe piirdekastide kujul koos klassisildi ja usaldusskooriga.
Seetõttu toimib mudel suurema dokumendipõhise tehisintellekti töövoo struktuurikomponendina. OCR-mootor saab tuvastatud piirkondades olevad sõnad ära tunda, järeltöötlus aga kasutada tuvastatud geomeetriat, et määrata, milline tekst millisesse lahtrisse kuulub ning kuidas read ja veerud tuleks paigutada.
Mudelikoht NVIDIA tootekataloogis
NVIDIA pakub mudelit kataloogi Build.NVIDIA.com kaudu ja allalaaditava mudelina. Seda nimetatakse ka tabelistruktuuri komponendiks NVIDIA NeMo Retrieveri töövoogudes. Seega on kõige õigem käsitleda seda NVIDIA dokumentide töötlemise ja otsingu ökosüsteemi kuuluva sihipärase nägemisteenusena, mitte üldotstarbelise Nemotroni keelemudelina.
NVIDIA dokumentatsioon kirjeldab nii majutatud kui ka isemajutatavaid juurdepääsuvõimalusi. Majutatud proovikeskkond ja isemajutatav NVIDIA NIM-i juurutus on eraldi valikud, millel on erinevad kasutus- ja juurdepääsunõuded. Mudel on seotud ka NGC-konteineri ja ametliku mudelihoidlaga, pakkudes meeskondadele hindamiseks või juurutamiseks rohkem kui üht võimalust.
Dokumenteeritud juurutuskeskkond hõlmab TensorRT käituskeskkonna tuge, Linuxi kasutamist ning ühilduvust NVIDIA Ampere'i, Hopperi ja Lovelace'i GPU-arhitektuuridega. Seetõttu on mudel eriti asjakohane organisatsioonidele, kes juba kasutavad NVIDIA GPU-taristut.
Tehniline profiil ja sisend
| Omadus | Dokumenteeritud teave |
|---|---|
| Pakkuja | NVIDIA |
| Mudeliperekond | Nemotron |
| Mudeli tüüp | Spetsiaalne objektituvastus |
| Arhitektuur | YOLOX koos DarkNet53 magistraalvõrgu, tunnuspüramiidvõrgu ja lahutatud tuvastuspeaga |
| Ligikaudne parameetrite arv | Ligikaudu 54 miljonit |
| Sisendmodaalsus | RGB-dokumendipildid |
| Dokumenteeritud pildi suurus | 1024 × 1024 pikslit |
| Tuvastatavad komponendid | Lahtrid, ühendatud lahtrid, read ja veerud |
| Väljund | Piirdekastid, klassisildid ja usaldusskoorid JSON-iga ühilduvas struktuuris |
| Käitus ja juurutus | TensorRT, Linux ja toetatud NVIDIA GPU-arhitektuurid |
RGB-pildi sisend võib kujutada PDF-lehest renderdatud lehekülge, skannitud dokumenti, esitluse slaidi või muud tabelit sisaldavat visuaalset allikat. Esitatud spetsifikatsioonides ei määratleta teksti kontekstiakent, väljundi maksimaalset märgendipiirangut, helisisendit, videosisendit ega keelemudelile omast konteksti pikkust. Need mõisted ei kirjelda otseselt selle mudeli põhitoimingut.
Kuidas see toetab tabelite ekstraheerimist
Tüüpiline töövoog algab PDF-lehe, skanni või slaidi pildiks teisendamisest. Seejärel analüüsib Nemotron Table Structure v1 pilti ja tuvastab tabeli geomeetria. Saadud kastide abil saab eristada rea- ja veerupiire ning tuvastada üksikuid lahtreid, sealhulgas lahtreid, mis ulatuvad üle mitme rea või veeru.
OCR-süsteem saab töödelda sama pilti või tuvastatud lahtripiirkondi, et luua tekst. Seejärel võib eraldi orkestreerimis- või järeltöötluskiht seostada iga tuvastatud tekstilõigu õige lahtriga, lahtrid järjestada ning luua struktureeritud esituse, näiteks arvutustabelilaadse tabeli, Markdowni, JSON-i või andmebaasikirje.
See eraldatus on oluline. Mudel annab visuaalse paigutuse teabe, kuid ei kirjuta lahtri sisu iseseisvalt ümber tekstiks. Samuti ei tegele see iseseisvalt tabelipõhistele küsimustele vastamise, andmete valideerimise, semantilise tõlgendamise ega ärireeglite töötlemisega.
Peamised tugevused
- Sihipärane tabeli geomeetria tuvastamine: Mudel on optimeeritud tabeli struktuursete osade asukoha määramiseks, mitte kõigi dokumendimõistmise ülesannete lahendamiseks korraga.
- Ühendatud lahtrite tugi: Ühendatud lahtrite tuvastamine aitab säilitada paigutusi, mis ei järgi lihtsat ühe lahtri ja ühe veeru mustrit.
- Kasulik struktureeritud väljund: Piirdekastid, sildid ja usaldusskoorid on praktilised sisendid järgnevatele OCR-i joondamise ja rekonstrueerimise süsteemidele.
- Lõimitavus NVIDIA tööriistadega: Build.NVIDIA.com, NGC, TensorRT ja NeMo Retriever pakuvad juurutusvõimalusi NVIDIA taristut kasutavatele meeskondadele.
- Sobivus otsingutöövoogudesse: Tabelistruktuuri säilitamine võib parandada indekseerimise ja otsingu kvaliteeti, kui oluline teave on paigutatud ruumiliselt, mitte tavaliste lõikudena.
Need tugevused on eriti olulised siis, kui eesmärk ei ole üksnes teksti leidmine, vaid ka päiste, ridade, veergude ja väärtuste vaheliste seoste säilitamine.
Piirangud ja kasutuspiirid
Nemotron Table Structure v1 ei ole OCR-mootor. See tuvastab tabelielementide asukohad, kuid rakendused vajavad nende elementide sees oleva teksti lugemiseks endiselt eraldi meetodit. Samuti ei ole see üldotstarbeline visiooni-keele mudel: esitatud spetsifikatsioonid ei kirjelda dokumendipõhistele küsimustele vastamist, piiramatut visuaalset arutlemist, piltide genereerimist ega loomulikus keeles vastuste loomist.
Tuvastustest kasutatava tabeli loomiseks on tavaliselt vaja täiendavat järeltöötlust. Rakendus võib näiteks vajada kattuvate kastide lahendamist, lahtrite ruumilist järjestamist, tuvastatud ridade ja veergude vaheliste seoste tuletamist, OCR-teksti seostamist õige piirkonnaga ning ebaselgete usaldusskooride käsitlemist.
Jõudlus võib varieeruda sõltuvalt pildikvaliteedist, ebatavalisest paigutusest, kaldenurgast, käsitsi kirjutatud tekstist, keerukatest ühendatud lahtritest ja tabelitest, mis erinevad treeningandmetest märgatavalt. Esitatud uurimismaterjalid ei sisalda võrdlustesti tulemust ega universaalset täpsusgarantiid, mistõttu peaksid tootmiskasutusse viivad meeskonnad enne mudelile automaatsel ekstraheerimisel tuginemist hindama esinduslikke dokumente.
Mudelil on ka taristupiirangud. NVIDIA dokumenteerib Linuxi ja TensorRT toe ning ühilduvuse Ampere'i, Hopperi ja Lovelace'i GPU-dega. Organisatsioonidel, kellel puudub sobiv NVIDIA riistvara või juurutuskogemus, võib majutatud teenust või muud dokumenditöötlusplatvormi olla lihtsam kasutada.
Hind ja juurdepääs
Esitatud uurimismaterjalides ei ole sisendi- ega väljundhinda määratletud. Mudelit kirjeldatakse NVIDIA Build.NVIDIA.com-i kataloogi kaudu ja allalaaditava mudelina kättesaadavana, kusjuures majutatud ja isemajutatavad NIM-i juurutusvõimalused on eraldi. Seetõttu ei tohiks olemasoleva teabe põhjal tuletada kindlat pildi-, lehe-, tellimuse- ega taristupõhist hinda.
Litsentsi kirjeldatakse nii, et see lubab ärilist ja mitteärilist kasutamist NVIDIA kohaldatavate mudelilitsentsi tingimuste alusel. Enne mudeli kasutamist tootmissüsteemis peaksid meeskonnad tutvuma kehtiva litsentsi ja valitud majutatud, allalaaditava või isemajutatava juurutusviisiga seotud tingimustega.
Võimalused, mis ei kohaldu või mille kohta dokumenteeritud teave puudub
Seda mudelit ei tohiks hinnata vestluskeelemudeli kriteeriumide järgi. Esitatud mudelikirje põhjal ei loo see otsest teksti-, pildi-, video-, heli-, muusika-, kõne- ega embedding-väljundit. Selle peamine väljund on struktureeritud tuvastusandmed. Esitatud uurimismaterjalid ei kinnita ka tööriista- ega funktsioonikutseid, voogedastust, peenhäälestust, vahemällu salvestamist, pakk-API-sid, veebiotsingut ega eraldi JSON-režiimi. JSON-iga ühilduvat tuvastusstruktuuri ei tohiks segi ajada üldise keelemudeli JSON-väljundi funktsiooniga.
Ka arutlemine ja programmeerimine ei ole selle mudeli eesmärk. See võib olla ühe komponendina osa arutlemis- või programmeerimisrakendusest, kuid mudel ise on mõeldud visuaalse tabelistruktuuri tuvastamiseks. Tõlgendamiseks, koodi genereerimiseks või loomulikus keeles vastuste andmiseks oleks vaja keelemudelit, OCR-süsteemi või rakenduskihti.
Millal seda mudelit valida
Vali Nemotron Table Structure v1 siis, kui keskne probleem on tabelistruktuuri leidmine dokumendipiltidel ja vajad järgnevasse töövoogu masinloetavaid tuvastustulemusi. See sobib hästi järgmisteks ülesanneteks:
- Tabelite ekstraheerimine skannitud dokumentidest või PDF-ist renderdatud lehtedelt
- OCR-teksti joondamine õigete lahtritega
- Ridade, veergude ja ühendatud lahtrite vaheliste seoste säilitamine
- Tabelite ettevalmistamine Markdowni, JSON-i, arvutustabeli või andmebaasi teisendamiseks
- Dokumentide sisestamise ja otsingu-liitgenereerimise töövoogude täiustamine
- Dokumenditöötlusteenuste loomine toetatud NVIDIA GPU-taristul
Selle sihipärane ülesehitus võib olla eelistatav üldotstarbelisele visiooni-keele mudelile siis, kui vajalik väljund on prognoositav tabeli geomeetria ning rakenduses on OCR- ja järeltöötluskomponendid juba olemas.
Millal võib muu lahendus olla sobivam
Kasuta selle asemel OCR-ile keskenduvat süsteemi, kui peamine nõue on täpne transkriptsioon ja tabeli paigutus on teisejärguline. Vali laiem dokumendimõistmise või visiooni-keele süsteem siis, kui rakendus peab vastama lehekülge puudutavatele küsimustele, sisu kokku võtma, graafikuid tõlgendama või ühendama visuaalse tõendusmaterjali loomulikus keeles arutlemisega. Üldotstarbeline keelemudel sobib paremini selgituste koostamiseks, teisenduskoodi kirjutamiseks või kasutajatele vastamiseks pärast tabeli ekstraheerimist.
Muu juurutusvõimalus võib olla eelistatav ka juhul, kui töökoormus ei saa kasutada Linuxit, TensorRT-d või ühilduvaid NVIDIA GPU-sid. Samuti peaksid organisatsioonid, kes vajavad selgelt avaldatud kasutushinda, üle kontrollima NVIDIA majutatud või ise hallatava lahenduse kehtivad ärilised tingimused või võrdlema teenuseid, mis avaldavad lehe- või päringupõhise hinna.
Kokkuvõte
NVIDIA Nemotron Table Structure v1 on kitsalt suunatud dokumendipõhise tehisintellekti ehitusplokk. Selle väärtus seisneb RGB-dokumendipiltidel olevate lahtrite, ridade, veergude ja ühendatud lahtrite geomeetria tuvastamises ning selle teabe struktureeritud kujul esitamises, et teised süsteemid saaksid seda kasutada. See ei asenda OCR-i ega täielikku tabelimõistmise töövoogu, kuid võib pakkuda paigutuse alust, mida on vaja tabelite rekonstrueerimiseks ning nende sisu ekstraheerimise ja otsingu jaoks kasulikumaks muutmiseks.