nemotron-graphic-elements-v1

Mida NVIDIA Nemotron Graphic Elements v1 teeb

NVIDIA Nemotron Graphic Elements v1 on spetsialiseeritud arvutinägemismudel dokumentidesse manustatud diagrammide ja graafikute graafiliste elementide tuvastamiseks. Selle ülesanne on vastata konkreetsele küsimusele: kus asuvad sellel pildil tähenduslikud diagrammi komponendid ja mis tüüpi on iga komponent?

Näiteks võib mudel ribadiagrammi sisaldavalt RGB-pildilt tuvastada ülaosas oleva diagrammi pealkirja, x- ja y-telje pealkirjad, jaotiste sildid, legendi teksti, andmepunktidega seotud sildid ning arvulised väärtusesildid. Iga tuvastus sisaldab elemendi asukohta kirjeldavat piirdekasti, klassisilti ja usaldusskoori. Seejärel saab tulemused edastada OCR-ile või suuremale dokumendimõistmise töötlusvoole.

See muudab mudeli erinevaks üldotstarbelisest visuaal-keelemudelist. Mudel ei anna diagrammi kohta loomulikus keeles selgitust, ei taasta aluseks olevat andmetabelit ega vasta trendidega seotud küsimustele. Selle peamine väljund on struktureeritud tuvastusandmed, mis aitavad teistel süsteemidel diagrammi usaldusväärsemalt töödelda.

Milline on selle koht NVIDIA tootekataloogis

NVIDIA pakub Nemotron Graphic Elements v1 allalaaditava mudelina oma laiemas NIM-i ja mudelite ökosüsteemis. Mudeli esitatud teabe järgi on tegemist praegu saadaoleva allalaaditava mudeliga, mille väljalaskekuupäev on 2. märts 2026. NVIDIA kirjeldab seda varasemat CACHED-mudelit asendavana.

Seega on selle koht kataloogis kitsam kui üldotstarbelisel keele-, visuaal-keele- või generatiivsel mudelil. Tegemist on dokumendipõhise tehisintellekti ja diagrammitöötluse jaoks mõeldud spetsialiseeritud järelduskomponendiga. NVIDIA pakub ka hostitud prooviversiooni, samal ajal kui allalaaditav juurutus on saadaval NIM-i ja seotud mudelirepositooriumide kaudu. Hostitud kasutuskogemust ja enda hallatavat juurutust tuleks käsitleda eraldi kasutusviisidena, millele võivad kehtida erinevad käitus- ja litsentsitingimused.

Sisendid, väljundid ja tuvastatavad klassid

Mudel võtab vastu kahemõõtmelisi RGB-pilte. Dokumentatsioon toetab nii ühe pildi kui ka pildipaketi töötlemist. Kättesaadav uurimismaterjal ei täpsusta fikseeritud pikslieraldusvõimet, piltide maksimaalseid mõõtmeid, märgikonteksti akent ega väljundi maksimaalset märgipiirangut. Need keelemudelite piirangud ei ole selle objektidetektori puhul otseselt kohaldatavad.

Nemotron Graphic Elements v1 tunneb ära kümme diagrammielementide klassi:

• chart_title
• x_title
• y_title
• xlabel
• ylabel
• other
• legend_label
• legend_title
• mark_label
• value_label

Väljund on struktureeritud tuvastusteave, mis sisaldab iga sisendpildi kohta piirdekaste, silte ja usaldusskoore. Mudel ei väljasta otse teksti, heli, videot ega genereeritud pilte. Kuigi see töötleb visuaalset sisendit, tuleks selle väljundit mõista pigem masinloetavate asukohaandmetena kui multimodaalse vestlusena.

Arhitektuur ja riistvaranõuded

NVIDIA mudeliteabe kohaselt kasutab detektor YOLOX-i arhitektuuri koos DarkNet53 taustvõrgu ja lahtisidestatud peaga funktsioonipüramiidvõrguga. YOLOX on objektituvastuse arhitektuur, mis on mõeldud mitme objekti asukoha ja klassi määramiseks pildil. Funktsioonipüramiid aitab detektoril toime tulla eri suurusega elementidega, näiteks suure diagrammi pealkirja ja väikeste väärtusesiltidega.

NVIDIA andmetel on mudelil ligikaudu 54 miljonit parameetrit. Mudel on optimeeritud TensorRT jaoks ning dokumentatsiooni järgi ühilduv NVIDIA Ampere'i, Hopperi ja Lovelace'i riistvaraga Linuxis. Seda riistvara ja operatsioonisüsteemi ulatust tuleb juurutusmahu hindamisel arvesse võtta: mudelit ei esitleta platvormiülese tarbijarakenduse ega ainult brauseris töötava diagrammiassistendina.

TensorRT optimeerimine on tootmiskeskkonna järelduste tegemisel oluline, sest see on suunatud NVIDIA GPU-de kasutamisele, kuid tegelik läbilaskevõime sõltub valitud GPU-st, pildi mõõtmetest, paketisuurusest, eeltöötlusest ja ülejäänud töötlusvoost. Esitatud uurimismaterjal ei anna universaalset piltide arvu sekundis, mistõttu peaksid juurutusmeeskonnad mõõtma oma töökoormust, mitte käsitlema mudeli kiirust garanteerituna.

Jõudluse ja töökindluse kaalutlused

NVIDIA esitab hindamistulemused PMC Charti andmestikul, kus keskmine täpsus varieerub tuvastatava klassi järgi. Kättesaadav uurimismaterjal näitab, et tulemused on kõige paremad diagrammide ja telgede pealkirjade tuvastamisel, samas kui klassid, sealhulgas mark_label, other, legend_title ja value_label, on keerukamad.

Need on teenusepakkuja esitatud hindamistulemused, mitte garantii iga dokumendikogu kohta. Tulemused võivad muutuda sõltuvalt diagrammi stiilist, pildikvaliteedist, fondi suurusest, paigutuse tihedusest, skannimisjälgedest ja ettevõtte aruannetes kasutatavatest visuaalsetest tavadest. Puhast ja suure eraldusvõimega diagrammi võib olla lihtsam töödelda kui tihendatud ekraanipilti, ebatavalist infograafikut või tihedat pärand-PDF-i.

Mudeli usaldusskoorid võivad toetada filtreerimis- ja ülevaatusreegleid. Näiteks võib dokumenditöötlusvoog suure usaldusskooriga pealkirjatuvastused automaatselt heaks kiita, kuid suunata ebakindlad väärtusesiltide või legendi tuvastused teise töötlusetappi. Selline töövoo kujundus on toimetuslik rakendussoovitus, mitte NVIDIA garanteeritud käitumine.

Praktilised kasutusjuhud

Nemotron Graphic Elements v1 on kõige kasulikum siis, kui diagrammi struktuur tuleb kindlaks teha enne, kui mõni teine süsteem hakkab seda tõlgendama. Sobivad rakendused on järgmised:

• Dokumendist eraldamine: diagrammialade ja nende komponentide siltide leidmine aruannetes, esitlustes ja muudes äridokumentides.
• OCR-i ettevalmistamine: kogu lehe või diagrammi tekstintuvastussüsteemile saatmise asemel sihtotstarbeliste pildialade edastamine OCR-ile.
• Diagrammielementide indekseerimine: tuvastatud alade ja kategooriate salvestamine otsitavate metaandmetena.
• Multimodaalne otsing: otsingutöövoogude täiustamine, tuvastades diagrammi komponendid, mida saab siduda ümbritseva leheteksti või eraldatud siltidega.
• RAG-i täiustamine: diagrammialade ettevalmistamine hilisemaks otsingupõhiseks genereerimiseks.
• Pärandaruannete töötlemine: struktuuri lisamine vanematele visuaalsetele dokumentidele, kus diagrammid on kättesaadavad piltidena, mitte algupäraste andmeobjektidena.

Tüüpilises töövoos renderdatakse PDF-i leht esmalt RGB-pildiks, käivitatakse detektor, kärbitakse tuvastatud alad, rakendatakse asjakohastele siltidele OCR-i ning ühendatakse tulemused seejärel leheteksti ja dokumendi metaandmetega. Siltide, märgiste, telgede ja väärtuste vaheliste seoste tuletamiseks oleks siiski vaja eraldi diagrammimõistmise või andmete rekonstrueerimise komponenti.

Mida mudel ei tee

Mudel ei ole iseseisvalt OCR-mootor. Selle tuvastused näitavad, kus elemendid asuvad, kuid kättesaadav uurimismaterjal ei kinnita, et mudel loeb iga tuvastatud sõna või numbri. Kui töövoog vajab piirdekasti sees olevat tegelikku teksti, on vaja OCR-i või mõnd muud tuvastuskomponenti.

Samuti ei ole see täielik diagrammimõistmise süsteem. Mudel ei taasta iseseisvalt aluseks olevat tabelit, määra kindlaks kõiki andmesarju, selgita trendi, vasta visualiseerimise kohta käivatele küsimustele ega genereeri loomulikus keeles kokkuvõtet. Klass other näitab samuti, et iga nähtav diagrammifunktsioon ei pruugi saada täpsemat kategooriat.

Märgikonteksti piirangut ega väljundi maksimaalset märgipiirangut ei ole dokumenteeritud, sest tegemist on pildidetektori, mitte vestlusliku keelemudeliga. Esitatud teave ei dokumenteeri ka tööriistade kasutamist, funktsioonikutseid, voogedastusega genereerimist, peenhäälestust, vahemällu salvestamist ega üldist JSON-režiimi. Selle struktureeritud tuvastusvastust ei tohiks segi ajada üldotstarbelise keelemudeli JSON-režiimiga.

Hind, litsents ja juurdepääs

Esitatud uurimismaterjalis ei ole Nemotron Graphic Elements v1 kohta määratud päringupõhist ega korduvat hinda. Mudel on saadaval allalaaditava juurutusvõimalusena ning NVIDIA pakub hostitud prooviversiooni, millele võivad kehtida eraldi juurdepääsutingimused või päringumäärad. Kuna kinnitatud hinda ei ole saadaval, tuleks tootmiskeskkonna juurutuse maksumust hinnata valitud NVIDIA hostimis- või taristutee põhjal, mitte tuletada seda keelemudeli API hinnast.

Mudelikaardi kohaselt on mudel äriliseks ja mitteäriliseks kasutamiseks saadaval NVIDIA Open Model License Agreementi alusel. Enne mudeli ärilisse töövoogu lisamist peaksid kasutajad tutvuma kehtiva litsentsiteksti ja hostitud juurdepääsuga seotud tingimustega. Allalaaditav juurutus võib kaasa tuua ka NVIDIA GPU-de, salvestusruumi, seire ja käitustoe taristukulud isegi juhul, kui mudelipõhist kasutustasu ei ole loetletud.

Millal valida Nemotron Graphic Elements v1

Vali see mudel siis, kui peamine vajadus on diagrammi komponentide kiire ja sihipärane asukoha määramine ning sul on kontroll ümbritseva dokumenditöötlusvoo üle või suudad selle üles ehitada. See sobib hästi meeskondadele, kes vajavad struktureeritud tuvastusi, mitte vestluslikku vastust, eriti juhul, kui diagramme tuleb töödelda partiidena ja edastada need OCR-i, indekseerimise, otsingu või RAG-i etappidesse.

Selle spetsialiseeritus võib olla eelis suurema üldotstarbelise visuaal-keelemudeli kasutamise ees iga lehe töötlemisel. Detektor pakub prognoositavat diagrammielementide kategooriate kogumit ja väldib generatiivse mudeli palumist tuletada piirdekaste vabas vormis väljundi kaudu. TensorRT-le suunatud ülesehitus võib sobida ka NVIDIA GPU-dega juurutustele, kus on oluline järelduste tegemise kulu ja läbilaskevõime.

Teine lahendus võib olla sobivam siis, kui soovitud tulemus on diagrammi selgitamine, küsimustele vastamine, OCR, tabeli rekonstrueerimine või loomulikus keeles aruandlus ühe sammuna. Üldine visuaal-keelemudel võib selliste ülesannete jaoks paremini sobida, kuigi selle asukohamäärangud võivad olla vähem spetsialiseeritud või vähem järjepidevalt struktureeritud. Kui eesmärk on täpne teksti ümberkirjutamine, on endiselt vaja tavapärast OCR-süsteemi. Väga ebatavaliste diagrammide, väga madala eraldusvõimega piltide või täielikku semantilist rekonstrueerimist nõudvate töövoogude korral tuleks seda detektorit käsitleda ühe etapina, mitte kogu lahendusena.

Kokkuvõte

NVIDIA Nemotron Graphic Elements v1 on kitsalt fokuseeritud mudel diagrammikomponentide leidmiseks RGB-dokumendipiltidel. Selle kinnitatud tugevused on määratletud kümne klassiga tuvastussõnavara, struktureeritud piirdekastiväljund, YOLOX-il põhinev arhitektuur ning sobivus NVIDIA TensorRT juurutuseks toetatud Linuxi GPU-süsteemides. Selle peamine piirang on sama selge: mudel tuvastab visuaalseid alasid, kuid ei teosta iseseisvalt OCR-i, ei selgita diagramme ega taasta nende andmeid.

Dokumenditöötlusmeeskondadele, kes ehitavad modulaarset diagrammitöötlusvoogu, võib selline kitsas roll olla kasulik. Mudel tagab asukoha määramise etapi, samal ajal kui OCR-, otsingu-, diagrammiparseri ja teksti genereerimise komponendid tegelevad tõlgendamise etappidega. Tootmiskasutajad peaksid valideerima klassipõhise täpsuse oma dokumentidel ning arvestama avaldatud hinnainfo, konteksti piirangute ja universaalsete läbilaskevõime näitajate puudumisega.