NVIDIA Nemotron Parse 2.0

Mis on NVIDIA Nemotron Parse 2.0?

NVIDIA Nemotron Parse 2.0 on avatud kaaludega nägemis-keelemudel dokumentide mõistmiseks ja analüüsimiseks. Nägemis-keelemudel võtab vastu visuaalset sisendit ning kasutab õpitud keele- ja dokumendiesitusi, et kirjeldada nähtut või muuta see struktureeritud kujule. Selle mudeli eesmärk ei ole vastata pildi kohta esitatud üldistele küsimustele, vaid teisendada dokumendileht korrastatud tekstiks ja küljendusteabeks.

Mudel on loodud skannitud dokumentide, renderdatud PDF-failide, vormide, esitluste, tabelite, diagrammide ja segasisuga lehekülgede jaoks. Lisaks väljavõetud tekstile suudab see tuvastada semantilisi elemente, näiteks pealkirju, lõike, pildiallkirju, tabeleid, diagramme, lehe päiseid, jaluseid, joonealuseid märkusi, pilte ja bibliograafiakirjeid. Samuti tagastab see ruumilisi märkusi, sealhulgas piirdekaste, et järgnev tarkvara saaks siduda iga väljavõetud elemendi selle asukohaga originaallehel.

NVIDIA nimetab Nemotron Parse 2.0 praeguseks Parse'i mudeliks ning varasemaks versiooniks NVIDIA Nemotron Parse v1.2. Mudel on saadaval NVIDIA ressursside kaudu, sealhulgas ametlikus mudelikataloogis ja NVIDIA Hugging Face'i organisatsioonis.

Millise probleemi see lahendab?

Tavapärane OCR suudab pikslid tekstiks muuta, kuid lihtne OCR-väljund kaotab sageli dokumendi kasulikkuse seisukohalt olulised seosed. Tabel võib muutuda omavahel sidumata sõnade jadaks, diagrammi võidakse käsitleda tavalise pildina ning päised või jalused võivad seguneda põhitekstiga. Nemotron Parse 2.0 eesmärk on säilitada suurem osa dokumendi sellisest struktuurist.

Tüüpiline töövoog algab dokumendilehe RGB-pildist. Mudel analüüsib lehte, eraldab loetava teksti, liigitab nähtavad elemendid ning esitab küljendusmärkused ja lugemisjärjekorra teabe. Seejärel saab rakendus kasutada tulemust otsitava indeksi loomiseks, väljavõttesüsteemi täitmiseks, sisu ettevalmistamiseks otsinguga täiendatud genereerimise jaoks või ebakindlate väljade suunamiseks inimkontrolli.

Seetõttu on mudel eriti asjakohane olukordades, kus sisu asukoht ja tüüp on olulised. Näiteks võib dokumenditöötlussüsteemil olla vaja eristada tabelit selle kohal olevast lõigust, säilitada diagramm eraldi objektina või vältida lehe jaluse käsitlemist põhivastuse osana.

Peamised võimalused

• Dokumendi OCR: eraldab teksti skannitud või renderdatud dokumendipiltidelt.
• Semantiline liigitamine: tuvastab dokumendi komponendid, näiteks lõigud, pealkirjad, tabelid, diagrammid, pildiallkirjad, päised, jalused, joonealused märkused, pildid ja bibliograafiakirjed.
• Ruumiline sidumine: seostab tuvastatud elemendid lähtelehel olevate piirdekastidega.
• Lugemisjärjekord: esitab loomuliku järjekorra, milles lehe elemente tuleks lugeda.
• Tabelite ja diagrammide käsitlemine: toetab dokumente, kus tabel- ja diagrammipõhine teave on lehe keskne osa.
• Mitmekeelne analüüs: mudeli kohta esitatud uuringu järgi hõlmab see laiendatud tuge CJK- ja india skriptidele.
• Käsikirja väljavõte: NVIDIA rõhutab võrreldes varasema Parse'i versiooniga täiustatud käsitsi kirjutatud teksti eraldamist.

Need võimalused muudavad Parse 2.0 millekski enamaks kui pelgaks tekstituvastuskomponendiks. Seda on täpsem käsitleda struktureeritud dokumendianalüsaatorina, mis kasutab visuaalset konteksti leitud teksti korrastamiseks.

Sisendi ja väljundi modaalsused

Peamine sisend on RGB-dokumendipilt. See võib kujutada skannitud lehte, renderdatud PDF-lehte, vormi, esitluse slaidi või muud dokumendipilti. Mudel liigitatakse multimodaalseks, sest see võtab vastu visuaalset sisendit ja koostab selle visuaalse sisu põhjal teksti.

Selle väljund on vormindatud sisu ja ruumilisi märkusi sisaldav tekst. Mudel ei genereeri pilte, heli ega videot. Seetõttu ei tohiks seda hinnata meedia genereerimise süsteemi ega üldotstarbelise vestlusabilisena.

Kuigi selle väljund on struktureeritud ja võib sisaldada prognoositavaid dokumendivälju, ei kinnita esitatud uuring eraldi üldotstarbelise JSON-skeemi ega JSON-režiimi võimalust. Rangete skeemide nõudega rakendused peaksid mudeli väljundit oma töötluskihis valideerima ja teisendama, mitte eeldama, et struktureeritud dokumendiväljund on samaväärne teenusepakkuja garanteeritud JSON-režiimiga.

Mis muutus võrreldes varasema Parse'i versiooniga?

Võrreldes mudeliga NVIDIA Nemotron Parse v1.2 sisaldab versioon 2.0 ligikaudu 20 000 märgi võrra suuremat sõnavara, mille eesmärk on parandada mitmekeelset tuge. NVIDIA kirjeldab ka diagrammiteadlikku dokumendianalüüsi klassi ning uuendatud treeningandmeid diagrammi- ja tabelirohkete dokumentide jaoks.

Esitatud uuringus nimetatakse uuema versiooni muudatustena ka täiustatud käsikirjalise teksti eraldamist ja tabelistruktuuri taastamist. Need täiustused on olulised dokumendikogumite puhul, mis sisaldavad enamat kui puhtaid digitaalselt loodud lõike. Siiski tuleks neid käsitleda teenusepakkuja või mudelikaardi väidetena, mitte täpsuse garantiina iga käsikirja stiili, skannimiskvaliteedi, diagrammivormingu või tabelipaigutuse puhul.

Tehnilised piirangud ja kättesaamatud spetsifikatsioonid

Mitut tavapärast keelemudeli spetsifikatsiooni ei ole Nemotron Parse 2.0 puhul kinnitatud. Esitatud uuring ei anna kontekstiakna pikkust, väljundi maksimaalset märgilimiiti, mudelipõhist märgihinda ega eraldi majutatud teenuse limiiti. Neid väärtusi ei tohiks tuletada mudeli sõnavara laiendusest ega konkreetse järeldusserveri piirangutest.

Juurutamise piirangud sõltuvad ka valitud järeldustehnoloogiast, riistvarast, pildi eraldusvõimest, pakktöötluse seadistusest ja teenuse lõpp-punktist. Need töökorralduslikud piirangud erinevad mudeli olemuslikest võimalustest ning neid tuleks mõõta keskkonnas, kus mudel tööle hakkab.

Arutlus, programmeerimine ja tööriistade tugi

Nemotron Parse 2.0 on optimeeritud visuaalsete dokumentide analüüsimiseks, mitte avatud lõpuga arutluseks. See suudab tõlgendada seoseid lehe elementide, lugemisjärjekorra, tabelite ja diagrammide vahel, kuid seda ei tohiks segi ajada üldise arutlusmudeliga, mis on mõeldud keerukaks planeerimiseks või laiaulatuslikele teadmisküsimustele vastamiseks.

Selle peamine väljund on väljavõetud ja korrastatud dokumendisisu, mitte tarkvarakood. Seetõttu hindab esitatud uuring programmeerimiskasutust madalaks ega määratle seda programmeerimismudelina. Samuti ei ole siin dokumenteeritud sisseehitatud funktsioonikutseid, veebisirvimist, väliseid tööriistu ega agenditoiminguid. Suurem töövoog võib paigutada mudeli ümber tööriistu, näiteks indekseerija, andmebaasi, valideerija või inimkontrolli järjekorra, kuid need on rakendustaseme integratsioonid, mitte kinnitatud mudeli natiivsed võimalused.

Juurutamine ja litsentsimine

Mudel on NVIDIA avaldatud avatud kaaludega mudelina saadaval NVIDIA ressursside ja NVIDIA Hugging Face'i organisatsiooni kaudu. Esitatud uuringus nimetatakse ühilduvate juurutusviisidena Transformersit, vLLM-i, SGLang-i ja konteineripõhiseid NVIDIA NIM-i töövooge. Täpne seadistus, jõudlus, riistvaranõuded ja tootetugi sõltuvad rakendusest.

Hugging Face'i mudelikaardil on mudeli ja konfiguratsioonifailide litsentsiks märgitud OpenMDW License Agreement, versioon 1.1. Kaasasoleva tokeniseerija litsentsiks on märgitud CC-BY-4.0. Meeskonnad peaksid enne mudeli kasutamist kommertstootes, kaalude edasilevitamist või teiste komponentidega ühendamist tutvuma kohaldatavate litsentsidokumentidega.

Majutatud NVIDIA Buildi lõpp-punkt kasutab identifikaatorit nvidia/nemotron-parse, avatud kaaludega hoidla aga identifikaatorit nvidia/NVIDIA-Nemotron-Parse-2.0. Need identifikaatorid viitavad juurdepääsu ja pakendamise tavadele; ilma asjakohast dokumentatsiooni kontrollimata ei tohiks eeldada, et need tähistavad erinevaid põhimudeleid.

Tugevused ja kompromissid

Mudeli peamine tugevus on spetsialiseerumine. Üldine nägemis-keelemudel võib küll lehte kirjeldada, kuid Nemotron Parse 2.0 on spetsiaalselt loodud dokumendikeskse struktuuri loomiseks: semantilised klassid, piirdekastid, lugemisjärjekord, tabelid, diagrammid ja vormindatud tekst. See spetsialiseerumine võib vähendada dokumenditöövoos vajamineva küljenduse taastamise mahtu.

Avatud kaaludega kättesaadavus on veel üks praktiline eelis meeskondadele, kes vajavad suuremat kontrolli juurutamise, andmekäitluse või enda järeldustaristu üle. Mudelit saab kaaluda kohalikuks või hallatud juurutamiseks, mitte ainult ühe tarbijatele mõeldud vestlusliidesega kasutamiseks.

Kompromiss on ulatus. See ei ole üldine assistent, ainult tekstiga töötav keelemudel, teksteisendusmudel ega sisu genereerimise süsteem. Samuti võib olla vaja seda hoolikalt valideerida madala kvaliteediga skannide, ebatavaliste küljenduste, käsikirja ja spetsiaalsete tabelite puhul. Avatud kaalud ei kaota vajadust sobiva riistvara, piltide eeltöötluse, väljundi valideerimise, seire ega litsentside ülevaatamise järele.

Parimad kasutusjuhtumid

• Teksti ja küljenduse eraldamine skannitud dokumentidest ja renderdatud PDF-failidest.
• Otsitavate dokumendiindeksite loomine, säilitades pealkirjad, tabelid, pildiallkirjad ja leheasukohad.
• Dokumentide ettevalmistamine otsinguga täiendatud genereerimiseks, vähendades segiajamist põhiteksti, joonealuste märkuste, päiste ja tabelite vahel.
• Tabeli- ja diagrammiteabe taastamine aruannetest, esitlustest ja äridokumentidest.
• Treeningu- või hindamisandmete loomine dokumendianalüüsi süsteemide jaoks.
• Inimese osalusel toimuva väljavõtte toetamine, kus ebakindlad väljad või lehed suunatakse ülevaatamiseks.
• Mitmekeelsete kogumite analüüsimine, kui need sisaldavad CJK- või india skripte.

Millal valida Nemotron Parse 2.0?

Vali Nemotron Parse 2.0 siis, kui keskne probleem on visuaalselt keerukate dokumentide teisendamine struktureeritud tekstiks ja küljenduse metaandmeteks. See on eriti loogiline valik juhul, kui tabelid, diagrammid, lugemisjärjekord, piirdekastid, mitmekeelsed lehed või käsikiri on olulisemad kui vestluse sujuvus.

Üldotstarbeline nägemis-keelemudel võib olla sobivam, kui rakendus vajab avatud lõpuga küsimusi piltide kohta, laiaulatuslikku arutlust, visuaalseid selgitusi või interaktiivset vestlust. Tavapärane OCR-mootor võib olla eelistatav kitsalt määratletud ja suure mahuga tekstituvastusülesandes, kui semantiline küljendus ja diagrammiteadlikkus pole vajalikud. Spetsiaalne teksteisendusmudel on sobivam komponent siis, kui vahetu vajadus on vektorotsing, mitte dokumentide analüüsimine.

Enne tootmises kasutuselevõttu tuleks Nemotron Parse 2.0 katsetada tüüpiliste lehtedega. Võrdle eraldamise kvaliteeti puhaste ja keerukate skannide, mitmeveeruliste küljenduste, tabelite, diagrammide, käsikirjalise sisu ning sihtkogumis kasutatavate keelte puhul. Kuna siin ei ole esitatud kinnitatud avalikku mudelipõhist hinnastust ega universaalseid konteksti- ja väljundipiiranguid, tuleks kulu ja läbilaskevõimet mõõta kavandatud juurutusviisi kasutades, mitte hinnata üldise NVIDIA või keelemudelite hinnastuse põhjal.

Kokkuvõte

NVIDIA Nemotron Parse 2.0 on spetsialiseerunud dokumendianalüüsi mudel. Selle väärtus seisneb OCR-i ühendamises lehestruktuuri, semantiliste siltide, ruumilise sidumise, lugemisjärjekorra, tabelikäsitluse, diagrammiteadlikkuse ja mitmekeelsete täiustustega. See on tugev kandidaat dokumentide sisestamise ja analüüsi töövoogudesse, kuid seda ei tohiks käsitleda üldise vestlusroboti, programmeerimismudeli, meediageneraatori ega automaatselt skeemiga ühilduva API-na. Õige hindamisküsimus on, kas see säilitab alljärgnevas dokumenditöövoos vajaliku struktuuri ja tähenduse.