Mis on Llama Nemotron Rerank VL 1B v2?
Llama Nemotron Rerank VL 1B v2 on NVIDIA pakutav multimodaalne ristkodeerija-pingerida. Pingerida ei otsi tavaliselt kogu dokumendikogust iseseisvalt. Selle asemel kasutab esimese etapi otsingusüsteem manuseid, märksõnaotsingut või hübriidmeetodit, et koostada väiksem kandidaatdokumentide loend. Seejärel töötleb pingerida päringut ja iga kandidaati koos, hindab nende asjakohasust ning aitab kõige kasulikumad kandidaadid loendi algusesse paigutada.
Mudel on eelkõige mõeldud visuaalsete dokumentide põhjal küsimustele vastamiseks vajalike materjalide otsimiseks. Kandidaat võib olla tavaline tekstilõik, dokumendilehe või slaidi kujutis või kombineeritud esitus, mis sisaldab nii pilti kui ka eraldatud teksti. See võimaldab järjestamisel kasutada tabelites, diagrammides, lehepaigutuses, ekraanipiltidel ja infograafikutel sisalduvat teavet, mitte tugineda ainult eraldatud tekstile.
NVIDIA avaldas mudeli 18. detsembril 2025. See on allalaaditava mudelina saadaval Hugging Face’i kaudu ning NVIDIA NeMo Retriever Reranking NIM-i ja otsingu API pakkumiste kaudu. Need on sama üldise mudelirolli kasutuselevõtu viisid, mitte tõend selle kohta, et tegemist on üldotstarbelise vestlusmudeliga.
Kuidas see sobitub otsingusüsteemiga?
Praktiline otsinguga täiendatud genereerimise ehk RAG-i töövoog võib kasutada Llama Nemotron Rerank VL 1B v2 mudelit kolmes etapis:
- Kandidaatide leidmine: Manustemudel, märksõnamootor või hübriidotsingusüsteem leiab hallatava hulga potentsiaalselt asjakohaseid tekstilõike või dokumendilehti.
- Kandidaatide ümberjärjestamine: Päring ja iga kandidaat edastatakse mudelile Llama Nemotron Rerank VL 1B v2. Mudel tagastab asjakohasuse- või logiti-skoori, mille abil saab kandidaadid uude järjekorda seada.
- Vastuse genereerimine: Eraldi keelemudel saab kõige kõrgemalt hinnatud tõendid ja koostab vajaduse korral lõpliku vastuse.
Selline tööjaotus on oluline. Mudel parandab tõendite valikut, kuid ei genereeri lõplikku vastust, loo esialgse otsingu jaoks manuseid ega asenda otsingurakenduse ülejäänud osi. Ristkodeerija rakendamine suure korpuse igale dokumendile oleks samuti ebatõhus, sest iga päringu ja dokumendi paari tuleb hinnata eraldi. Enamikus süsteemides tuleks seda kasutada ainult esimese otsinguetapi tulemusel saadud tipmise kandidaatide hulga puhul.
Sisendid, väljundid ja arhitektuur
Sisendpäring on tekst. Dokumendikandidaat võib olla tekst, pilt või pildi ja teksti kombinatsioon. Pildisisendid võivad kujutada dokumendilehti, slaide, ekraanipilte, tabeleid, diagramme ja muud visuaalset sisu. Väljund on järjestamiseks kasutatav asjakohasuse- või logiti-skoor; see ei ole genereeritud proosa, pilt, heli ega video.
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Mudeli tüüp | Multimodaalne ristkodeerija-pingerida |
| Pakkuja | NVIDIA |
| Tekstipäring | Toetatud |
| Tekstikandidaat | Toetatud |
| Pildikandidaat | Toetatud |
| Pildi ja teksti kandidaat | Toetatud |
| Peamine väljund | Asjakohasuse- või logiti-skoor |
| Maksimaalne jadapikkus | 8192 tokenit NVIDIA NIM-i tugimaatriksi järgi |
| Genereeritud vastuse väljund | Ei ole toetatud; vaja on eraldi genereerivat mudelit |
NVIDIA kirjeldab arhitektuuri kui Eagle’i perekonda kuuluvat visuaal-keelesüsteemi, mis ühendab SigLIP 2 400M nägemiskodeerija ja Llama Nemotron Rerank 1B v2 keelekomponendi. Mudelil on ligikaudu 1,7 miljardit parameetrit, see kasutab dekoodri väljunditel keskmist koondamist ning sisaldab järjestamise jaoks peenhäälestatud binaarset klassifitseerimispead. Need arhitektuurilised üksikasjad selgitavad, miks mudel suudab võrrelda tekstipäringuid visuaalselt esitatud dokumentidega, kuid ei muuda seda üldotstarbeliseks multimodaalseks assistendiks.
Teatatud otsingukvaliteet
NVIDIA teatab hindamistulemustest visuaalsete dokumentide otsingu andmekogumitel, mille hulka kuuluvad ViDoRe V1, ViDoRe V2, ViDoRe V3, DigitalCorpora-10k ja Earnings V2. Teatatud viie andmekogumi hindamises suurendas pingerida visuaalse manustepõhise baastasemega võrreldes keskmist Recall@5 näitajat tekstisisendite puhul 71,04%-lt 76,12%-ni, pildisisendite puhul 71,20%-lt 76,12%-ni ning kombineeritud pildi- ja tekstisisendite puhul 73,24%-lt 77,64%-ni.
Need on pakkuja teatatud võrdlustulemused, mitte garantii iga korpuse või rakenduse puhul. Tegelikud tulemused võivad erineda sõltuvalt pildikvaliteedist, OCR-i täpsusest, dokumendi vormindusest, kandidaatide leidmise kvaliteedist, päringu laadist ja pingeridale edastatavate kandidaatide arvust. NVIDIA teatab konkurentsivõimelistest tulemustest ka tekstipõhise otsingu võrdlustestides, mis hõlmavad BEIR-i, MIRACL-i, MLQA-d ja MLDR-i. See viitab, et mudelit saab kasutada segakogudes, mis sisaldavad nii tavalisi tekstilõike kui ka visuaalselt rikastatud dokumente.
Peamised tugevused ja kompromissid
Mudeli kõige selgem tugevus on võime järjestada visuaalseid tõendeid koos tavalise tekstiga. Ainult teksti kasutav pingerida võib kahe silma vahele jätta teabe, mis sisaldub peamiselt diagrammil, tabelis, skeemil või lehepaigutuses. Llama Nemotron Rerank VL 1B v2 eesmärk on säilitada juurdepääs sellele teabele, kui otsingusüsteem esitab dokumente piltidena või pildi-teksti paaridena.
Selle suhteliselt väike mudelimaht võrreldes suurte genereerivate visuaal-keelemudelitega võib muuta selle järjestamistööde jaoks praktiliseks ja keskendunud valikuks. See täidab kitsamat ülesannet ning tagastab skoori, kulutamata arvutusressurssi avatud vastuse koostamisele. Selline spetsialiseerumine võib olla kasulik, kui rakendusel on juba eraldi genereeriv mudel ja vaja on tõendite paremat järjestamist.
Kompromiss seisneb selles, et tegemist on endiselt ristkodeerijaga. Paljude kandidaatide järjestamine nõuab palju päringu ja dokumendi hindamisi, mistõttu latentsus ja arvutusressursi kasutus kasvavad kandidaatide hulga suurenedes. Tüüpilises lahenduses tuleks korpus esmalt kiire manuste- või hübriidotsingu abil väiksemaks muuta. Ainult teksti kasutav pingerida võib jääda sobivamaks juhul, kui kogus ei ole tähenduslikku visuaalset teavet ning madal latentsus on piltide mõistmisest olulisem.
Kasutuselevõtt ja saadavus
NVIDIA dokumenteerib mudeli kasutamiseks mitu võimalust. Selle saab Transformers’i või Sentence Transformersi abil laadida NVIDIA Hugging Face’i repositooriumist; dokumenteeritud kasutus võib nõuda usaldusväärse kaugkoodi lubamist. NVIDIA pakub ka NeMo Retriever Reranking NIM-i ning hostitud või konteineripõhise järeldamise jaoks otsingu API võimalust. NIM-i tugimaatriksis on maksimaalseks jadapikkuseks märgitud 8192 tokenit.
Allalaaditav lahendus pakub taristu ja andmekäitluse üle suuremat kontrolli, kuid kasutaja peab tagama sobiva järeldamisriistvara, tarkvarakonfiguratsiooni ja skaleerimise. NIM või API võib kasutuselevõttu lihtsustada, kuid saadavus, käitamisnõuded ja võimalikud teenustasud sõltuvad valitud NVIDIA pakkumisest. Esitatud uuringus ei õnnestunud selle konkreetse mudeli hostitud kasutuse avalikku tokenipõhist hinda kontrollida, seega ei tohiks eeldada kindlat API-hinda.
Mudel on NVIDIA Open Model License Agreementi alusel märgitud äriliseks kasutuseks sobivaks ning sellele kehtivad täiendavad Llama 3.2 litsentsitingimused. Organisatsioonid peaksid enne tootmiskasutusse juurutamist tutvuma kehtivate litsentsidokumentidega ning valitud hostitud või konteineripõhise teenuse tingimustega.
Arutlemine, programmeerimine ja tööriistade tugi
Llama Nemotron Rerank VL 1B v2 täidab asjakohasuse klassifitseerimise, mitte nähtava mitmeastmelise arutlemise ülesannet. See võib teha teadlikuma järjestamisotsuse, võrreldes päringut teksti ja visuaalsete tõenditega, kuid ei esita mõttekäiku ega toimi autonoomse arutleva agendina. Selle roll on tõendite valimine.
Sellel mudelil ei ole kontrollitud sisseehitatud tööriista- ega funktsioonikutsete võimalust. See ei sirvi veebi, käivita koodi, kutsu väliseid teenuseid ega soorita toiminguid. Ka programmeerimine ei ole selle peamine võimekus. Dokumendikandidaat võib sisaldada koodi ja mudel saab hinnata selle asjakohasust nagu muu teksti või visuaalse sisu puhul, kuid mudel ei ole mõeldud tarkvara kirjutamiseks, silumiseks ega selgitamiseks.
Samuti ei väljasta mudel struktureeritud rakendusvastuseid, manuseid, kõnet, pilte, videot ega heli. Selle kasulik väljund on järjestamisskoor, mida saab kasutada mõni teine süsteem.
Parimad kasutusjuhud
- Visuaalsete dokumentide otsing: PDF-ide, esitluste, aruannete ja skannitud dokumentide lehtede järjestamine, kui tabelid, diagrammid või paigutus sisaldavad olulisi tõendeid.
- Multimodaalne RAG: Tugevamate tõendite valimine enne seda, kui eraldi keelemudel vastuse koostab.
- Küsimustele vastamine slaidide ja aruannete põhjal: Loomulikus keeles esitatud küsimuste sobitamine lehtedega, mis sisaldavad asjakohast visuaalset või tekstilist teavet.
- Teksti ja pildi segakogud: Ühe järjestamisetapi rakendamine tavalistele tekstilõikudele, lehepiltidele ja pildi-teksti esitustele.
- Ettevõtete otsing: Piiratud kandidaatide hulga järjestuse parandamine pärast esialgset manuste- või hübriidotsingu etappi.
Millal seda mudelit valida?
Vali Llama Nemotron Rerank VL 1B v2 siis, kui otsingu kvaliteet sõltub visuaalsete dokumentide sisust ja sinu rakendus toetab kaheetapilist otsingutöövoogu. See sobib eriti hästi juhul, kui küsimusele võib vastata diagramm, tabel, skannitud leht või slaidi paigutus, mida ainult tekstil põhinev indeks ei esita täielikult.
Vali ainult teksti kasutav pingerida siis, kui kogu asjakohane sisu on juba puhtalt tekstina esitatud ning visuaalne lisatöötlus tulemusi ei parandaks. Vali manustemudel siis, kui vahetu vajadus on esimese etapi sarnasuspõhine otsing, mitte paarikaupa ümberjärjestamine. Vali genereeriv visuaal-keelemudel siis, kui süsteem peab tõendeid tõlgendama ja loomulikus keeles vastuse koostama ühe kasutuskorra jooksul. Sellises lahenduses võib Llama Nemotron Rerank VL 1B v2 olla siiski kasulik eelnevas etapis paremate tõendite valimiseks.
Piirangud ja praktiline kontrollnimekiri
Mudel ei paku täielikku küsimustele vastamise rakendust. See vajab päringut, kandidaatdokumente, otsingustrateegiat ja tavaliselt eraldi vastuse genereerimise komponenti. Samuti ei kaota see tootmisvoos vajadust OCR-i, dokumentide renderdamise, juurdepääsukontrolli ega kvaliteedikontrolli järele. Kehvad lehepildid, puudulik teksti eraldamine või nõrk esimese etapi otsing võivad pingerida kasulikkust piirata.
Enne mudeli kasutuselevõttu kontrolli valitud Transformers’i, NIM-i või API-integratsiooni nõutavat sisendivormingut; veendu, kuidas pildi- ja eraldatud tekstiga kandidaate esitatakse; testi latentsust kavandatud kandidaatide arvuga ning võrdle pikimaid sisendeid NIM-i 8192-tokenise piiranguga. Samuti hinda mudelit organisatsiooni enda dokumentidel, mitte ainult NVIDIA teatatud võrdlustulemuste põhjal. Mudel on kõige väärtuslikum siis, kui visuaalne mõistmine muudab seda, millised kandidaadid peaksid loendi algusesse jõudma, mitte siis, kui ülesanne on lihtne tekstotsing või vastuse genereerimine.