Nemotron-3.5-Embed-8B-BF16

Mis on NVIDIA Nemotron 3.5 Embed 8B?

Nemotron-3.5-Embed-8B-BF16 on NVIDIA pakutav 8,38 miljardi parameetriga vektoriseerimismudel. Erinevalt vestluslikust keelemudelist ei kirjuta see vastuseid ega lõpeta viipasid. Selle ülesanne on teisendada päringud ja dokumendid numbrilisteks esitusteks, mida nimetatakse embedding'uteks ehk vektoriteks. Sarnase tähendusega tekstid paigutuvad selles vektorruumis lähestikku, võimaldades otsingusüsteemil leida asjakohast materjali semantilise sarnasuse, mitte täpse märksõnavaste põhjal.

Mudel on loodud spetsiaalselt multimodaalseks dokumendiotsinguks. See suudab esitada tavalist teksti, dokumendipilte või teksti ja pildi kombinatsiooni. See on kasulik siis, kui oluline teave paikneb tabelis, diagrammil, infograafikul, andmelehel, skannitud lehel või tehnilisel skeemil, mida ainult tekstil põhinev ekstraktsiooniprotsess ei pruugi usaldusväärselt hõlmata.

NVIDIA positsioneerib mudelit semantiliseks otsinguks, otsinguga täiendatud genereerimiseks (RAG), agentseks otsinguks, visuaalseks dokumendiotsinguks ja ettevõtete küsimustele vastamise süsteemideks. Kontrollpunkt on saadaval Hugging Face'i kaudu ning NVIDIA pakub juurdepääsu ka NIM-i lõpp-punkti kaudu.

Kuidas mudel dokumente töötleb

Tüüpiline otsingutorustik kasutab mudelit kaks korda. Indekseerimise ajal teisendatakse dokument või dokumendileht vektoriks ja salvestatakse vektorandmebaasi. Kui kasutaja esitab tekstipäringu, teisendatakse ka päring teiseks vektoriks. Seejärel otsib süsteem dokumendivektoreid, mis on päringuvektorile kõige lähemal, ning edastab leitud tõendusmaterjali eraldi generatiivsele mudelile, kui on vaja kirjalikku vastust.

Nemotron-3.5-Embed-8B-BF16 toetab ainult tekstipõhiseid päringuid. Dokumendiesitused võivad sisaldada teksti, RGB-pilti või nii teksti kui ka pilti. See asümmeetriline ülesehitus on oluline: mudel on mõeldud selleks, et kasutaja saaks esitada tekstiküsimuse ja leida visuaalselt rikkalikke dokumente, mitte teha piiranguteta pilt-pildilt- või pilt-päringuotsingut.

Piltide pikim külg on tavaliselt 1 120 pikslit, kuid toetatud on ka pikima külje suurendamine 1 540 pikslini. Piltide eeltöötlus, pakktöötlus, GPU riistvara ja serveerimisraamistik võivad mõjutada nii latentsust kui ka läbilaskevõimet.

Kontrollitud spetsifikatsioonid ja toetatud modaalsused

32 768 tokeni suurune kontekstipiirang kehtib teksti- ja pildisisu kombineeritud esitusele. Seda ei tohiks tõlgendada vastuse maksimaalse pikkusena, sest mudel ei genereeri proosat. Selle väljund on fikseeritud suurusega vektoriseeritud esitus, mille vaikimisi suurus on 4 096 dimensiooni.

Arhitektuur ja mudeli päritolu

Mudel ühendab Ministral-3-8B-Instruct-2512-BF16 põhjal initsialiseeritud nägemis kodeerija ja NVIDIA Nemotron-3-Embed-8B-BF16 põhjal initsialiseeritud keelemudeli komponendi. NVIDIA sõnul jääb keelekomponent külmutatuks, samal ajal kui nägemis kodeerija ja multimodaalne projektor lisavad visuaalse dokumendiotsingu võimekuse.

NVIDIA andmetel tähendab säilitatud tekstikomponent seda, et tekstivektorid on identsed vastava Nemotron 3 Embed mudeli loodud vektoritega. See võib olla kasulik organisatsioonile, kellel on juba tekstipõhine otsinguindeks ja kes soovib laiendada oma süsteemi visuaalsetele dokumentidele, muutmata tekstivektorite käitumist. Väide puudutab mudeli tekstivektorite loomise käitumist; see ei tähenda, et olemasolevad tekstiindeksid sisaldaksid automaatselt piltidel põhinevat tõendusmaterjali.

Peamised tugevused ettevõtete otsingus

• Visuaalsete dokumentide katvus: tabeleid, diagramme, infograafikuid, andmelehti ja skeeme saab esitada kõrvuti tavalise tekstiga.
• Ühine otsinguruum: tekstipäring võib leida nii tekstilõike kui ka pildi- või teksti-pildi-dokumentide esitusi.
• Mitmekeelne ulatus: NVIDIA kirjeldab hindamist 34 keeles tekstiotsingu ja 18 keeles visuaalse otsingu võrdlustestides.
• Suur vaikimisi väljund: 4 096 normaliseeritud dimensiooni pakuvad üksikasjalikku esitust süsteemidele, mis suudavad suuremaid vektoreid toetada.
• Paindlik salvestusruumi ja kvaliteedi kompromiss: vektoreid saab kärpida väiksemate mõõtmeteni, näiteks 1 024 või 512 dimensioonini, tingimusel et need enne sarnasuspõhist otsingut uuesti normaliseeritakse.
• Juurutamisvõimalused: mudelit saab kasutada NVIDIA NIM-i, Hugging Face Transformersi, Sentence Transformersi ja vLLM-i töövoogude kaudu.

Need tugevused muudavad mudeli eriti asjakohaseks siis, kui otsingu kvaliteet sõltub lehe visuaalsest paigutusest või sisust, mitte ainult optilise märgituvastuse või PDF-parserite abil eraldatud tekstist.

Piirangud ja kompromissid

Nemotron-3.5-Embed-8B-BF16 ei ole üldotstarbeline assistent. See ei suuda iseseisvalt leitud diagrammi selgitada, küsimusele loomulikus keeles vastata, tööriistu kasutada ega visuaalsetele küsimustele vastata. Täielik rakendus ühendab selle tavaliselt dokumenditöötluse, vektorandmebaasi ja eraldi generatiivse mudeliga.

Esitatud mudeliteabe kohaselt on päringud ainult tekstipõhised. Pildisisendid on mõeldud dokumendiesituste jaoks, mistõttu peaksid pildipõhiseid päringuid vajavad meeskonnad kontrollima, kas vaja on teistsugust mudelit või täiendavat otsinguetappi. Mudel ei paku ka heli- ega videovõimekust.

Selle 8,38 miljardi parameetriga suurus ja multimodaalse töötlemise nõuded võivad muuta selle serveerimise nõudlikumaks kui väiksema ainult tekstipõhise vektoriseerimismudeli kasutamise. Esitatud toimetuslik hinnang annab suhtelise kiiruse hindeks 6 punkti 10-st ja kuluhindeks samuti 6 punkti 10-st. Need on toimetuslikud hinnangud, mitte NVIDIA võrdlustestide tulemused ega avaldatud hinnastamisnäitajad. Tegelik jõudlus sõltub riistvarast, pakktöötlusest, pildi eraldusvõimest, samaaegsete päringute arvust ja valitud serveerimisvirnast.

Vektori vähendatud dimensioonide arv võib vähendada salvestus- ja otsingukulusid, kuid kärpimine muudab esitust. NVIDIA juhised esitatud uurimismaterjalis nõuavad kärbitud vektorite uuesti normaliseerimist enne sarnasuspõhist otsingut. Meeskonnad peaksid valitud dimensioonide arvu juures otsingu kvaliteeti eraldi valideerima, mitte eeldama, et väiksem vektor käitub samamoodi nagu täielik 4 096-dimensiooniline väljund.

Hinnakujundus ja saadavus

Mudel on saadaval avatud kontrollpunktina NVIDIA OpenMDW litsentsilepingu versiooni 1.1 alusel ning NVIDIA NIM-i lõpp-punkti kaudu. Esitatud uurimismaterjal tuvastab tasuta NVIDIA prooviversiooni lõpp-punkti, kuid ei esita ise hostimise jaoks ametlikku korduvat tokenipõhist hinda. Seega ei ole olemasoleva teabe põhjal ise hostimisel tarnija määratud tokenipõhist hinda, kuigi organisatsioonid peavad endiselt kandma taristu- ja käituskulusid.

Ärikasutajad peaksid enne juurutamist, edasilevitamist või muutmist tutvuma OpenMDW-1.1 litsentsiga. Kontrollpunkti ja majutatud NIM-i lõpp-punkti kaudu pakutav saadavus annab juurutamisel paindlikkuse, kuid nende valikute käitamis-, litsentsi- ja kulumõjud on erinevad.

Arutlus, kodeerimine ja tööriistade tugi

See mudel ei arutle vestluslikus mõttes, ei genereeri koodi ega kasuta väliseid tööriistu. Selle roll on arvutada vektorid, mida teine rakendus saab otsinguks kasutada. Esitatud toimetuslikud hinnangud annavad arutlus- ja kodeerimisvõimekusele hindeks 1 punkti 10-st. See peegeldab asjaolu, et mudel ei ole nende ülesannete jaoks loodud, mitte selle vektoriseerimisfunktsiooni ebaõnnestumist.

Samuti ei paku see vestluslikku voogedastust, funktsioonikutseid, struktureeritud tekstiväljundit ega veebiotsingut kui mudeli võimekusi. Kui rakendus vajab agenti, kes kavandaks tegevusi, kutsuks andmebaase, sirviks veebi või koostaks JSON-vastuseid, peavad nende ülesannete eest vastutama teised komponendid.

Parimad kasutusjuhud

• Ettevõtte PDF-otsing, kus lehed sisaldavad nii proosateksti kui ka visuaalset teavet.
• Multimodaalne RAG aruannete, tehniliste juhendite, finantsdokumentide ja tootedokumentatsiooni põhjal.
• Diagrammide, tabelite, infograafikute, andmelehtede ja tehniliste skeemide leidmine.
• Mitmekeelne semantiline otsing teksti ja visuaalseid dokumente sisaldavates segakogudes.
• Agendi mälu ja tõendusmaterjali otsing, kui agent peab enne tegevuse alustamist leidma seda toetavad dokumendid.
• Valdkonnapõhised otsingusüsteemid, mis saavad kasutada NVIDIA peenhäälestusretsepte kohandamiseks valdkonna spetsiifiliste asjakohasusnõuetega.

Millal seda mudelit valida?

Vali Nemotron-3.5-Embed-8B-BF16 siis, kui visuaalsete dokumentide otsingu kvaliteet on olulisem kui võimalikult väikese või lihtsa vektoriseerimisteenuse kasutamine. See sobib hästi organisatsioonidele, kelle lähtematerjal sisaldab lehti, mille tähendus kaob tavalisele eraldatud tekstile taandamisel, ning meeskondadele, kes vajavad mitmekeelset otsingut ulatuslikus dokumendikogus.

Väiksem ainult tekstipõhine vektoriseerimismudel võib olla sobivam siis, kui kõik dokumendid on puhas tekst, rakendusele kehtivad ranged latentsus- või taristupiirangud või vektorite salvestusruumi tuleb minimeerida. Generatiivne multimodaalne mudel on sobivam siis, kui süsteem peab pilti vahetult tõlgendama, diagrammi selgitama või visuaalsele küsimusele vastama. Sellises arhitektuuris võib Nemotron-3.5-Embed-8B-BF16 endiselt toimida otsinguetapina, samal ajal kui eraldi mudel vastutab genereerimise ja arutluse eest.

Olemasolevate Nemotroni tekstivektoriseerimise juurutuste puhul võib NVIDIA kirjeldatud säilitatud tekstikäitumine muuta selle mudeli visuaalsete dokumentide laiendusena hindamise kaalumist väärivaks. Enne tootmisindeksi migreerimist peaksid meeskonnad siiski oma andmetel testima otsingu kvaliteeti kogu töövoo ulatuses, piltide eeltöötlust, serveerimise läbilaskevõimet, vektorandmebaasi kulusid ja litsentsinõudeid.