Mida Llama Nemotron Embed VL 1B v2 teeb
Llama Nemotron Embed VL 1B v2 on NVIDIA multimodaalne embedding'u kodeerija. Kirjaliku vastuse genereerimise asemel teisendab see sisendi arvuliseks esituseks, mida nimetatakse embedding'uks. Esitus sisaldab teavet sisendi tähenduse kohta ning seda saab sarnase või asjakohase sisu leidmiseks teiste embedding'utega võrrelda.
Mudel on mõeldud tekstiliste ja visuaalsete dokumentide põhise küsimustele vastamise jaoks vajaliku teabe leidmiseks. Süsteem võib dokumendilehed või tekstilõigud kodeerida, saadud vektorid vektorandmebaasi salvestada ning seejärel kodeerida kasutaja küsimuse, et leida sellele kõige lähedasemad vasted. Eraldi keelemudel saab leitud lõikude või lehekülgede piltide põhjal koostada lõpliku loomulikus keeles vastuse.
NVIDIA pakub mudelit avatud mudelina Hugging Face'is ning allalaaditava NVIDIA NIM-i juurutusena. NVIDIA praeguses kataloogis kuulub see pigem otsingu ja embedding'ute valdkonda, mitte üldotstarbeliste vestlusmudelite kategooriasse.
Toetatud sisendid ja multimodaalne otsing
Mudel toetab tekstistringe, RGB-pilte ning piltide ja teksti kombinatsioone. Pilt võib olla skannitud leht, digitaalselt renderdatud dokumendileht või leht, mis sisaldab mitut liiki visuaalset teavet. Toetatud otsingustsenaariumid on järgmised:
- Tekstilt tekstile otsing: tekstipäringule asjakohaste tekstilõikude leidmine.
- Tekstilt pildile otsing: dokumendilehtede piltide leidmine, mis vastavad tekstiküsimusele või on sellega seotud.
- Pildi ja teksti põhine otsing: nii visuaalse pildi kui ka kaasneva teksti abil esitatud lehtede otsimine.
- Küsimustele vastamiseks vajaliku teabe otsing: tõendusmaterjali valimine retrieval-augmented generation'i süsteemi jaoks.
Visuaalse sisendi tugi on oluline siis, kui tähendus sõltub paigutusest või graafikast. Tabeli, diagrammi, vormi või infograafikaga lehe saab indekseerida pildina, selle asemel et taandada see täielikult OCR-tekstiks. Seega saab mudel aidata otsingusüsteemidel otsida dokumendi algsest visuaalsest esitusest.
Arhitektuur ja embedding'u väljund
NVIDIA mudelidokumentatsiooni kohaselt kasutab Llama Nemotron Embed VL 1B v2 Eagle VLM-i laadset ülesehitust, mis ühendab Llama 3.2 1B keelemudeli ja SigLip2 400M pildikodeerija. NVIDIA kirjeldab kombineeritud mudelit ligikaudu 1,7 miljardi parameetriga mudelina.
Mudel loob iga teksti-, pildi- või multimodaalse dokumendisisendi kohta ühe fikseeritud suurusega 2048-mõõtmelise vektori. Lõpliku esituse loomiseks kasutatakse keskmist ühendamist (mean pooling). Mudelit treenitakse kahe kodeerijaga (bi-encoder): päringud ja asjakohased dokumendid tuuakse embedding'u ruumis üksteisele lähemale, samal ajal kui mitteseotud üksused eraldatakse.
Praktikas ei ole embedding iseseisva vastusena kasulik. See on indekseeritav esitus, mida sarnasotsingu süsteem saab võrrelda näiteks koosinus-sarnasuse mõõdiku abil. Rakendus peab alles hoidma ka algse teksti või pildid, et leitud tõendusmaterjali saaks kasutajale kuvada või eraldi genereerimismudelile edastada.
Konteksti- ja pilditöötluse piirangud
NVIDIA teatab hinnatud maksimaalseks konteksti pikkuseks 10 240 tokenit. Kui koos edastatakse pilt ja tekst, peab nende tokenite koguarv jääma sellesse piirangusse. Tokenid on ühikud, mida kasutatakse teksti ja visuaalse teabe sisemiseks esitamiseks; see piirang ei vasta kindlale sõnade ega lehekülgede arvule.
Mudel kasutab dünaamilist piltide tükeldamist (dynamic image tiling). Testitud konfiguratsioonis võib pilt koos madalama eraldusvõimega pisipildiga kasutada kuni kuut paani, kus iga paan kulutab ligikaudu 256 visuaalset tokenit. See võimaldab kodeerijal töödelda lehekülje üksikasju, säilitades samal ajal dokumendist laiema ülevaate.
NVIDIA näidetes kasutatakse üldisest hinnatud maksimumist väiksemaid modaalsusepõhiseid seadeid. Pildisisenditele määratakse kuni 2048 tokenit, ainult tekstiga sisendid võivad Transformersi näites kasutada kuni 8192 tokenit ning pildi ja teksti sisendid kasutavad kogu 10 240 tokeni suurust seadistust. Neid väärtusi tuleks käsitleda dokumenteeritud näidiskonfiguratsioonidena, mitte lubadusena, et iga juurutus kasutab täpselt sama palju mälu või saavutab samasuguse jõudluse.
Kuidas kasutada mudelit otsingusüsteemis
Tüüpiline töövoog koosneb kahest etapist. Indekseerimise ajal jagab rakendus dokumendikogu lõikudeks või lehekülgedeks, kodeerib iga üksuse Llama Nemotron Embed VL 1B v2 abil ning salvestab vektorid koos viidetega algsele sisule. Otsingu ajal kodeerib see kasutaja küsimuse ja võrdleb päringuvektorit salvestatud dokumendivektoritega.
Päringu- ja dokumendipool peavad kasutama õigeid rolle. NVIDIA NIM-i liides nõuab input_type väärtuseks query või passage. vLLM-i integratsioonis on vastavad rollid query ja document. See erinevus on oluline rakendusdetail: kui lõik kodeeritakse päringu asemel või kasutatakse ebajärjekindlaid eesliiteid ja eeltöötlust, võib otsingu kvaliteet halveneda.
Pärast otsingut vastutab valitud tõendusmaterjali kokkuvõtmise või kasutajale vastamise eest tavaliselt eraldi genereerimismudel. Llama Nemotron Embed VL 1B v2 ise tagastab arvulised vektorid, mitte loomulikus keeles vastuseid, tsitaate, pilte, heli ega videot.
Juurutamine ja riistvara
Mudelit saab Hugging Face'ist laadida koos Transformersi või Sentence Transformersi teegiga, kasutades usaldusväärset kaugmudeli koodi. NVIDIA pakub ka allalaaditavat NIM-i konteinerit Linuxi süsteemidele, millel on NVIDIA GPU-d. Dokumenteeritud NIM pakub OpenAI-ga ühilduvat embedding'ute lõpp-punkti, mis võib lihtsustada integratsiooni rakendustega, mis on juba üles ehitatud embedding'ute API ümber.
NVIDIA mudelikaardil nimetatakse toetatud riistvaraperedena Ampere'i, Hopperi, Lovelace'i ja Blackwelli GPU mikroarhitektuure. Transformersi näited kasutavad versiooni 4.56.0 või uuemat ning toetavad soovi korral Flash Attentionit. Suurema läbilaskevõimega teeninduse jaoks dokumenteerib NVIDIA vLLM-i toe ning soovitab versiooni vLLM 0.17.0 või uuemat.
Need juurutusvõimalused muudavad mudeli sobivamaks NVIDIA GPU-dega keskkondadesse kui väikestesse ainult protsessoril töötavatesse paigaldustesse. Protsessoril käitamine võib sõltuvalt tarkvarapinnast olla võimalik, kuid kaasasolev dokumentatsioon suunab mudeli eelkõige GPU-kiirendusega kasutusele. Tegelik läbilaskevõime ja mälunõuded sõltuvad pildi suurusest, pakktöötlusest, täpsusest, konteksti seadetest ja valitud teenindusraamistikust.
Hind ja kättesaadavus
Esitatud NVIDIA dokumentatsioonist ei leitud selle täpse mudeli kohta avalikku tokenipõhist majutusteenuse hinda. Mudelit kirjeldatakse allalaaditavana ning see on saadaval NVIDIA mudelite ja juurutuste ökosüsteemi kaudu, mitte siin dokumenteeritud tavapärase tarbijatele mõeldud tellimusfunktsioonina.
Allalaaditavus ei tähenda, et juurutamine oleks igas keskkonnas tasuta. Kasutajatel võivad tekkida kulud NVIDIA GPU-de, pilveeksemplaride, salvestusruumi, andmebaasitaristu ja operatiivtoe eest. Enne ärilist juurutamist tuleb üle vaadata ka täpsed litsentsitingimused: esitatud mudelimärkmetes nimetatakse NVIDIA Open Model License'i ja Llama 3.2 täiendavaid litsentsitingimusi.
Tugevused ja piirangud
Mudeli peamine tugevus on keskendumine visuaalsete dokumentide otsingule. See suudab kujutada lehekülje pilti, teksti või pildi ja teksti kombinatsiooni sama üldise otsinguvoo raames. See muudab mudeli sobivaks kogude jaoks, kus tabelid, diagrammid, lehekülje paigutus ja infograafika sisaldavad teavet, mis võib ainult teksti eraldamisel kaduma minna.
Selle 2048-mõõtmeline väljund pakub vektorandmebaaside jaoks ühtset esitust, samas kui dokumenteeritud päringu- ja lõiguroolid annavad otsingutorustike integreerimiseks selge mustri. Allalaaditav mudel ja NIM-i võimalus võivad olla kasulikud ka organisatsioonidele, kes soovivad majutusteenusepõhise embedding'ute teenusega võrreldes rohkem kontrolli juurutuse üle.
Peamine piirang on mudeli ulatus. See ei ole vestlusmudel, arutlusmudel, koodi genereerimise mudel ega vastuste genereerimise mudel. Esitatud spetsifikatsioonide kohaselt ei paku see loomupärast tööriistade kasutamist, voogedastusvastuseid, struktureeritud loomulikus keeles väljundit ega sisseehitatud veebotsingu funktsiooni. Täielik küsimustele vastamise toode vajab lisakomponente dokumentide sissevõtmiseks, vektorotsinguks, vajaduse korral tulemuste ümberjärjestamiseks, vastuste genereerimiseks ja rakenduse orkestreerimiseks.
Visuaalne töötlus võib suurendada ka mälu- ja töötlemisvajadust. Suured leheküljepildid ning pildi ja teksti kombinatsioonid kasutavad konteksti mahtu ja võivad olla kulukamad töödelda kui lühikesed tekstilõigud. Otsingu kvaliteeti tuleks testida organisatsiooni enda dokumentidel, eriti siis, kui skannid on halva kvaliteediga, lehekülgedel on ebatavaline paigutus või rakendus ühendab OCR-teksti leheküljepiltidega.
Võimekuse profiil
| Võimekus | Hinnang |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud |
| Heli- ja videosisend | Esitatud spetsifikatsioonides ei ole seda tuvastatud |
| Teksti genereerimine | Ei ole toetatud; mudel loob embedding'uid |
| Pildi-, heli- või videoväljund | Ei ole toetatud |
| Embedding'u väljund | Toetatud; 2048 dimensiooni |
| Konteksti piirang | 10 240 hinnatud tokenit |
| Genereeritavate tokenite maksimum | Ei kohaldu sellele embedding'u kodeerijale |
| Tööriistade või funktsioonide kutsumine | Ei ole tuvastatud |
Tabel eristab mudeli kontrollitud rolli võimekustest, mida tavaliselt seostatakse vestlusmudelitega. Teksti genereerimise puudumine ei ole selle kavandatud otstarbe jaoks puuduv funktsioon; just see võimaldab mudelil spetsialiseeruda kodeerimisele ja otsingule.
Millal seda mudelit valida
Vali Llama Nemotron Embed VL 1B v2 siis, kui peamine probleem on asjakohase tõendusmaterjali leidmine teksti- ja visuaalsetest dokumentidest, eriti juhul, kui saad kasutada NVIDIA GPU-taristut. See sobib hästi järgmisteks kasutusjuhtudeks:
- Ettevõtteülene otsing PDF-idest, skannitud lehtedelt, aruannetest ja esitlustest.
- Otsingusüsteemid, kus tabelid, diagrammid või lehekülje paigutus on olulised.
- Multimodaalsed RAG-torustikud, mis otsivad nii lehekülgede pilte kui ka teksti.
- Vektorandmebaasi indekseerimine küsimustele vastamiseks vajaliku otsingu jaoks.
- Meeskonnad, kes soovivad allalaaditavat mudelit või NVIDIA NIM-i juurutusvõimalust.
Tavapärane ainult tekstiga töötav embedding'u mudel võib olla sobivam siis, kui korpus koosneb puhtast tekstist, visuaalne paigutus ei mõjuta tähendust või taristu peab jääma eriti väikeseks ja odavaks. Majutatud embedding'ute teenus võib olla eelistatum, kui GPU-de käitamise vältimine on olulisem kui kohaliku juurutuse kontroll. Kui peamine vajadus on vastuste kirjutamine, sisu kokkuvõtmine, koodi genereerimine või vestluse pidamine, on parem valik generatiivne keelemudel.
Täieliku otsingurakenduse osana tuleks seda mudelit hinnata otsingu tabavuse, latentsuse, mälukasutuse ja taristu kogukulu põhjal, mitte vestlusmudelite võrdlustestide alusel. Mudeli väärtus seisneb kasuliku tõendusmaterjali valimises; mõni teine mudel või rakenduse kiht peab selle tõendusmaterjali vastuseks vormima.