Mis on Llama Nemotron Embed 1B v2?
Llama Nemotron Embed 1B v2 on NVIDIA välja töötatud tekstivektorite mudel teabeotsingu jaoks. Tekstivektorite mudel esitab teksti tiheda arvvektorina. Sarnase tähendusega tekstid peaksid andma üksteisele lähedased vektorid, mis võimaldab tarkvaral leida asjakohaseid dokumente ka siis, kui päringus ja dokumendis kasutatakse erinevaid sõnu.
Näiteks võib otsing „kuidas saan konto parooli lähtestada?” leida dokumendi pealkirjaga „Volituste taastamise juhend” isegi siis, kui dokument ei korda päringu sõnastust. Seetõttu on tekstivektorid kasulikud semantilises otsingus, ettevõtete teadmistebaasides, küsimustele vastamisel ja otsinguga täiendatud genereerimises (RAG), kus eraldi generatiivne mudel kasutab leitud dokumente kontekstina.
Mudel on ligikaudu 1 miljardi parameetriga Llama 3.2 1B-l põhinev peenhäälestatud transformer-kodeerija. See kasutab kaksikkodeerija (bi-encoder) arhitektuuri: päringud ja tekstilõigud kodeeritakse eraldi, mistõttu saab tekstilõikude vektorid varem välja arvutada ja hilisemate otsingute jaoks indekseerida. Suurte otsingukogumite puhul on selline arhitektuur üldjuhul praktilisem kui iga päringu otsene võrdlemine iga dokumendiga.
Koht NVIDIA mudelikataloogis
NVIDIA paigutab selle mudeli Nemotron Retrieveri perekonda, mitte üldotstarbeliste vestluslike keelemudelite hulka. Selle ülesanne on rakenduse otsinguetapp: mudel leiab asjakohase teksti või reastab selle, samal ajal kui mõni teine komponent võib genereerida lõpliku vastuse.
Mudel on saadaval allalaaditava NVIDIA tarkvarana ja Hugging Face'i hoidla kaudu. NVIDIA dokumentatsioon kirjeldab ka OpenAI embeddings API stiiliga ühilduvat vektorite loomise liidest. Build.NVIDIA.com-i NIM-i lehel on majutatud lõpp-punkt siiski märgitud iganenuks ning teenusekatkestuste vältimiseks soovitatakse üle minna teisele mudelile. Esitatud dokumentatsiooni kohaselt on allalaaditavad kaalud endiselt saadaval, kuid enne uue tootmisintegratsiooni alustamist peaksid juurutusmeeskonnad kontrollima kehtivaid toe- ja litsentsitingimusi.
Mitmekeelne ja keelteülene otsing
Llama Nemotron Embed 1B v2 hinnati 26 keeles: inglise, araabia, bengali, hiina, tšehhi, taani, hollandi, soome, prantsuse, saksa, heebrea, hindi, ungari, indoneesia, itaalia, jaapani, korea, norra, pärsia, poola, portugali, vene, hispaania, rootsi, tai ja türgi keeles.
Selline keelekate toetab nii mitmekeelseid kogumeid kui ka keelteülest otsingut. Keelteülese kasutuse näide on olukord, kus kasutaja esitab küsimuse inglise keeles, kuid asjakohane lähtematerjal on kirjutatud saksa, jaapani või mõnes muus toetatud keeles. Esitatud uurimus kinnitab keelte tuge ja mudeli sobivust otsinguks, kuid ei anna iga keele ega tekstikorpuse kohta universaalset täpsusskoori. Seetõttu peaksid meeskonnad hindama mudelit oma terminoloogia, dokumenditüüpide ja keelekombinatsiooni põhjal.
Sisendi pikkus ja seadistatavad vektorisuurused
Mudeli maksimaalne järjestuse pikkus on 8192 tokenit. See on mudeli tokenipiirang, mitte kindel sõnade arv, sest tokenite arv sõltub keelest, vormindusest ja sõnavarast. Piirangust pikem tekst tuleb enne vektoriks teisendamist kärpida või osadeks jagada.
Osadeks jagamine on eriti oluline pikkade aruannete, juhendite ja poliitikadokumentide kogumite puhul. Väiksemad ja sidusad lõigud muudavad otsingutulemuste tõlgendamise üldjuhul lihtsamaks kui üks ülemäära suur vektor, mis esindab tervet dokumenti. Sobiv lõigu suurus ja kattuvus sõltuvad lähtematerjalist ning neid tuleks eeldamise asemel testida.
Mudel toetab Matryoshka-stiilis dünaamilisi vektoreid viies dokumenteeritud mõõtmes:
- 384 dimensiooni
- 512 dimensiooni
- 768 dimensiooni
- 1024 dimensiooni
- 2048 dimensiooni
2048-mõõtmeline vektor säilitab mudeli suurima toetatud esituse ning võib olla eelistatud juhul, kui esmatähtis on otsingu kvaliteet. Väiksemad vektorid kasutavad vähem salvestusruumi ning võivad vähendada vektorite indekseerimise ja otsingu arvutus- ja mälukulu. Kompromiss seisneb selles, et mõõtmete vähendamine võib mõjutada otsingu kvaliteeti, mistõttu tuleks valitud suurust sihtotstarbelise töökoormuse põhjal valideerida.
Päringu- ja tekstilõigurežiim on olulised
NVIDIA liides nõuab, et kutsuja määraks iga sisendi kas query või passage. Päring on kasutaja otsingusoov; tekstilõik on sisu, mida talletatakse või otsitakse võimaliku dokumendina.
See eristus ei ole pelgalt kirjeldav. NVIDIA esitatud märkustes hoiatatakse, et vale režiimi kasutamine võib otsingu täpsust märkimisväärselt vähendada. Tüüpilises töövoos kodeeritakse indekseeritavad dokumendid tekstilõigurežiimis, sissetulevad kasutajaotsingud päringurežiimis ning seejärel võrreldakse saadud vektoreid vektoriandmebaasis seadistatud sarnasuse meetodi abil.
Rakendused peaksid ka hindamise ja tootmiskasutuse ajal hoidma eeltöötluse, normaliseerimise, osadeks jagamise ja indekseerimise seaded ühtsed. Ainuüksi vektorid ei taga häid otsingutulemusi: lõppsüsteemi mõjutavad ka lähteteksti kvaliteet, metaandmefiltrid, sarnasuse seadistus ja otsingu hindamine.
Juurutusvõimalused ja API käitumine
Mudel võtab vastu üksikuid tekstistringe või stringiloendeid ning tagastab tihedad arvvektorid. NVIDIA dokumenteeritud vektorite API toetab ujupunktarvude ja base64-väljundvorminguid ning sisaldab kärpimisjuhte sisendite jaoks, mis ületavad lubatud pikkuse.
NVIDIA taristut kasutavatele meeskondadele on allalaaditav mudel mõeldud GPU-kiirendusega juurutamiseks NVIDIA NIM-i kaudu. Esitatud dokumentatsioon tuvastab ka ühilduvuse Transformersi, Sentence Transformersi ja vLLM-iga, kui vajalik kaugkoodi (remote-code) seade on lubatud. NVIDIA dokumenteerib toe Ampere'i, Blackwelli, Hopperi ja Lovelace'i GPU-arhitektuuridele, kuigi täpsed riistvaranõuded sõltuvad juurutusprofiilist.
Majutatud NIM-i olek on oluline praktiline piirang. Kuna NVIDIA märgib Build.NVIDIA.com-i lõpp-punkti iganenuks, tuleks enne sellele uue majutatud teenusena tuginemist kontrollida selle kättesaadavust, toe kestust ja üleminekujuhiseid. Hoidlate enda hallatav kasutamine võib pakkuda suuremat kontrolli, kuid annab taristuga seotud vastutuse, skaleerimise, uuendused, seire ja litsentsinõuete järgimise juurutusmeeskonnale.
Võimalused ja piirangud
See on vektorite mudel, mitte teksti genereerimise mudel. Selle väljund on vektor, mitte loomulikus keeles vastus. Esitatud spetsifikatsioonide kohaselt ei paku see vestluslikke vastuseid, piltide genereerimist, heli töötlemist, video töötlemist ega üldotstarbelist multimodaalset arutlusvõimet.
Seda ei tohiks hinnata samade kriteeriumide alusel nagu vestlusmudelit. Olulised küsimused on, kas see leiab õiged dokumendid, käsitleb vajalikke keeli, säilitab valitud vektorisuuruse juures kasulikud eristused ning toimib soovitud indekseerimis- ja päringumahu juures piisavalt hästi. Esitatud andmed ei sisalda arutlusvõime skoori, kodeerimisskoori, tööriistakasutuse tuge, voogedastuse tuge ega genereeritavate tokenite maksimaalset arvu. Need võimalused ei ole mudeli põhivektorite funktsiooni puhul rakendatavad, mitte funktsioonid, mille puudumist peaks käsitlema eeldatava puudujäägina.
Peenhäälestuse kohta ei ole esitatud uurimuses kinnitatud teavet. Domeenile kohandamist vajavad meeskonnad ei tohiks eeldada, et toetatud peenhäälestuse töövoog on olemas. Selle asemel võivad nad vajada viipadest sõltumatu vektorikäitumise, eeltöötluse, ümberreastamise, metaandmefiltreerimise või mõne muu otsingumudeli hindamist.
Hinnastamine ja kuludega seotud kompromissid
Selle mudeli kohta ei ole esitatud teenusepakkuja avaldatud tokeni-, päringu- ega korduvkasutustasu. Seetõttu ei tohiks allalaaditavat mudelit ega majutatud NIM-i lõpp-punkti olemasoleva teabe põhjal käsitleda kinnitatud avaliku hinnaga teenusena. Isehallatavad juurutused toovad kaasa taristu- ja tegevuskulud ka siis, kui mudeli kaalud on allalaaditavad.
Mudeli 1 miljardi parameetri suurus ja spetsialiseerumine vektorite loomisele viitavad teistsugusele kuluprofiilile kui palju suuremal generatiivsel mudelil, eriti suuremahulise vektorite loomise puhul. NVIDIA esitatud toimetuslik hinnang annab sellele kiiruse skooriks 8 ja kuluskooriks 7, kuid need on mudeli suurusel, vektorite loomise spetsialiseerumisel ja seadistatavatel vektorisuurustel põhinevad hinnangud, mitte teenusepakkuja võrdlustestid. Tegelik jõudlus sõltub GPU-arhitektuurist, pakkide suurusest, järjestuse pikkusest, väljundi dimensioonist, samaaegsusest ja teeninduse seadistusest.
384 või 512 dimensiooni valimine võib vähendada vektorite salvestusruumi võrreldes 2048 dimensiooniga. See võib olla suurte kogumite puhul väärtuslik, kuid säästu tuleks võrrelda otsingu kvaliteediga tüüpiliste päringute korral. Praktilises hindamises võib võrrelda mitut toetatud dimensiooni sama korpuse, päringukogumi, indekseerimismeetodi ja asjakohasushinnangute põhjal.
Millal valida Llama Nemotron Embed 1B v2?
See mudel on tugev kandidaat juhul, kui rakendus vajab mitmekeelset või keelteülest semantilist otsingut, eriti 26 dokumenteeritud keele vahel. See sobib ka pikkade dokumentide puhul, sest 8192 tokeni pikkune järjestusepiir võib vähendada vajadust agressiivse tükeldamise järele võrreldes lühema piiranguga mudelitega.
- Mitmekeelne ettevõtteotsing: Indekseerige eri keeltes poliitikad, tugimaterjalid või ettevõtte sisedokumentatsioon ning leidke kasutaja päringu põhjal asjakohased tekstilõigud.
- Keelteülene juurdepääs teadmistele: Otsige ühes toetatud keeles kirjutatud lähtematerjali teises keeles koostatud päringu abil.
- RAG-i otsinguetapp: Valige tekstilõigud eraldi keelemudeli jaoks, mis genereerib nendele lõikudele tugineva vastuse.
- Pikkade dokumentide otsing: Teisendage juhendite, aruannete ja tehniliste dokumentide mahukad osad vektoriteks, jäädes 8192 tokeni piiridesse.
- Salvestusruumitundlik indekseerimine: Kasutage väiksemat toetatud Matryoshka dimensiooni, kui testid näitavad, et vähendatud vektorisuurus tagab vastuvõetava kvaliteedi ja kulu tasakaalu.
Teine võimalus võib olla sobivam juhul, kui rakendus vajab loomulikus keeles genereerimist, piltide või heli mõistmist, kõnetöötlust, sisseehitatud tööriistakasutust või praegu toetatud, selgelt avaldatud hinnastusega majutatud lõpp-punkti. Eelistada võib ka teistsugust vektorite mudelit, kui selle hinnatud keelekate, domeenijõudlus, latentsus või hallatava teenusena kättesaadavus vastab juurutuse vajadustele paremini. Esitatud uurimus ei nimeta konkreetset järeltulijat, mistõttu tuleks asendus valida kehtiva NVIDIA dokumentatsiooni ja ülesandepõhiste testide alusel, mitte mudelinime põhjal oletada.
Kokkuvõte
Llama Nemotron Embed 1B v2 on loodud otsingu, mitte vestluse jaoks. Selle peamised praktilised omadused on 26 keele tugi, sealhulgas mitmekeelne ja keelteülene otsing, 8192 tokeni sisendipiirang, selged päringu- ja tekstilõigurežiimid ning viis seadistatavat vektorisuurust kuni 2048 dimensioonini. Need omadused muudavad selle kasulikuks semantilise otsingu ja RAG-süsteemide puhul, kus on vaja paindlikult tasakaalustada salvestusruumi ja otsingu kvaliteeti.
Sama olulised on peamised ettevaatusabinõud: sisendid tuleb ette valmistada järjestusepiiri piires, päringu- ja tekstilõigurežiim tuleb õigesti määrata, väljundi dimensioone tuleb sihtkorpuse põhjal valideerida ning NVIDIA majutatud NIM-i lõpp-punkt on märgitud iganenuks. Neid tingimusi arvestades võib allalaaditavat mudelit kaaluda ise hallatavate mitmekeelsete otsingutöökoormuste jaoks, võttes arvesse praegust kättesaadavust, riistvara ühilduvust, litsentsi ja rakendusepõhist hindamist.