Nemotron-3-Embed-1B-BF16

Mis on NVIDIA Nemotron 3 Embed 1B?

NVIDIA Nemotron-3-Embed-1B-BF16 on tekstiembedding’u mudel, mis teisendab kirjaliku sisu arvulisteks vektoriteks. Need vektorid esindavad teksti tähendust, võimaldades tarkvaral võrrelda dokumente, päringuid, koodi või tekstilõike semantilise sarnasuse alusel, mitte tugineda ainult täpsetele märksõnavastetele.

Mudeli pakkuja on NVIDIA ning allalaaditavad kaalud on Hugging Face’is saadaval OpenMDW-1.1 litsentsi alusel. Mudelit saab kasutada ka NVIDIA NIM-i ja NVIDIA mudelite teenindamise liideste kaudu. Allalaaditava kontrollpunkti nimi on nvidia/Nemotron-3-Embed-1B-BF16, NVIDIA API ja NIM-i identifikaator aga nvidia/nemotron-3-embed-1b.

Ligikaudu 1,14 miljardi parameetriga on see suhteliselt kompaktne embedding’u mudel, mitte vestluspõhine keelemudel. See ei genereeri vastuseid, lõike, pilte, heli ega videot. Selle ülesanne on luua esitusi, mida teised rakendused saavad kasutada otsingu, vastete leidmise, järjestamise ja soovituste töövoogudes.

Põhiandmed

2048-dimensiooniline väljund tähendab, et iga toetatud tekstisisend esitatakse vektorina, mis sisaldab 2048 arvulist väärtust. Rakendused salvestavad need vektorid tavaliselt vektorandmebaasi ning võrdlevad neid kasutajapäringute või teiste dokumentide põhjal genereeritud vektoritega.

Milleks mudelit kasutatakse?

Nemotron 3 Embed 1B on mõeldud otsingule keskenduvate süsteemide jaoks. Selle peamised kasutusalad on semantiline otsing, tihe otsing, otsinguga täiendatud genereerimine (RAG), koodiotsing, agentne otsing ja vektoripõhine dokumentide võrdlemine.

• Semantiline otsing: leida dokumendid, mis väljendavad sarnast ideed isegi siis, kui need ei sisalda päringuga samu sõnu.
• RAG: leida privaatsest teadmistebaasist asjakohased tekstilõigud, enne kui need edastatakse eraldi generatiivsele mudelile vastuse koostamiseks.
• Koodiotsing: siduda loomulikus keeles kirjeldused asjakohaste funktsioonide, failide või koodinäidetega.
• Agentne otsing: aidata tehisintellektiagendil leida asjakohast teavet tööriistadest, dokumentidest või mälusalvestitest.
• Dokumentide võrdlemine: võrrelda tugipileteid, eeskirju, tootekirjeldusi või muid tekstikogumeid.

Mudel toetab otsingu jaoks päringu- ja tekstilõigurežiimi. Tüüpilises otsingusüsteemis kasutatakse salvestatud dokumentide kodeerimiseks tekstilõigurežiimi ja kasutaja otsingupäringu kodeerimiseks päringurežiimi. Seejärel saab saadud vektoreid võrrelda rakenduses valitud sarnasuse- või kaugusmeetodi abil.

Mitmekeelne tugi ja tehniline ülesehitus

NVIDIA dokumentatsiooni kohaselt on mudelit hinnatud 34 keeles, mistõttu sobib see mitmekeelsete otsingukogumite ja otsinguliideste jaoks. Esitatud uuringud ei kinnita, et kvaliteet oleks kõigis keeltes ühesugune, seega peaksid meeskonnad enne kasutuselevõttu kontrollima jõudlust oma keelte, terminoloogia ja dokumenditüüpidega.

Mudel põhineb kärbitud ja destilleeritud Ministral-3-3B-Instruct-2512 arhitektuuril. Praktilises mõttes on kärpimine ja destilleerimine tehnikad, mille abil luuakse suuremast või võimekamast lähtemudelist väiksem ja tõhusam mudel. Selline ülesehitus aitab paigutada Nemotron 3 Embed 1B otsingu kodeerijana positsiooni, kus see võib pakkuda palju suuremast embedding’u mudelist väiksemat juurutusmahtu, säilitades samal ajal pika sisendipiirangu ja mitmekeelsed funktsioonid.

32 768 tokeni suurune sisendipiirang on kasulik pikkade dokumentide või suurte tekstilõikude puhul, kuid see ei tähenda, et kogu pika dokumendi saatmine oleks alati parim otsingustrateegia. Otsingusüsteemid saavutavad sageli parema täpsuse, kui dokumendid jagatakse tähenduslikeks osadeks ja neile lisatakse enne indekseerimist metaandmed.

Võimalused ja piirangud

See mudel loob embedding’u-vektoreid, mitte loomulikus keeles vastuseid. Kinnitatud väljunditüüp on 2048-dimensiooniline embedding’u-vektor; mudelil puudub teksti-, pildi-, video-, heli-, muusika-, kõne- või tegevusväljund. See võtab vastu ainult tekstisisendit ning kinnitatud pildi-, heli- või videosisendi tugi puudub.

Kuna tegemist ei ole generatiivse assistendiga, ei tohiks seda mudelit valida vestluseks, pikemate tekstide kirjutamiseks, otseseks küsimustele vastamiseks, kokkuvõtete tegemiseks, koodi genereerimiseks ega üldotstarbeliseks arutlemiseks. Kui rakendus peab muutma leitud tekstilõigud loomulikus keeles vastuseks, on vaja eraldi keelemudelit.

Esitatud mudeliandmetes ei ole märgitud tööriistade või funktsioonide kutsumise tuge, voogedastuse tuge ega JSON-režiimi. Neid funktsioone seostatakse üldiselt generatiivsete mudelite vastustega ning need ei ole embedding’u-kodeerija puhul kesksel kohal. Esitatud allikates ei ole dokumenteeritud ka teadmiste lõppkuupäeva; teadmiste lõppkuupäeva mõiste on siin vähem otseselt kohaldatav, sest mudeli põhiülesanne on teksti kodeerimine otsingu jaoks, mitte faktipõhiste vastuste genereerimine.

Peenhäälestus ja juurutusvõimalused

NVIDIA NeMo dokumentatsioon toetab mudeli kõigi kaalude peenhäälestust ja ühendatud LoRA-peenhäälestust. Peenhäälestus võib olla asjakohane juhul, kui vaikimisi embedding’u-käitumine ei sobitu hästi mõne spetsialiseeritud valdkonnaga, näiteks ettevõttesisese juriidilise terminoloogia, teadusdokumentide, tehnilise toe sisu või omandkoodiga. Iga peenhäälestusotsust tuleks hinnata lähtemudeli kvaliteedi, treeningandmete suuruse ja puhtuse ning kohandatud kontrollpunkti hooldamise tegevuskulude suhtes.

Esitatud on kaks peamist juurutusviisi. Arendajad võivad kasutada allalaaditavat Hugging Face’i kontrollpunkti, mis annab hostimise ja integratsiooni üle suurema kontrolli. Teise võimalusena pakub NVIDIA NIM mudeli teenindamise lahendust, mille eesmärk on lihtsustada mudeli juurutamist ja järeldamist NVIDIA taristu ning API-de kaudu. Täpsed riistvara-, hostimis-, läbilaskevõime- ja käitusnõuded sõltuvad valitud juurutuskonfiguratsioonist ning neid ei ole esitatud uuringus täpsustatud.

Hind ja saadavus

Selle konkreetse mudeli avalikku tokeni- või päringupõhist hinda ei ole kinnitatud. NVIDIA Build loetleb teenusetingimustega seotud tasuta API lõpp-punkti, kuid seda ei tohiks käsitleda piiramatu või püsivalt tasuta tootmiskasutuse garantiina. Hostitud kasutusele, taristule, päringupiirangutele ja kommertstoele võivad kehtida eraldi tingimused.

Allalaaditavad Hugging Face’i kaalud on saadaval OpenMDW-1.1 litsentsi alusel. Enne kommertskasutuse alustamist peaksid kasutajad tutvuma litsentsi ja valitud NVIDIA teenuse kehtivate tingimustega. Ise hostimine võib vältida hostitud järeldamise tasusid, kuid toob kaasa riistvara, skaleerimise, jälgimise ja hoolduse kulud.

Millal valida Nemotron 3 Embed 1B?

Valige Nemotron 3 Embed 1B siis, kui peamine ülesanne on mitmekeelse teksti teisendamine tihedateks vektoriteks otsingu jaoks. See on eriti asjakohane juhul, kui projekt vajab 32 768 tokeni pikkust sisendipiirangut, 2048-dimensioonilisi embedding’u-vektoreid, päringu- ja tekstilõigurežiime, allalaaditavaid kaalusid või NVIDIA-põhiseid juurutusvõimalusi.

• Valige see mitmekeelse semantilise otsingu jaoks suures dokumendikogus.
• Valige see RAG-konveieri otsingukomponendiks koos eraldi teksti genereeriva mudeliga.
• Valige see koodi- või tehniliste dokumentide otsinguks, kui vektoripõhine sarnasus on kasulikum kui täpsete märksõnade sobitamine.
• Valige see juhul, kui ise hostimine või peenhäälestus on oluline ja OpenMDW-1.1 litsentsitingimused sobivad projektiga.
• Valige see siis, kui eelistate pika kontekstilimiidiga kompaktset embedding’u-mudelit suuremale ja potentsiaalselt kallimale kodeerijale.

Mõni teine embedding’u-mudel võib olla sobivam juhul, kui rakendus vajab teistsugust vektori dimensiooni, teistsugust keele- või valdkonnaspetsialiseerumist, selgelt avaldatud tootmishindadega hostitud hinnamudelit või sõltumatult kinnitatud võrdlustulemusi, mis vastavad sihttöökoormusele paremini. Generatiivne keelemudel on sobivam siis, kui süsteem peab kasutajatele otse vastama, leitud materjali põhjal arutlema, tööriistu kutsuma või struktureeritud teksti looma.

Jõudluse ja kulude kompromissid

Esitatud uuring ei sisalda kinnitatud kiiruse, latentsuse ega kulude näitajaid, mistõttu ei tohiks jõudlust kirjeldada arvuliste väidetega. Mudeli ligikaudu 1,14 miljardi parameetri suurus ja otsingule keskenduv ülesehitus viitavad positsioonile väga väikeste embedding’u-kodeerijate ja märksa suuremate mudelite vahel, kuid tegelik läbilaskevõime sõltub riistvarast, pakkide töötlemisest, järjestuse pikkusest, kvantimise või täpsuse valikutest, teeninduskonfiguratsioonist ja töökoormuse iseloomust.

Pikemad sisendid võivad mõne dokumendi puhul parandada katvust, kuid nõuavad tavaliselt rohkem arvutusressursse kui lühikesed tekstilõigud. Seetõttu peaks praktiline hindamine mõõtma nii otsingu kvaliteeti kui ka indekseerimise ja päringute kogukulu. Kasulikud testid hõlmavad mitmekeelseid päringuid, pikki ja lühikesi dokumente, koodiga seotud otsinguid, keerukaid peaaegu dubleerivaid päringuid ning RAG-vastuste kvaliteeti pärast otsingut.

Kokkuvõte

NVIDIA Nemotron 3 Embed 1B on spetsialiseeritud mitmekeelne embedding’u-mudel, mitte juturobot. Selle peamised eripärad on 2048-dimensiooniline tihevektoriline väljund, 32 768 tokeni pikkune sisendipiirang, 34 hinnatud keele tugi, päringu- ja tekstilõigurežiimid otsingu jaoks ning saadavus nii NVIDIA juurutustööriistade kui ka allalaaditavate kaalude kaudu. See on tugev kandidaat semantilise otsingu, RAG-i, koodiotsingu ja agendi mälu jaoks, kui need nõuded sobivad projekti keelekatvuse, litsentsi, hostimise ja hindamisvajadustega.