Nemotron-3.5-Rerank-8B-BF16

Mis on NVIDIA Nemotron-3.5-Rerank-8B-BF16?

NVIDIA Nemotron-3.5-Rerank-8B-BF16 on spetsiaalne multimodaalne ümberjärjestusmudel, mitte üldotstarbeline vestluslik keelemudel. Selle ülesanne on võrrelda päringut kandidaatdokumendiga ja hinnata, kui asjakohane dokument on. Dokument võib olla lihttekst, RGB-pilt või teksti ja pildi kombinatsioon.

Mudel on 8,38 miljardi parameetriga ristkodeerija. Ristkodeerijas hinnatakse päringut ja kandidaatdokumenti koos, mis võimaldab mudelil nendevahelist seost otse analüüsida. Otsingusüsteem võib esmalt kiire otsingumeetodi abil leida suurema hulga võimalikke vasteid ning seejärel edastada need kandidaadid Nemotron-3.5-Rerank-8B-BF16-le teise etapi täpsemaks järjestamiseks.

Mudel tagastab iga päringu ja dokumendi paari kohta ühemõõtmelise ujukomaarvu ehk toorlogiti. Suuremad skoorid näitavad suuremat asjakohasust. Need on järjestamisskoorid, mitte genereeritud vastused, selgitused, vektor-esitused ega usaldusprotsendid.

Milline on selle koht NVIDIA mudelivalikus?

NVIDIA paigutab selle mudeli oma Nemotron Retrieveri perekonda kõrvuti manustamisele, ümberjärjestamisele ja dokumentide töötlemisele keskenduvate mudelitega. Praegune mudel on mõeldud spetsiaalselt ümberjärjestamiseks: see parandab varasemas otsingufaasis leitud tulemuste järjekorda.

Kanoonilise avatud kaaludega kontrollpunkti nimi on nvidia/Nemotron-3.5-Rerank-8B-BF16 ning see on saadaval Hugging Face'is. NVIDIA pakub juurdepääsu ka NIM-i lõpp-punkti kaudu mudelitunnusega nvidia/nemotron-3.5-rerank-8b. NVIDIA Build loetleb tasuta arenduslõpp-punkti, millele kehtivad päringupiirangud. Tootmiskasutuse järeldamise hinda esitatud dokumentatsioonis avalikult täpsustatud ei ole.

Kuidas see otsingutorustikus töötab?

Tüüpiline kasutusjuht koosneb kahest etapist. Esmalt kogub otsingumootor, vektorandmebaas või manustamisel põhinev otsija hallatava hulga kandidaatdokumente. Seejärel uurib Nemotron-3.5-Rerank-8B-BF16 iga kandidaati koos kasutaja päringuga ja määrab sellele asjakohasusskoori. Rakendus järjestab kandidaadid skoori alusel ning edastab parimad tulemused järgmisele keelemudelile või kuvab need otse.

Näiteks võib ettevõtte otsingusüsteem päringu „maksimaalne töötemperatuur“ jaoks leida tehnilisest käsiraamatust mitu lehekülge. Ümberjärjestaja saab võrrelda päringut iga lehekülje teksti ja visuaalse sisuga ning aidata eelistada lehekülge, millel on asjakohane spetsifikatsioonitabel, selle asemel et valida lihtsalt lehekülg, kus esineb sageli päringu märksõnu.

Sama põhimõte kehtib ka otsinguga täiendatud genereerimise (RAG) puhul. Ümberjärjestamine võib vähendada ebaolulise konteksti hulka, mis vastuseid genereerivale mudelile edastatakse. See võib parandada leitud tõendusmaterjali kasulikkust, kuid Nemotron-3.5-Rerank-8B-BF16 ise lõplikku vastust ei kirjuta.

Toetatud sisendid ja väljundid

See tähendab, et mudel on sisendi poolest multimodaalne, kuid väljundi poolest mitte. See ei loo pilte, heli ega videot. Selle otsene tulemus on numbriline asjakohasusskoor.

Kontekst ja sisendipiirangud

Müdeli dokumentatsioonis on maksimaalseks konteksti pikkuseks märgitud 32 768 tokenit. NVIDIA majutatud ümberjärjestamise API dokumenteerib siiski täpsema tööpiirangu: iga päringu ja dokumendi paar, sealhulgas pilditokenid, peab mahtuma 10 240 tokeni sisse. Majutatud lõpp-punkti kasutavad rakendused peaksid seega käsitlema 10 240 tokenit paari kohta praktilise teenusepiiranguna, välja arvatud juhul, kui NVIDIA valitud juurutuse dokumentatsioon sätestab teisiti.

See piirang kehtib kogu paari, mitte ainult tekstipäringu kohta. Pikki dokumente, OCR-teksti, pildiallkirju ja piltidest tuletatud tokeneid arvestatakse kõiki olemasoleva mahu sisse. Praktikas võivad süsteemid vajada pikkade dokumentide jaotamist lõikudeks või asjakohaste lehekülgede valimist enne ümberjärjestamist. Esitatud uurimuses ei täpsustata maksimaalset väljundtokenite seadistust, sest mudel genereeritud tokenijadade asemel skoore.

Peamised tugevused

• Multimodaalne dokumentide sobitamine: mudel suudab lisaks tavalisele tekstile hinnata visuaalseid dokumente, nagu diagrammid, tabelid, infograafikud, andmelehed ja skeemid.
• Päringu ja dokumendi otsene võrdlemine: ristkodeerijana hindab see päringu ja kandidaadi vahelist seost, mitte ei loo ainult eraldiseisvat esitust.
• Mitmekeelne otsing: NVIDIA teatel on seda hinnatud tekstipõhises otsingus 34 keeles ja pildipõhises otsingus 18 keeles.
• Kasulik teise etapi filtreerimine: see võib täpsustada laia esmast otsingut enne tõendusmaterjali edastamist genereerivale mudelile või kasutajale kuvamist.
• Avatud kaaludega kättesaadavus: BF16-kontrollpunkti saab kasutada avatud kaaludega mudelina OpenMDW License Agreement 1.1 alusel ja selle litsentsi tingimustel.
• Peenhäälestuse tugi: NVIDIA dokumentatsioon ja mudelikaart kirjeldavad multimodaalse ümberjärjestamise peenhäälestuse tuge.

Selle kõige olulisem eripära on ümberjärjestamise ja visuaalsete dokumentide mõistmise kombinatsioon. Tekstipõhisest ümberjärjestajast võib piisata juhul, kui kogu oluline teave on juba tekstiks teisendatud, kuid see mudel on mõeldud olukordadeks, kus dokumendi paigutus või visuaalne sisu on endiselt oluline.

Piirangud ja kompromissid

Nemotron-3.5-Rerank-8B-BF16 ei asenda vestlusmudelit, küsimustele vastamise mudelit, manustamismudelit ega dokumendiparserit. See ei genereeri loomulikus keeles vastuseid, loo väljundina manuseid, teosta veebiotsingut ega kasuta tööriistu ja funktsioone. Täielik rakendus peab pakkuma esmase otsinguetapi ning vajaduse korral eraldi mudeli vastuste genereerimiseks.

Selle 8,38 miljardi parameetriga suurus ja ristkodeerija ülesehitus võivad muuta selle arvutuslikult kulukamaks kui kerged otsingumeetodid, kui hinnata tuleb suurt hulka kandidaate. Sadade või tuhandete dokumentide ükshaaval ümberjärjestamine võib suurendada latentsust ja taristukulusid. Tavaline kompromiss on leida kiiresti väiksem kandidaatide kogum ning rakendada ümberjärjestajat ainult kõige paljutõotavamatele tulemustele.

Pildisisendid nõuavad samuti hoolikat käsitlemist. Majutatud API 10 240 tokeni piirang päringu ja dokumendi paari kohta hõlmab ka pilditokeneid, mistõttu võib suure eraldusvõimega või teaberohke dokument vajada eeltöötlust, lehekülgede valimist või tükeldamist. Esitatud uurimus ei sisalda võrdlusalusel põhinevat kiiruse-, kulu- ega üldise arutlusvõime skoori, mistõttu ei tohiks üksnes parameetrite arvu põhjal teha võrdlevaid jõudlusjäreldusi.

Arutlus, koodi kirjutamine ja agenditöövood

Seda mudelit ei tohiks hinnata üldise arutlus- või programmeerimisassistendina. See ei lahenda probleeme vestluslikus tähenduses ega kirjuta tarkvara. Selle kasulik „arutlusvõime“ seisneb asjakohasuse eristamises: mudel otsustab, milline kandidaat vastab päringule kõige paremini, sealhulgas juhul, kui asjakohane tõendusmaterjal paikneb visuaalses dokumendis.

See võib siiski kaudselt toetada agentseid süsteeme. Agent saab kasutada seda ümberjärjestajat sisaldavat otsingutorustikku, et valida enne järgmise toimingu tegemist kontrollimiseks sobivad käsiraamatud, aruanded, diagrammid või skeemid. Mudelil endal ei ole dokumenteeritud tööriistade kasutamise ega funktsioonikutsete võimekust, seega tuleb orkestreerimine, otsing, dokumentide laadimine ja tegevused rakendada ümbritsevas rakenduses.

Hind ja kättesaadavus

NVIDIA Build loetleb tasuta arenduslõpp-punkti, millele kehtivad päringupiirangud. Esitatud uurimus ei täpsusta majutatud järeldamise tootmishinda ning avatud kaaludega kontrollpunktile ei ole läbi vaadatud materjalides märgitud tokenipõhist hinda. Väljundi hinnastamine ei ole tavapärases genereerivate mudelite tähenduses kohaldatav, sest mudel tagastab genereeritud tokenite asemel asjakohasuslogiteid.

Kontrollpunkti ise juurutavad organisatsioonid peaksid arvestama taristu-, salvestus-, pilditöötlus- ja käituskuludega. Uurimus ei paku standardiseeritud kiiruse ega riistvarakulu võrdlust, mistõttu sõltub juurutamise majanduslik tasuvus valitud teeninduskeskkonnast ja kandidaatide hulgast.

Millal valida Nemotron-3.5-Rerank-8B-BF16?

Valige see mudel, kui otsinguetapis on vaja järjestada kandidaatdokumente nii keelelise kui ka visuaalse teabe põhjal. See sobib eriti hästi järgmisteks kasutusjuhtudeks:

• multimodaalne RAG skannitud aruannete, diagrammide, tabelite ja tehniliste jooniste põhjal;
• ettevõtteotsing, kus dokumendi paigutus kannab tähendust;
• mitmekeelne tekstiotsing ja visuaalsete dokumentide otsing;
• teise etapi järjestamine pärast märksõna-, vektor- või hübriidotsingut;
• agentsed otsingutorustikud, mis peavad enne teise mudeli vastuse genereerimist valima tõendusmaterjali;
• kohandatud otsingusüsteemid, kus ümberjärjestaja peenhäälestusest on kasu.

Väiksem või ainult tekstipõhine ümberjärjestaja võib olla sobivam juhul, kui korpus sisaldab üksnes puhast teksti, latentsus on kõige olulisem nõue või süsteem peab väikese kuluga hindama väga suurt kandidaatide hulka. Manustamismudel sobib paremini vektorite loomiseks ja esialgseks lähima naabri otsinguks. Genereeriv keelemudel on asjakohasem siis, kui vajalik väljund on selgitus, kokkuvõte, vastus või kood. Spetsiaalne dokumendiparser võib olla parem valik juhul, kui peamine nõue on struktureeritud andmete eraldamine, mitte asjakohasuse järjestamine.

Kokkuvõte

NVIDIA Nemotron-3.5-Rerank-8B-BF16 on kõige parem mõista kui spetsiaalset asjakohasuse hindajat multimodaalse otsingu jaoks. Selle väärtus seisneb teksti- ja visuaalsete dokumentide hindamises päringu suhtes ning mitmekeelse otsingu ja RAG-i või agentsete otsingutorustike toetamises. Peamine kompromiss on see, et see lisab otsingukihti suhteliselt mahuka teise etapi mudeli ja tagastab vastuste asemel skoore. Süsteemide jaoks, mis vajavad teksti- ja pildipõhise tõendusmaterjali täpset järjestamist, on see spetsialiseerumine põhjus mudelit kaaluda; genereerimise, manuste või lihtsa väikese latentsusega tekstotsingu jaoks sobib tõenäoliselt paremini teistsugune mudelitüüp.