Mis on NVIDIA Nemotron Nano 12B v2 VL?
NVIDIA Nemotron Nano 12B v2 VL on NVIDIA nägemis-keelemudel. Praktilises mõttes suudab see töödelda tekstipõhiseid viipasid koos visuaalse sisendiga ja seejärel koostada tekstilise vastuse. Mudel toetab sisendina teksti, pilte ja videot; väljund on tekst, mitte uus pilt, video ega heliklipp.
Mudel on mõeldud ülesanneteks, kus tehisintellektisüsteem peab visuaalset teavet tõlgendama, mitte lihtsalt tekstivestlust jätkama. Näiteks võib sellelt küsida skannitud vormi kohta, eraldada teavet diagrammist, võrrelda mitut pilti, teha dokumendist kokkuvõtte või vastata küsimustele videost võetud kaadrite põhjal.
Nemotron Nano 12B v2 VL kuulub NVIDIA Nemotron Nano V2 VL-i mudeliperre ja on mõeldud allalaaditava mudelina NVIDIA GPU-kiirendusega juurutamiseks. Avaldatud mudeliteabe kohaselt on sellel ligikaudu 12,6 miljardit parameetrit ning 131 000 märgi suurune sisendi ja väljundi kontekstiaken.
Arhitektuur ja toetatud sisendid
Mudel ühendab kolm põhikomponenti: c-RADIOv2-H nägemis kodeerija, MLP-ühendaja ja keelemudeli Nemotron Nano 12B v2. Nägemis kodeerija teisendab pildi- või videoteabe esitusteks, mida keelemudel saab vastuse koostamisel kasutada.
Pildisisendit saab edastada PNG- või JPEG-failidena. Mudel suudab töödelda kuni nelja pilti, arvestades 12 paaniga pildipaigutuse piirangut. See sobib näiteks lehekülgede võrdlemiseks, mitme tootepildi ülevaatamiseks, diagrammijada uurimiseks või mitme dokumendilehekülje kohta küsimuste esitamiseks.
Videosisendit töödeldakse valitud kaadrite, mitte piiramatu pideva voo kaudu. Avaldatud mudeliteabe kohaselt töödeldakse videot 8–128 kaadrina kiirusega 2 kaadrit sekundis. See võib muuta pikemate videote käsitlemise lihtsamaks, kuid tähendab ka seda, et olulised sündmused võivad jääda märkamata, kui valitud kaadrid neid piisavalt selgelt ei kajasta.
Milles mudel hea on
Nemotron Nano 12B v2 VL on eelkõige kasulik siis, kui visuaalsed tõendid tuleb siduda loomulikus keeles antava vastusega. Dokumenteeritud kasutusvaldkondade hulka kuuluvad visuaalsetele küsimustele vastamine, dokumentide ja piltide kokkuvõtete koostamine, OCR-iga seotud töövood, diagrammide ja tabelite mõistmine, mitme pildi võrdlemine ning videoga seotud küsimustele vastamine.
- Dokumendianalüüs: Seda saab kasutada lehekülgede analüüsimiseks, asjakohase sisu tuvastamiseks, dokumentidest kokkuvõtete tegemiseks ning dokumendi ülesehituse või tähenduse kohta küsimustele vastamiseks.
- OCR-iga seotud töövood: Mudel on mõeldud töövoogudeks, mis hõlmavad piltidel või skannitud dokumentides leiduvat teksti. Seda tuleks käsitleda visuaalse tekstituvastuse ümber paikneva arutluskihina, mitte täiusliku transkriptsiooni tagatisena.
- Diagrammid ja tabelid: Mudel on loodud diagrammides ja tabelites esitatud visuaalsete andmete tõlgendamiseks ning tulemuste tekstiliseks selgitamiseks.
- Mitme pildi põhjal arutlemine: Võrdlusteks või küsimusteks, mille puhul on vaja tõendeid rohkem kui ühest visuaalsest sisendist, saab kasutada kuni nelja pilti.
- Video mõistmine: Valitud videokaadrid võivad toetada kirjelduste koostamist, kokkuvõtete tegemist ning nähtavate sündmuste või sisu kohta küsimustele vastamist.
NVIDIA esitab hindamistulemused mitme võrdlustesti põhjal, sealhulgas MMMU, MathVista, AI2D, OCRBench, ChartQA, DocVQA ja Video-MME. Nende testide nimed näitavad mudeli kavandatud ulatust, kuid esitatud uuringus ei ole individuaalseid skoore toodud, mistõttu ei tohiks siit järeldada konkreetset kohta edetabelis.
Konteksti- ja väljundipiirangud
Mudelil on dokumenteeritud 131 000 märgi suurune sisendi ja väljundi kontekstiaken. See on suur tööruum pika teksti ja visuaalsete sisendite ühendamiseks, kuigi tegelik kasutatav maht sõltub pildi eraldusvõimest, videokaadrite arvust, viiba pikkusest, järeldustarkvarast ja saadaolevast GPU-mälust.
Loetletud maksimaalne väljundi pikkus on 8192 märki. See piirang on oluline pikkade dokumendikokkuvõtete, üksikasjalike aruannete või mitmeosaliste vastuste koostamisel. Suur kontekstiaken ei tähenda, et iga päring peaks kasutama maksimaalset võimalikku sisendit: lühemad ja täpsemad viibad võivad vähendada töötlusnõudeid ning muuta vastuste hindamise lihtsamaks.
Juurutamine ja kättesaadavus
NVIDIA pakub allalaaditavaid mudelikaalusid BF16-, FP8- ja NVFP4-QAD-variantidena. BF16 on esitatud uuringus määratletud põhiline allalaaditav kontrollpunkt, samal ajal kui FP8- ja NVFP4-QAD-variandid pakuvad alternatiivseid arvulisi vorminguid neid toetavatele juurutuskeskkondadele.
NVIDIA dokumentatsioon loetleb ühilduvatel NVIDIA GPU-süsteemidel toetatud juurutusvõimalustena vLLM-i, TensorRT-LLM-i ja SGLangi. Need raamistikud on olulised operaatoritele, kes soovivad mudelit käitada oma taristus, mitte sõltuda majutatud lõpp-punktist. NVIDIA pakub juurutus- ja treeningudokumentatsiooni kaudu ka peenhäälestusretsepte, kuigi konkreetse peenhäälestusprojekti riistvara- ja konfiguratsiooninõudeid esitatud materjalis ei täpsustata.
NVIDIA NIM-i lehel on selle mudeli tasuta majutatud lõpp-punkt märgitud kasutuselt kõrvaldatuks. Allalaaditavad kaalud on endiselt saadaval. See eristus on oluline: mudelit ei tohiks hinnata nii, nagu oleks püsivalt saadaval olev tasuta avalik API endiselt peamine juurdepääsuvõimalus.
Arutlus, kodeerimine ja tööriistade tugi
Nemotron Nano 12B v2 VL on loodud visuaalsete ja tekstiliste tõendite põhjal arutlemiseks. Selle kõige asjakohasemad arutlusülesanded on seotud dokumentide, piltide, diagrammide, tabelite ja videotega, mitte piiramatu abstraktse arutlusega, mis ei sõltu sisendmaterjalist.
Esitatud toimetuslik hinnang annab mudeli arutlusoskusele 8 punkti 10-st ja kodeerimisoskusele 6 punkti 10-st. Need on ligikaudsed toimetuslikud hinnangud, mitte NVIDIA avaldatud võrdlustestide tulemused. Arutluse hinnang kajastab mudeli keskendumist multimodaalsetele dokumentidele ja visuaalsele mõistmisele. Madalam kodeerimishinnang tuleneb sellest, et mudeli peamine eesmärk ei ole üldine tarkvaraarendus.
Esitatud uuringus ei tuvastatud kontrollitud tööriistakasutuse ega funktsioonikutsete võimekust. Samuti ei ole dokumenteeritud eraldi JSON-režiimi. Rangelt masinloetavat väljundit vajavad kasutajad peaksid kontrollima valitud järeldusmootorit ja väljundi töötlemist testima, mitte eeldama, et tavaline tekstigenereerimine tagab skeemi järgimise.
Kiirus, maksumus ja riistvara kompromissid
Mudeli väiksem suurus võrreldes väga suurte multimodaalsete süsteemidega on juurutuse tõhususe seisukohast oluline ning NVIDIA pakub kvantiseeritud variante, mis on mõeldud erinevate jõudluse ja mälukasutuse kompromisside jaoks. Esitatud toimetuslikus hinnangus saab kiirus ja maksumus 8 punkti 10-st, kuid need hinnangud on subjektiivsed, mitte teenusepakkuja standardiseeritud mõõtmised.
Esitatud uuringus ei ole allalaaditava mudeli avalikku märgipõhist hinda. Tegelik kasutuskulu sõltub GPU-de soetamisest või rentimisest, salvestusruumist, elektrist, orkestreerimisest ja arendustöö kuludest. Ise majutatav mudel võib olla atraktiivne, kui organisatsioon vajab kontrolli andmete või püsiva töökoormuse üle, kuid see eeldab ühilduvat NVIDIA riistvara ja operatiivset pädevust. Pika konteksti kasutamine dokumentide töötlemisel ja videotöötlus võivad nõuda märkimisväärseid GPU-ressursse isegi siis, kui mudel on mõnest konkureerivast multimodaalsest süsteemist väiksem.
Piirangud, millega arvestada
Avaldatud mudeliteabes on toetatud keelena nimetatud inglise keel. Seetõttu sobib mudel halvasti tootmisvoogudesse, mis nõuavad ametlikult toetatud mitmekeelset jõudlust, eriti juhul, kui täpsus peab olema tagatud mudeli dokumentatsioonis katmata keeltes.
Video mõistmine põhineb valitud kaadritel, mille dokumenteeritud vahemik on 8–128 kaadrit kiirusega 2 kaadrit sekundis. Valitud kaadrite vahel toimuvad peened sündmused ei pruugi olla esindatud. Mõni järeldusmootor võib allalaaditava kontrollpunkti kasutamisel nõuda ka video dekodeerimise eraldi korraldamist.
Visuaalsed mudelid võivad eksida, kui pildid on ebaselged, tekst väike, paigutus keerukas või vastus nõuab teavet, mida visuaalselt ei ole esitatud. OCR-i ja dokumentidega seotud töövoogudes tuleks oluliste väljade puhul rakendada valideerimist. 131 000 märgi suurune kontekstipiir on märkimisväärne, kuid see ei kaota vajadust hallata sisendi mahtu, pildi paanideks jaotamist, kaadrite valikut ega GPU-mälu.
Esitatud NVIDIA mudelikaardist, dokumentatsioonist ega tehnilisest aruandest ei leitud ametlikku teadmiste lõppkuupäeva. Ei tohiks eeldada, et mudel tunneb jooksvaid sündmusi või hiljuti muutunud teavet, välja arvatud juhul, kui värsked andmed antakse viibas või väliselt hallatava otsingusüsteemi kaudu.
Millal valida Nemotron Nano 12B v2 VL?
Vali see mudel siis, kui põhivajadus on lokaalne või kontrollitud multimodaalne mõistmine NVIDIA taristus. See sobib eriti hästi dokumentide läbivaatamiseks, visuaalsetele küsimustele vastamiseks, diagrammide ja tabelite analüüsimiseks, mitmeleheküljeliseks või mitme pildi võrdluseks, OCR-i toetatud töötlemiseks ning valitud kaadritel põhinevate videokokkuvõtete koostamiseks.
See võib olla hea valik siis, kui allalaaditavad kaalud on tähtsamad kui hallatav API, kui töökoormus saab kasu NVIDIA vLLM-i, TensorRT-LLM-i või SGLangi juurutusvõimalustest või kui meeskond soovib mudelit spetsialiseeritud visuaalse töövoo jaoks kohandada. Saadaval olevad BF16-, FP8- ja NVFP4-QAD-variandid võimaldavad juurutusmeeskondadel arvestada ka erinevate mälu- ja jõudlusnõuetega.
Mõni teine lahendus võib olla sobivam, kui rakendus vajab pildi-, heli- või videogenereerimist, ametlikult toetatud mitmekeelset toimimist, garanteeritud funktsioonikutseid või struktureeritud JSON-väljundit või lihtsat ja praegu kättesaadavat läbipaistva märgipõhise hinnastusega majutatud API-t. Tarkvaraarenduse ülesannete puhul, mis ei vaja visuaalset sisendit, sobib tõenäoliselt paremini üldotstarbeline kodeerimismudel.
Kokkuvõte
NVIDIA Nemotron Nano 12B v2 VL on spetsialiseeritud allalaaditav nägemis-keelemudel, mis muudab teksti, pildid ja valitud videokaadrid tekstilisteks vastusteks. Kõige paremini sobib see visuaalseks ja dokumendikeskseks arutluseks, mitte meedia genereerimiseks ega üldiseks kodeerimiseks. Suur 131 000 märgi suurune kontekst, kuni nelja pildi tugi, videosisend ning mitu NVIDIA juurutusvormingut muudavad selle asjakohaseks meeskondadele, kes loovad kontrollitud multimodaalseid töövooge. Peamised kompromissid on NVIDIA-keskse taristu nõuded, dokumenteeritud ingliskeelne tugi, valitud kaadritel põhineva videotöötluse piirangud, allalaaditava mudeli avaliku hinnastuse puudumine ja tasuta majutatud lõpp-punkti kasutuselt kõrvaldamine.