Mis on NVIDIA Nemotron 3 Nano Omni?
NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning on avatud kaaludega mudel, mis suudab arutleda teksti, piltide, video ja heli põhjal. NVIDIA pakub allalaaditavaid kontrollpunkte ning juurutusvõimalusi Hugging Face'i, Transformersi, vLLM-i, NeMo, NVIDIA NIM-i ja NVIDIA Buildi platvormi kaudu. See kuulub NVIDIA praegusesse Nemotroni mudelite valikusse, kuid see konkreetne mudel keskendub ühtsele multimodaalsele mõistmisele, mitte piltide, video või kõne genereerimisele.
Mudelil on kokku 30 miljardit parameetrit, millest iga edasipääsu ajal kasutatakse ligikaudu 3 miljardit aktiivset parameetrit. Tegemist on ekspertide segu ehk MoE-arhitektuuriga: kogu mudel säilitab suure võimekuse, kuid iga tokeni töötlemisel kasutatakse ainult valitud ekspertkomponente. Praktikas võib see vähendada ühe tokeni töötlemiseks vajalikku arvutusmahtu võrreldes olukorraga, kus igal sammul kasutatakse kõiki 30 miljardit parameetrit. Tegelik kiirus ja mälukasutus sõltuvad siiski kontrollpunktist, riistvarast, kvantimisest, teenindusmootorist ja sisendi tüübist.
Mudel on mõeldud kasutuseks näiteks dokumendianalüüsis, OCR-is, diagrammide tõlgendamises, pikkade videote analüüsis, heli mõistmises, eri modaalsusi ühendavates küsimustele vastamise süsteemides, häälepõhistes agentides ja ettevõtete enda taristus töötavas inferentsis.
Arhitektuur ja toetatud modaalsused
Nemotron 3 Nano Omni kasutab kodeerija-projektori-dekodeerija arhitektuuri. Eraldi komponendid teisendavad eri tüüpi meedia esmalt esitusteks, mida keeleline dekodeerija suudab töödelda. Seejärel teeb dekodeerija nende sisendite põhjal põhilise arutlus- ja tekstiloometöö.
- Tekst: Teksti loomulik sisend ja teksti genereerimine.
- Pildid: Dünaamilise eraldusvõimega C-RADIOv4 nägemiskodeerija.
- Video: Ajaline töötlus 3D-konvolutsioonide ja Efficient Video Samplingu abil.
- Heli: Parakeetil põhinev helikodeerija kõne ja muu heli mõistmise ülesannete jaoks.
Ühtne arhitektuur on oluline, sest mudel suudab eri modaalsuste vahel ühe töövoo sees arutleda. Näiteks võib rakendus anda mudelile skannitud dokumendi, sellega seotud diagrammi ja heliselgituse ning paluda tekstilist vastust, mis ühendab neis sisalduva teabe. Esitatud uurimus nimetab mudeli väljundmodaalsuseks teksti; mudel ei loo algupäraselt pilte, videot, muusikat ega kõneheli.
Kontekstiaken ja väljundi piirang
NVIDIA dokumentatsioonis on maksimaalseks konteksti pikkuseks märgitud 262 144 tokenit. Seotud uurimisraportis kirjeldatakse mudelit 256K-tokenise kontekstiga, seega tuleks neid kahte arvu mõista ligikaudu sama pika konteksti eri kirjeldustena. NVIDIA andmetel treeniti konteksti järk-järgult 16K-lt 49K-le ja seejärel 262K tokenini.
Salvestatud maksimaalne väljundi pikkus on 131 072 tokenit. Tegelikult kasutatavat väljundi pikkust piiravad kogu konteksti eelarve, valitud juurutuskonfiguratsioon, saadaolev GPU-mälu ja teenindustarkvara. Ka suured meediasisendid võivad osa saadaolevast kontekstist ära kasutada, mistõttu ei tohiks nominaalset 262K-tokenist piirangut tõlgendada nii, et pärast iga pildi-, video- või helisisendit jääb kasutada 262K teksttokenit.
Selline konteksti suurus muudab mudeli sobivaks pikkade dokumentide, ulatuslike transkriptsioonide ja mahukate multimodaalsete jadade jaoks. See ei kaota siiski vajadust sisendi kvaliteeti hallata: väga pikk või halvasti ette valmistatud meedia võib muuta asjakohase teabe leidmise, tõlgendamise ja vastuse kontrollimise keerulisemaks.
Arutlus, programmeerimine ja tööriistapõhised töövood
Arutlus on selle kontrollpunkti üks keskseid eesmärke. NVIDIA positsioneerib seda multimodaalse arutluse, dokumendimõistmise, OCR-i, audiovisuaalse arutluse, häälsuhtluse, video mõistmise ja agendilaadsete töövoogude jaoks. Mudel suudab ühendada visuaalse, helilise ja tekstilise tõendusmaterjali, selle asemel et käsitleda iga sisendit eraldiseisva ülesandena.
Uurimisandmetes on mudeli toimetuslikuks arutlusskooriks märgitud 8 punkti 10-st. See skoor on võrdlev hinnang, mitte NVIDIA avaldatud võrdlustesti tulemus, ning seda ei tohiks segi ajada ametliku standardiseeritud pingereaga. NVIDIA materjalid kirjeldavad küll tugevat jõudlust mitmes multimodaalse ja tekstipõhise arutluse valdkonnas, kuid esitatud uurimus ei sisalda täielikku komplekti sõltumatult võrreldavaid võrdlustestiarve.
Tööriistapõhine arutlus on dokumenteeritud ning mudel toetab tööriistade kasutamist. Seetõttu võib see olla agenditorustiku komponent, milles mudel otsustab, millal kutsuda välist funktsiooni või teenust. Funktsioonikutsete täpne süntaks, struktureeritud väljundi garantiid ja JSON-i käitumine sõltuvad juurutuspinnast. Selle mudeli universaalset kinnitatud JSON-režiimi ei ole.
Mudelit saab kasutada koodiga seotud arutluseks ja tööriistapõhisteks töövoogudeks ning selle toimetuslik programmeerimisskoor on 7 punkti 10-st. Esitatud uurimus ei tõesta siiski selle konkreetse kontrollpunkti spetsialiseerumist programmeerimisele ega esita avaldatud programmeerimise võrdlustesti. Meeskonnad, kes valivad selle peamiselt tarkvaraarenduseks, peaksid kontrollima koodi genereerimise täpsust, koguhoidla suuruse konteksti käsitlemist ja tööriistakutsete töökindlust võrreldes mudeliga, mis on spetsiaalselt programmeerimiseks loodud ja hinnatud.
Kiiruse, kulude ja juurutuse kompromissid
NVIDIA avaldab BF16-, FP8- ja NVFP4-versioonid. BF16 on määratletud üldiselt kättesaadava väljalaskena ning see on mõeldud suurema täpsusega juurutuseks. FP8 ja NVFP4 võivad ühilduva riistvara korral vähendada mälunõudeid, kuid kvantimine võib sõltuvalt töökoormusest mõjutada kvaliteeti või toetatud toiminguid.
NVIDIA uurimisraportis kirjeldatakse optimeeritud NVFP4-juurutuse korral NVIDIA B200-l ühe voo samaaegsel töötlemisel kiirust üle 500 väljundtokeni sekundis. Tegemist on teenusepakkuja esitatud konkreetse konfiguratsiooni tulemusega, mitte universaalse kiiruse garantiiga. Jõudlus võib oluliselt muutuda sõltuvalt GPU tüübist, pakisuurusest, meedia eeltöötlusest, konteksti pikkusest, kvantimisest ja inferentsimootorist.
Toimetuslik kiiruseskoor on 8 punkti 10-st ning ka toimetuslik kuluskoor on 8 punkti 10-st. Need on mudeli aktiivsete parameetrite arhitektuuri ja saadaolevate kvantitud kontrollpunktide põhjal antud võrdlevad hinnangud, mitte teenusepakkuja spetsifikatsioonid. MoE-arhitektuur ja kvantimisvõimalused võivad parandada mahu ja arvutusvajaduse suhet, kuid oma taristus majutamine nõuab endiselt märkimisväärseid GPU-ressursse, eriti BF16 puhul.
Selle konkreetse mudeli standardiseeritud avalikku tokenihinda ei ole läbi vaadatud dokumentatsioonis kindlaks määratud. NVIDIA pakub Buildi kaudu majutatud proovipääsupunkti, allalaaditavad kontrollpunktid võimaldavad aga mudelit ise majutada ja NIM-i kaudu juurutada. Käitamise kulu sõltub seega sellest, kas mudelit kasutatakse enda riistvaral, renditud taristus või NVIDIA majutatud teenuses, samuti valitud täpsusest ja kasutusmahust.
Peamised tugevused ja piirangud
Tugevused
- Lai loomulik sisenditugi: Teksti, pilte, videot ja heli töödeldakse ühe mudeli töövoo sees.
- Pikk kontekst: Ligikaudu 256K–262K tokeni pikkune kontekst sobib suurte dokumentide, transkriptsioonide ja ulatuslike multimodaalsete jadade jaoks.
- Tõhus MoE-struktuur: Ligikaudu 3 miljardit aktiivset parameetrit edasipääsu kohta võib pakkuda paremat arvutuslikku kompromissi kui sama parameetrite koguarvuga tihe töötlus.
- Avatud kaaludega juurutus: BF16-, FP8- ja NVFP4-kontrollpunktid toetavad erinevaid täpsuse, mälukasutuse ja läbilaskevõime vajadusi.
- Ettevõtetele suunatud paindlikkus: Mudelit saab juurutada levinud avatud mudelite tööriistade, NVIDIA NIM-i või enda taristu kaudu NVIDIA Nemotron Open Model License'i alusel, järgides selle tingimusi.
Piirangud
- Riistvaranõuded: Ise majutamine, eriti BF16 puhul, nõuab palju GPU-mälu ja ühilduvat inferentsikeskkonda.
- Teeninduse keerukus: Multimodaalne juurutus nõuab meedia eeltöötlust, mudelispetsiifilist koodi ja asjakohaseid sisendeid toetavat inferentsimootorit.
- Konfiguratsioonist sõltuv kiirus: B200-l esitatud läbilaskevõime ei näita jõudlust tavalistes tööjaamades ega iga multimodaalse päringu puhul.
- Ainult tekstiline väljund: Mudel mõistab mitut meediatüüpi, kuid ei genereeri algupäraselt pilte, videot, muusikat ega kõneheli.
- Ebaselge majutatud kasutuse ökonoomika: Esitatud dokumentatsioonis ei ole selle täpse mudeli universaalset avalikku tokenihinda määratletud.
- Juurutuspinnast sõltuv API käitumine: JSON-režiim, struktureeritud väljundid, pakktöötlus, vahemällu salvestamine ja tööriistakutsete täpne käitumine võivad eri teeninduspindadel erineda või olla dokumenteerimata.
Parimad kasutusjuhtumid
Nemotron 3 Nano Omni sobib hästi olukordadesse, kus üks süsteem peab tõlgendama mitut meediatüüpi ja andma põhjendatud tekstilise vastuse. Sobivateks näideteks on teabe eraldamine pikkadest aruannetest, skannitud vormide ja diagrammide kohta küsimustele vastamine, videosalvestiste ülevaatamine, heli- ja visuaalse kontekstiga koosolekute kokkuvõtete koostamine ning assistentide loomine, mis ühendavad kõne, dokumendid ja välised tööriistad.
See on praktiline valik ka organisatsioonidele, kes vajavad avatud kaaludega mudelit, mida saab juurutada oma taristus. Saadaolevad kvantimisvariandid võimaldavad meeskondadel hinnata erinevaid mälu- ja läbilaskevõime kompromisse, samal ajal kui NIM ja teised NVIDIA juurutusvõimalused võivad vähendada osa integratsioonitööst, kui vajalik riistvara ja tarkvara on olemas.
Millal seda mudelit valida?
Vali NVIDIA Nemotron 3 Nano Omni siis, kui multimodaalne mõistmine on olulisem kui lihtne ainult tekstil põhinev vestlusroboti liides, kui pikk kontekst on väärtuslik või kui oluline on ise majutamine ja avatud kaaludega ligipääs. Mudel on eriti asjakohane dokumendianalüüsis, OCR-is, video- ja helianalüüsis, multimodaalsetes agentides ning NVIDIA riistvarale rajatud ettevõtete töövoogudes.
Teine võimalus võib olla sobivam, kui rakendus vajab piltide, video, muusika või kõne algupärast genereerimist, kerget servajuutust, selgelt dokumenteeritud majutatud tokenihinda või struktureeritud väljundi garanteeritud käitumist. Tekstile või programmeerimisele spetsialiseerunud mudelit võib olla lihtsam kasutada ka töökoormuste korral, mis ei vaja meedia mõistmist. Samuti võib väiksem mudel pakkuda paremat kulude ja latentsuse suhet, kui sisendid on lühikesed ja ülesanne piirdub tavalise teksti genereerimisega.
Kättesaadavus ja litsents
Mudel on saadaval NVIDIA Buildi platvormi ja Hugging Face'i allalaaditavate hoidlate kaudu, sealhulgas BF16-, FP8- ja NVFP4-variandid. NVIDIA dokumenteerib juurutuse Transformersi, vLLM-i, NeMo ja NIM-i abil. Mudel on välja antud NVIDIA Nemotron Open Model License'i alusel, mis lubab ettevõtete, ärilist ja kohapealset kasutust vastavalt litsentsitingimustele.
Üldjoontes on Nemotron 3 Nano Omni üsna spetsiifilisel kohal: see ei ole lihtsalt väiksem tekstimudel ega ka generatiivne meediasüsteem. Selle väärtus tuleneb pika kontekstiga arutluse, laia multimodaalse sisenditoe, avatud kaaludega juurutuse ja MoE-arhitektuuri ühendamisest, mis piirab aktiivset arvutust võrreldes koguvõimekusega. Need eelised on kõige olulisemad siis, kui rakendus suudab õigustada suure multimodaalse mudeli teenindamiseks vajalikku taristut ja integratsioonitööd.