Mis on NVIDIA Nemotron 3 Super 120B-A12B?
NVIDIA Nemotron 3 Super 120B-A12B on NVIDIA Nemotron 3 mudeliperre kuuluv avatud kaaludega keelemudel. Selle nimi viitab mudelile, millel on kokku 120 miljardit parameetrit ja mille järelduse ajal on aktiivsed ligikaudu 12 miljardit parameetrit. See kasutab ekspertide segu (mixture-of-experts) arhitektuuri, mis tähendab, et eri sisendid suunatakse võrgu valitud osadesse, selle asemel et aktiveerida iga märgi töötlemisel kõik parameetrid.
Praktilises kasutuses sobib see mudel seetõttu paremini nõudlikeks tekstitöötlusülesanneteks kui igapäevaseks kergeks vestluseks. Selle kasutusvaldkondade hulka kuuluvad mitmeastmeline arutlemine, tarkvaraarendus, tööriistu kasutavad agendid, otsinguga täiendatud genereerimine (RAG), pikad dokumendid ja suure mahuga ettevõtete järeldusprotsessid. Mudel genereerib ainult teksti: see ei võta vastu pilte, heli ega videot ning ei loo neid meediatüüpe.
NVIDIA pakub mudelit allalaaditavate kontrollpunktidena ning NVIDIA NIM-i ja hostitud API proovipääsupunkti kaudu. See annab organisatsioonidele võimaluse valida NVIDIA hallatava liidese kasutamise ja kaalude enda kontrollitavas taristus juurutamise vahel. Saadaval on BF16-, FP8- ja NVFP4-vormingus kontrollpunktid ning NVIDIA dokumenteerib nii järeltreeninguga kui ka baasversiooni BF16-kontrollpunkte.
Arhitektuur ja miljoni märgi kontekst
Nemotron 3 Super ühendab hübriidarhitektuuris Mamba-2, latentse ekspertide segu ja tähelepanukomponendid. Samuti kasutab see mitme märgi ennustamist. Need on pigem rakenduse üksikasjad kui funktsioonid, mida kasutaja vestlusaknas valida saab, kuid need aitavad selgitada mudeli eesmärki: see on loodud pikkade jadade ja mahukate järeldusprotsesside töötlemiseks, kasutades mudeli kogusuurusega võrreldes suhteliselt väikest aktiivsete parameetrite hulka.
Dokumenteeritud konteksti pikkus on kuni 1 000 000 märki. Kontekstiaken näitab sisendi ja genereeritud vestlusajaloo hulka, mida mudel saab ühe päringu ajal töödelda, kuigi tegelik kasutatav maht võib sõltuda teeninduskonfiguratsioonist ja väljundmärkide jaoks reserveeritud mahust. Miljoni märgi suurune kontekst võimaldab töödelda väga suuri dokumendikogumeid, pikki koodihoidlaid, ulatuslikke agendi tööjälgi või mahukaid RAG-sisendeid.
NVIDIA dokumentatsioon ei määra selle mudeli jaoks üheselt kindlat genereeritava väljundi maksimaalset märgipiirangut. Seetõttu ei tohiks miljoni märgi suurust näitajat tõlgendada garanteeritud väljundi pikkusena. See kirjeldab toetatud konteksti mahtu, samas kui tegelik väljundipiirang võib sõltuda NIM-i, vLLM-i, hostitud pääsupunkti või muu juurutuskonfiguratsiooni seadistusest.
Arutlemine, kodeerimine ja tööriistade kasutamine
Arutlemise saab mudeli vestlusmalli kaudu sisse või välja lülitada. See on kasulik siis, kui rakendus vajab keeruka ülesande jaoks läbimõeldud mitmeastmelist vastust, kuid soovib tavapäraste päringute puhul väiksemat latentsust või lühemaid vastuseid. NVIDIA soovitab kaasasoleva mudelidokumentatsiooni kohaselt arutlemise, tööriistakutsete ja üldise vestluse jaoks temperatuuri 1.0 ning väärtust top_p 0.95.
Toimetusliku hinnangu järgi iseloomustab mudelit tugev arutlemisvõime ja hea kodeerimisoskus: arutlemise eest on hinnang 9 punkti 10-st ja kodeerimise eest 8 punkti 10-st. Need on toimetuse antud hinded, mitte NVIDIA avaldatud võrdlustesti tulemused. Need näitavad mudeli eeldatavat praktilist positsioneerimist, mitte standardiseeritud jõudlusgarantiid.
Mudel toetab ühilduvate NIM-i ja vLLM-i juurutuste kaudu JSON-argumentidega tööriistakutseid. Agent saab seega paluda mudelil valida funktsiooni, esitada argumendid, saada tööriista tulemuse ja vestlust jätkata. See on oluline näiteks andmebaasipäringute, ärisüsteemides tehtavate toimingute, otsingutorude, kalkulaatorite ja tarkvaraautomatiseerimise puhul. Tööriistade tugi sõltub teenindusplatvormist ja rakenduse integratsioonist; see ei tähenda, et mudelil oleks iseseisvalt juurdepääs veebile, privaatsetele andmebaasidele või välisele tarkvarale.
Nemotron 3 Superil ei ole sisseehitatud veebiotsingut. Samuti ei ole dokumenteeritud selle loomulikku pildi-, heli- ega videosisendi režiimi. Tekstipõhine RAG-süsteem võib mudelile edastada dokumentidest eraldatud sisu, kuid see erineb otsesest multimodaalsest mõistmisest.
Kuhu see NVIDIA mudelikataloogis sobitub?
NVIDIA praeguses tehisintellektiökosüsteemis on Nemotron 3 Super mõeldud arendajatele ja organisatsioonidele, kes vajavad kontrolli juurutamise, järeldustaristu ja agentide käitumise üle. See ei ole tarbijatele mõeldud vestlusroboti tellimus ega väike kohalik abiline, mis on mõeldud töötama tavalisel riistvaral.
NVIDIA teeb mudeli kättesaadavaks NIM-i ehk oma järeldusmikroteenuste lähenemise kaudu ning allalaaditavate kaaludena isemajutatud kasutuseks. Mudel on loetletud ka NVIDIA mudeli- ja API-kataloogides, kus on olemas NIM-i ja NVIDIA Dynamo juurutamise dokumentatsioon. Seetõttu on see eriti asjakohane andmekeskuste, tööjaamade ja ettevõtete keskkondades, kus meeskonnad saavad eraldada piisava GPU-võimsuse ja optimeerida teeninduse jõudlust.
Avatud kaaludena kättesaadavus on oluline, kuid seda ei tohiks segi ajada tasuta kasutamisega. Kontrollpunkti allalaadimine võib vältida teenusepakkujale makstavat märgipõhist tasu, kuid isemajutamine nõuab endiselt sobivaid GPU-sid, salvestusruumi, võrguühendust, hooldust ja inseneritööd. NVIDIA esitatud teabe kohaselt on kaalud saadaval NVIDIA Nemotron Open Model License'i alusel.
Peamised tugevused ja kompromissid
- Väga suur kontekst: kuni 1 miljoni märgi pikkune toetatud kontekst on kasulik pikkade dokumentide, koodihoidlate, RAG-kogumite ja pikkade agendiseansside puhul.
- Arutlemise juhtimine: rakendused saavad vestlusmalli kaudu arutlemise sisse või välja lülitada, selle asemel et käsitleda iga päringut võrdselt kuluka arutlemisülesandena.
- Agentide tugi: ühilduvad juurutused saavad kasutada JSON-argumentidega tööriistakutseid, mistõttu sobib mudel funktsioonipõhisteks töövoogudeks.
- Paindlik juurutamine: NVIDIA pakub hostitud juurdepääsu, NIM-i juurutust ning allalaaditavaid BF16-, FP8- ja NVFP4-kontrollpunkte.
- Tõhus aktiivne arvutus: kuigi mudelil on kokku 120 miljardit parameetrit, on ühe järeldustee puhul aktiivsed ligikaudu 12 miljardit, mis kajastab ekspertide segu arhitektuuri.
Peamine kompromiss on taristu keerukus. 120 miljardi parameetriga mudel ei ole kerge lahendus isegi siis, kui iga märgi puhul on aktiivne vaid osa parameetritest. Vajalik riistvara ja teeninduskonfiguratsioon võivad muuta selle sobimatuks väikestele meeskondadele, tagasihoidlikele tööjaamadele või rakendustele, kus väiksem mudel pakub piisavat kvaliteeti.
Kiirus ja kulu sõltuvad samuti suurel määral juurutusest. Esitatud hinnangu järgi on kiirus 8 punkti 10-st ja kulutõhusus 7 punkti 10-st, kuid need on toimetuslikud hinnangud, mitte teenusepakkuja fikseeritud tehnilised näitajad. Kvantiseerimisvormingud, nagu FP8 ja NVFP4, võivad aidata vähendada ressursivajadust, samas kui BF16 võib nõuda rohkem mälu. Tegelik läbilaskevõime, latentsus ja kogukulu sõltuvad GPU tüübist, paketttöötlusest, konteksti suurusest, samaaegsusest ja tarkvarakonfiguratsioonist.
Hind ja juurdepääs
Esitatud dokumentatsioonis ei tuvastatud ametlikku hostitud API märgipõhist hinda. Mudelit kirjeldatakse NVIDIA hostitud API proovipääsupunkti, NIM-i, allalaaditavate kontrollpunktide ja isemajutatud juurutuste kaudu kättesaadavana, kuid üldiselt rakenduvat korduvat või märgipõhist hinda ei saa usaldusväärselt esitada.
Isemajutatud paigalduse puhul on oluline kulu taristu, mitte avaldatud mudelitellimus. Organisatsioonid peaksid arvestama GPU-de ostu või rentimise, kontrollpunktide salvestusruumi, juurutamise inseneritöö, seire, skaleerimise ja jooksva haldusega. Hostitud juurdepääs võib olla lihtsam, kuid enne tootmisvoo loomist tuleks kontrollida kasutatava pääsupunkti praeguseid piiranguid, saadavust ja hinda.
Parimad kasutusjuhud
Nemotron 3 Super on tugev kandidaat, kui rakendus vajab mitut järgmist omadust:
- Pika konteksti analüüs suurte dokumendikogumite või hoidlate põhjal.
- Agentpõhised töövood, kus mudel kavandab samme ja kutsub väliseid tööriistu.
- Keerukas arutlemine koos võimalusega lihtsamate päringute jaoks arutlemine välja lülitada.
- Koodi genereerimine, koodi selgitamine, silumine ja tarkvaraarenduse toetamine.
- RAG-süsteemid, mis peavad mudelile edastama mahuka otsingutulemuste konteksti.
- Privaatsed või kontrollitud juurutused, mis kasutavad allalaaditavaid kaale ja NVIDIA taristut.
- Suure mahuga järeldusprotsessid, kus organisatsioon saab optimeerida paketttöötlust ja teenindust.
Näiteks võib ettevõte kasutada mudelit suure tehniliste dokumentide kogumi uurimiseks, asjakohaste lõikude leidmiseks, sisemise otsingu- või piletihaldusfunktsiooni kutsumiseks ja põhjendatud vastuse koostamiseks. Arendusplatvorm võib kasutada seda suure koodihoidla uurimiseks ning testimis- või hoidlatööriistade käivitamiseks. Need näited eeldavad rakendustaseme integratsioone; mudel ei ühendu nende süsteemidega automaatselt.
Millal võib mõni teine lahendus olla sobivam?
Väiksem keelemudel võib olla parem valik lühikeste vestluste, lihtsa eraldamise, väikese latentsusega klassifitseerimise või piiratud riistvaral juurutamise korral. Nemotron 3 Superi kogusuurus ja pika konteksti võimekus võivad olla tarbetu koormus, kui päringud on lühikesed ja lihtsad.
Multimodaalne mudel on sobivam siis, kui rakendus peab otse tõlgendama pilte, heli või videot. Esitatud spetsifikatsioonide kohaselt on Nemotron 3 Super nii sisendi kui ka väljundi poolest ainult tekstipõhine. Samuti tuleks eelistada dokumenteeritud veebiotsinguga teenust juhul, kui ajakohane veebiteave on keskne nõue, sest sellel mudelil ei ole loomulikku veebiotsingut.
Meeskonnad, kes vajavad prognoositavat avalikku märgipõhist hinda, peaksid võrdlema ka hostitud alternatiive, mille hinnakiri on selgelt avaldatud. NVIDIA esitatud teave ei määra selle mudeli jaoks standardhinda, mistõttu võib kulude planeerimine olla lihtsam teenusepakkuja juures, kes avaldab fikseeritud sisendi- ja väljundimäärad.
Üldhinnang
NVIDIA Nemotron 3 Super 120B-A12B on mõeldud tõsiste pika konteksti ja agentpõhiste töökoormuste jaoks, mitte juhuslikuks tarbijakasutuseks. Selle miljoni märgi suurune kontekst, seadistatav arutlemine, tööriistakutsed, avatud kaaludega kontrollpunktid ja mitmesugused juurutusvõimalused muudavad selle atraktiivseks meeskondadele, kes vajavad kontrolli ja suudavad toetada mahukat taristut.
Sama olulised on mudeli piirangud: see on ainult tekstipõhine, sellel puudub loomulik veebiotsing, genereeritavate väljundmärkide maksimaalne arv ei ole selgelt dokumenteeritud ning esitatud uuringus ei ole kinnitatud üldist märgipõhist hinda. Mudel on kõige mõistlikum siis, kui pikk kontekst, arutlemine, kodeerimine ning ise hallatav või NVIDIA-keskne juurutus õigustavad tegevuskulu. Väiksemate, odavamate, kiiremate või multimodaalsete rakenduste jaoks võib sobida paremini teistsugune mudel.