NVIDIA Nemotron 3.5 Lightning 30B-A3B

Mis on NVIDIA Nemotron 3.5 Lightning 30B-A3B?

NVIDIA Nemotron 3.5 Lightning 30B-A3B on NVIDIA Nemotroni mudeliperre kuuluv avatud kaaludega keelemudel. See on mõeldud arendajatele ja organisatsioonidele, kes soovivad võimekat tekstimudelit oma taristus käitada, kohandada või integreerida, selle asemel et tugineda ainult hallatud märgipõhisele API-le.

Mudelil on kokku 30 miljardit parameetrit, kuid iga märgi puhul aktiveeritakse neist ligikaudu 3 miljardit. Parameetrid on treenimise käigus omandatud mustreid talletavad õpitud arvväärtused. Kui iga märgi puhul aktiveeritakse mudelist ainult osa, võib genereerimiseks vajalik arvutusmaht väheneda, säilitades samal ajal suurema mudeli mahutavuse. See on mudeli ekspertide segu ehk MoE-arhitektuuri peamine praktiline idee.

NVIDIA positsioneerib Nemotron 3.5 Lightningi suure mahuga ja pika kestusega agentide käitamiseks, arutlemiseks, programmeerimise abistamiseks, vestlusteks, otsinguga täiendatud genereerimiseks (RAG) ja juhiste järgimiseks. Mudel on saadaval BF16-vormingus lähtkaaludega ning NVFP4-kvantiseeritud variantidena. NVIDIA pakub juurutamiseks ka NIM-i konteinerit ning dokumenteerib integratsioonid vLLM-i ja SGLangiga.

Arhitektuur ja konteksti pikkus

Mudel kasutab hübriidarhitektuuri, mitte ühtainsat mehhanismi kogu võrgus. See ühendab Mamba-2 kihid, ekspertide segu kihid, valitud tähelepanukihid ja mitme märgi ennustamise. Mamba-2 on olekuruumi arhitektuur, mis on loodud jadade tõhusaks töötlemiseks, samal ajal kui tähelepanukihid võivad aidata mudelil märgiste vahel sihipäraseid seoseid luua. MoE-kihid suunavad töö valitud ekspertkomponentidele, selle asemel et aktiveerida iga märgi puhul kõik parameetrid.

Selle disaini eesmärk on tasakaalustada pika konteksti töötlemist, genereerimiskiirust ja mudeli mahutavust. NVIDIA dokumentatsiooni kohaselt toetavad valideeritud juurutused kuni 1 000 000 märgi pikkust konteksti. Kontekstiaken hõlmab mudelile antud materjali ning päringu jaoks säilitatavat vestlust või genereeritud sisu. Seega on miljoni märgi suurus kasutusjuurutuse võimalus, mitte garantii, et iga riistvarakonfiguratsioon või teeninduskiht töötleb seda pikkust sama kiiruse või mälukuluga.

Esitatud spetsifikatsioonid ei määra maksimaalset väljundmärgiste arvu. See piirang võib sõltuda teeninduskonfiguratsioonist, saadaolevast mälust ja valitud juurutustööriistast, mistõttu peaksid rakendused kontrollima seda enda valitud käituskeskkonnas, mitte eeldama, et kogu kontekstiaken on väljundiks saadaval.

Arutlemine, programmeerimine ja kasutamine agentides

Nemotron 3.5 Lightning toetab vestlusmalli kaudu arutlemisrežiimi. Praktikas muudab see mudeli sobivaks ülesannetele, mille puhul on kasu vahepealsest probleemilahendusest, näiteks mitmeastmelisest analüüsist, planeerimisest, koodi genereerimisest ja struktureeritud otsustamisest. Arutlemisrežiimi ei tohiks tõlgendada korrektsuse garantiina: rakendused vajavad endiselt valideerimist, eriti juhul, kui genereeritud kood või agendi tegevused mõjutavad väliseid süsteeme.

Programmeerimine on üks mudeli kavandatud kasutusvaldkondi. NVIDIA nimetab sihttöökoormustena programmeerimise abistamist ja juhiste järgimist ning mudel toetab lisaks inglise keelele mitut programmeerimiskeelt. Dokumenteeritud keelevalikusse kuuluvad muu hulgas hispaania, prantsuse, saksa, itaalia ja jaapani keel ning programmeerimiskeeled. Seetõttu sobib mudel koodi selgitamiseks, genereerimiseks, teisendamiseks, silumiseks ja tarkvarale keskenduvate agentide loomiseks.

Mudel sobib ka RAG-süsteemidele. RAG-rakendus otsib asjakohased dokumendid ja lisab need mudeli sisendisse, et vastused saaksid tugineda privaatsele või spetsialiseeritud teabeallikale. Pika konteksti võimalus võib olla kasulik siis, kui rakendus peab töötlema suuri otsingutulemuste kogumeid, pikki ülesannete ajalugu või ulatuslikke agendi tegevusjälgi. Suur kontekstiaken ei kõrvalda siiski vajadust hoolika otsingu, tükeldamise, allikate viitamise ja viipade kujundamise järele.

Nemotron 3.5 Lightning on dokumentatsiooni kohaselt mõeldud agentseks täitmiseks ja tööriistade kasutamiseks. See võib olla otsingu-, andmebaasi-, tarkvara- või ärisüsteemi tööriistu kasutava agendi keelekomponent. Mudel ise on ainult tekstipõhine, seega sõltuvad tööriistade kutsumine ja tegevuste täitmine ümbritsevast rakendusest või teenindusraamistikust. Arendajad peaksid määratlema selged tööriistade skeemid, õigused, valideerimise ja tõrgete käsitlemise, mitte lubama genereeritud tekstil käivitada piiramatuid tegevusi.

Kiiruse, kulude ja juurutuse kompromissid

Mudeli ligikaudu 3 miljardit aktiivset parameetrit, hübriidarhitektuur ja mitme märgi ennustamine on mõeldud genereerimise tõhususe parandamiseks. NVIDIA pakub ka spekulatiivse dekodeerimise meetodeid DSpark ja DFlash, mis on loodud genereerimise kiirendamiseks, ennustades mitut märki korraga või kasutades enne kontrollimist kiiremat abiprotsessi. Tegelik jõudlus sõltub GPU-st, kvantiseerimisvormingust, partiisuurusest, jada pikkusest, käituskeskkonnast ja teeninduskonfiguratsioonist.

NVFP4-variant võib võrreldes BF16-juurutusega vähendada mälu- ja arvutusvajadust, kuid kvantiseerimine võib mõne töökoormuse puhul kaasa tuua kvaliteedi- või ühilduvuskompromisse. BF16 on tavapärasem lähtkaalude vorming ning võib olla eelistatud juhul, kui riistvara mahu ja arvulise käitumise tähtsus ületab vajaduse ressursikasutust minimeerida. Need on juurutusvalikud, mitte eraldiseisvad mudeli võimekused.

Esitatud NVIDIA allikates ei ole kehtestatud universaalset märgipõhist hinda. Mudel on saadaval allalaaditavate kaaludena ning NVIDIA loetleb hindamiseks ja teenindamiseks NIM-i juurutuse, kuid läbi vaadatud materjal ei esita ühtset põhihinda, mis kehtiks kõigile kasutajatele. Tegeliku kulu võivad seega määrata taristu, GPU-d, litsentsimine, tugi ja NIM-i tingimused. Organisatsioonid, kes võrdlevad seda hallatud API-ga, peaksid arvesse võtma ka mudeli majutamise, jälgimise, skaleerimise ja hooldamise tegevuskulusid.

Modaalsused ja olulised piirangud

Nemotron 3.5 Lightning on tekstipõhine keelemudel. See võtab sisendina vastu teksti ja väljastab teksti. Esitatud mudelispetsifikatsioonid ei kinnita loomulikku pildi-, heli- ega videosisendit ning mudel ei genereeri otse pilte, heli, videot, muusikat ega kõnet. Multimodaalsed rakendused peaksid selle ümber lisama eraldi mudelid või eeltöötluskomponendid.

Seda ei esitleta ka hallatud esimese osapoole märgipõhise hinnaga teenusena, millel oleks kõigi klientide jaoks üks universaalne lõpp-punkt ja kindlad piirangud. Kasutajad, kes soovivad valmis pilvevestlusrobotit, sisseehitatud veebiotsingut või täielikult hallatud rakendust, võivad eelistada hallatud üldotstarbelist teenust. Nemotron 3.5 Lightning sobib paremini meeskondadele, kes suudavad ise mudeli juurutust hallata või kasutada NVIDIA toetatud teeninduskihti.

Avatud kaalud annavad rohkem kontrolli, kuid ühtlasi lähevad vastutused üle operaatorile. Riistvara valik, GPU-mälu, käituskeskkonna konfiguratsioon, turvalisus, skaleerimine, logimine, mudeli uuendamine ja väljundi hindamine jäävad juurutusega seotud ülesanneteks. Mudelikaardi kohaselt on eeltreeningu andmete lõpptähtaeg september 2025 ja järeltreeningu andmete lõpptähtaeg mai 2026. Need kuupäevad kirjeldavad treeningandmete värskust ega tähenda, et mudelil oleks reaalajas teadmised või veebiühendus. Esitatud spetsifikatsioonide kohaselt ei ole mudelil sisseehitatud veebiotsingu võimalust.

Millal valida Nemotron 3.5 Lightning?

See mudel on tugev kandidaat juhul, kui prioriteediks on tõhus ja iseseisvalt hallatav tekstigeneratsioon pikaajaliste töökoormuste jaoks. Sobivad näited on järgmised:

• Pikaajaliselt töötavad agendid, mis korduvalt planeerivad, tööriistu kasutavad ja tulemusi kokku võtavad.
• Suure mahuga programmeerimise abistamine või tarkvaraarenduse töövood.
• RAG-süsteemid, mis peavad töötlema suuri otsinguga hangitud kontekste.
• Privaatsed või spetsialiseeritud juurutused, kus avatud kaalud ja kohandatavus on olulised.
• Arutlemise ja juhiste järgimise rakendused, mis saavad kasu suhteliselt väikesest aktiivsete parameetrite arvust.
• Meeskonnad, kes hindavad BF16- või NVFP4-juurutust vLLM-i, SGLangi või NVIDIA NIM-i kaudu.

Teist tüüpi mudel võib olla sobivam juhul, kui vaja on loomulikku nägemist, kõnet, piltide või video genereerimist. Hallatud API võib olla eelistatav ka siis, kui meeskond ei soovi GPU-sid käitada ega järeldustaristut hooldada. Seevastu palju suurem tihe- või ekspertmudel võib olla parem valik ülesannete puhul, kus maksimaalne võimekus on tähtsam kui läbilaskevõime ja taristukulu. Nemotron 3.5 Lightningu väärtus seisneb tasakaalus: see on suunatud praktilisele kiirusele ja tööefektiivsusele, säilitades samal ajal 30 miljardi parameetriga mudeli mahutavuse.

Kontrollitud spetsifikatsioonid lühidalt

Kokkuvõttes on NVIDIA Nemotron 3.5 Lightning 30B-A3B suunatud arendajatele, kes vajavad tõhusat avatud kaaludega mudelit tekstipõhiste agentide, arutlemise, programmeerimise ja pika kontekstiga rakenduste jaoks. Selle aktiivsete parameetritega disain ja juurutuspaindlikkus on kõige selgemad eelised, samas kui taristu vajadus ja loomulike mittetekstiliste modaalsuste puudumine on peamised põhjused mõne muu variandi valimiseks.