Mis on NVIDIA Cosmos3-Nano?
NVIDIA Cosmos3-Nano on NVIDIA 16 miljardi parameetriga omnimodaalne maailma alusmudel. Selle eesmärk on kujutada ja genereerida füüsilise maailma võimalikke seisundeid. Praktikas suudab see kasutada teksti, piltide, video, heli ja tegevustrajektooride kombinatsioone, et luua visuaalseid või muid ennustusi selle kohta, mis võib järgmisena juhtuda.
See eristab Cosmos3-Nanot tavapärasest keelemudelist, mis on mõeldud peamiselt vestlemiseks, kokkuvõtete tegemiseks või koodi genereerimiseks. Dokumenteeritud kasutusvaldkondade hulka kuuluvad robootikauuringud, autonoomsete sõidukite arendus, tööstuslik simulatsioon, nutikate ruumide lahendused, sünteetilised treeningandmed ja muud töövood, kus tehisintellektisüsteem peab arutlema liikumise, keskkondade ja tegevuste üle.
NVIDIA positsioneerib mudeli oma Cosmos 3 perekonna Nano-tasemena. Esitatud mudelite jaotuses jääb see väiksema 4B Cosmos3-Edge'i ja suurema 64B Cosmos3-Superi vahele. Võrreldes suurema mudeliga on Nano mõeldud pakkuma praktilisemat tasakaalu genereerimiskvaliteedi ja juurutuskulude vahel, võimaldades samal ajal laiemat multimodaalset genereerimist kui väiksem mudel.
Mudeli toetatud sisendid ja väljundid
Cosmos3-Nano aktsepteerib mitut tüüpi sisendit. Nende hulka kuuluvad tekstipäringud, liikumatud pildid, video, heli ja tegevustrajektoorid. Tegevustrajektoor on liikumist või juhtimistegevusi kirjeldav jada, näiteks roboti või sõiduki läbitav teekond. Selle teabe kombineerimine võimaldab mudelil seostada vaatlusi võimalike tulevaste tegevuste ja seisunditega.
Dokumenteeritud genereerimisrežiimid hõlmavad järgmist:
- Tekstist pildiks: pildi genereerimine kirjaliku kirjelduse põhjal.
- Tekstist videoks: videolõigu genereerimine teksti põhjal.
- Pildist videoks: pildi animeerimine või laiendamine videolõiguks.
- Videost videoks: olemasoleva video teisendamine või jätkamine.
- Edasisuunaline dünaamika: keskkonna ja tegevustrajektoori põhjal tulevaste visuaalsete seisundite ennustamine.
- Poliitika: füüsilise maailma stsenaariumi jaoks tegevustega seotud ennustuste loomine.
- Pöörddünaamika: vaadeldud liikumise või seisundimuutustega seotud tegevuste tuletamine.
Väljundid võivad sisaldada teksti, pilte, videot, video genereerimisega seotud heli ja tegevusennustusi. Esitatud spetsifikatsioonid liigitavad nii sisendi kui ka väljundi multimodaalseks. Heli toetatakse sisendina ja video genereerimisega seotud väljundina, kuid Cosmos3-Nanot ei kirjeldata iseseisva kõnetuvastus- ega tekst-kõneks-mudelina.
Kuidas Cosmos3-Nano füüsilisi olukordi modelleerib
Mudel on eriti kasulik siis, kui soovitud tulemus on tõenäoline tulevane seisund, mitte faktiline kirjalik vastus. Näiteks saab stseeni kujutist koos tegevustrajektooriga kasutada järgnevate kaadrite ennustamiseks. Video- ja tegevusinfo võivad toetada ka pöörddünaamika ülesandeid, mille puhul süsteem hindab, millised tegevused vastavad vaadeldud liikumisele.
See võimekus on oluline sünteetiliste andmete töövoogudes. Robootikameeskond võiks kasutada genereeritud stseene ja tulevasi seisundeid, et täiendada taju- või juhtimissüsteemide treeningmaterjali. Autonoomse sõidu arendaja võiks uurida simuleeritud olukordi, mida on pärismaailmas keeruline, kulukas või ohtlik korduvalt jäädvustada. Teadlased saavad genereeritud jadasid kasutada ka selleks, et testida, kuidas allavoolusüsteemid muutuvatele keskkondadele reageerivad.
Neid väljundeid tuleks käsitleda mudeli genereeritud ennustustena, mitte garanteeritud füüsiliste simulatsioonidena. Esitatud uuring ei anna võrdlustulemusi ega garanteeri füüsilist täpsust. Robootikas või autonoomsetes süsteemides kasutatavate genereeritud andmete realistlikkust ja sobivust tuleb enne nende mõju ohutuskriitilistele otsustele kontrollida.
Arhitektuur, suurus ja juurutamisnõuded
Cosmos3-Nano kasutab NVIDIA Cosmos 3 Mixture-of-Transformers-arhitektuuri. Üldjoontes ühendab see arhitektuur eri tüüpi genereerimiseks erinevaid transformeri komponente. Autoregressiivne transformer tegeleb diskreetsete tokenite genereerimisega, difusioonitransformer aga sünteesib iteratiivse müravähenduse abil pidevaid modaalsusi, nagu pildid, video, heli ja tegevused.
Mudel on saadaval allalaaditavate NVIDIA kaaludena OpenMDW1.1 litsentsi alusel. Repositoorium sisaldab ligikaudu 35 GB mudeliartefakte, mistõttu vajab kohapealne kasutamine palju salvestusruumi ja sobivat GPU-taristut. NVIDIA dokumentatsioon nimetab Nano mudeli soovitusliku riistvarana RTX PRO 6000, H100 ja B200. Need nõuded teevad sellest tööjaama-, andmekeskuse- või spetsialiseeritud teadustöötluse lahenduse, mitte tavalisele sülearvutile mõeldud mudeli.
Cosmos3-Nanot saab juurutada NVIDIA Cosmose tarkvarastäkiga ning dokumentatsioon kirjeldab selle kasutamist ka vLLM-Omni teenindamise kaudu. Allalaaditav mudel annab meeskondadele suurema kontrolli juurutamise ja andmekäitluse üle, kuid kohapealne kasutamine tähendab ka vastutust riistvara hankimise, tarkvara seadistamise, jõudluse häälestamise ja operatiivse hoolduse eest.
Majutatud lõpp-punkt ja hinnastamine
NVIDIA pakub oma mudelikataloogi kaudu majutatud Cosmos3-Nano NIM-i lõpp-punkti. Dokumenteeritud lõpp-punkt toetab muu hulgas teksti-videoks, pildi-videoks, video-videoks, edasisuunalise dünaamika, poliitika ja pöörddünaamika režiime. Päringud on reži hüpõhised ning võivad viidata pildi- või videosisenditele kodeeritud meedia või juurdepääsetavate HTTP(S)-URL-ide kaudu.
Majutatud teenus rakendab sisendmeedia kontrolli ja visuaalset SynthID-vesimärgistust. NVIDIA esitleb lõpp-punkti esitatud dokumentatsioonis allalaaditava tasuta lõpp-punkti või prooviteenusena. Cosmos3-Nano standardset avalikku hinda tokeni, pildi või video kohta ei õnnestunud siiski kinnitada. Uuringus ei täpsustata ka universaalset kasutuslimiiti, latentsusaja kohustust ega väljundi maksimaalset kestust.
Seetõttu ei tohiks majutatud lõpp-punkti hinnata nii, nagu sellel oleks lihtne ja kinnitatud tarbijatele mõeldud tellimishind. Tootmismeeskonnad peaksid praegused juurdepääsutingimused, limiidid, taristukulud ja teenusetingimused otse NVIDIA-lt üle kontrollima. Allalaaditavad kaalud ja majutatud lõpp-punkt hõlmavad ka erinevaid kompromisse: kohapealne juurutamine võib pakkuda suuremat kontrolli, kuid nõuab kallist riistvara, samas kui majutatud juurdepääs vähendab taristuga seotud tööd, kuid sõltub lõpp-punkti saadavusest ja kasutustingimustest.
Olulised piirangud ja toetamata kasutusviisid
NVIDIA saadaolev dokumentatsioon ei täpsusta Cosmos3-Nano tavapärast kontekstiakent, maksimaalset tokeniväljundit ega teadmiste lõppkuupäeva. Need puuduvad andmed on olulised, sest tegemist on peamiselt maailma genereerimise ja füüsilise simulatsiooni mudeliga, mitte tavapärase teadmistele tugineva keelemudeliga. Kasutajad ei tohiks eeldada, et selle pika konteksti või teksti genereerimise piirangud on samad mis üldotstarbelisel suurtel keelemudelil.
Mudelit ei esitleta ka üldotstarbelise vestlusabilisena. See sobib halvasti tavavestluseks, laiapõhjaliseks faktiküsimustele vastamiseks, tarkvara kodeerimiseks, embedding'ute loomiseks, transkribeerimiseks või iseseisvaks kõnesünteesiks. Selle dokumenteeritud tööriistakasutuse seadistus on 0 ning üldist funktsioonikutsumise võimekust ei ole täpsustatud. Struktureeritud JSON-väljundit ei ole samuti kinnitatud.
Selle multimodaalseid võimeid tuleks seega mõista füüsilise maailma genereerimise kontekstis. Video või heli toetamine ei tähenda, et mudel asendab spetsiaalset videotöötlusprogrammi, kõnemudelit, tajusüsteemi või robootikakontrollerit. Tegevusennustused võivad olla suurema süsteemi osana kasulikud, kuid neid ei tohiks käsitleda automaatselt ohutute juhtimiskäskudena.
Arutlus, kodeerimine, kiirus ja kulukompromissid
Cosmos3-Nano arutlusvõime on spetsialiseeritud, mitte üldine. Selle kasulik arutlusvorm puudutab seoseid vaatluste, liikumise, tegevuste ja tulevaste füüsiliste seisundite vahel. Selle mudeli kohta esitatud toimetuslikus hinnangus antakse arutlusvõimele 7 punkti 10-st ja kodeerimisvõimele 2 punkti 10-st. Need on toimetuslikud võrdlushinded, mitte NVIDIA avaldatud võrdlustulemused.
Madal hinnang kodeerimisvõimele peegeldab mudeli kavandatud rolli: see on loodud füüsilise tehisintellekti ja maailma genereerimise, mitte tarkvaraarenduse jaoks. Programmide kirjutamiseks, silumiseks, dokumentatsiooni genereerimiseks või vestlusagendina tegutsemiseks sobib paremini eraldi keele- või koodimudel.
Esitatud toimetuslikes hinnetes saab Cosmos3-Nano kiiruse hindeks 6 ja kuluhindeks 8. Ka need hinded on subjektiivsed hinnangud, mitte teenusepakkuja spetsifikatsioonid. Kulueelis on suhteline võrreldes suuremate maailmamudelitega, näiteks Cosmos3-Superiga, ega tähenda, et kohapealne juurutamine oleks odav. 16B multimodaalne mudel ligikaudu 35 GB artefaktidega vajab endiselt märkimisväärselt salvestusruumi ja GPU-ressursse. Nano praktiline eelis seisneb selles, et see peaks olema vähem nõudlik kui 64B sõsarmudel, säilitades samal ajal laia valiku genereerimisrežiime.
Millal valida Cosmos3-Nano?
Cosmos3-Nano on tugev kandidaat juhul, kui põhiprobleem on seotud füüsiliste keskkondade, multimodaalse maailma genereerimise või tegevusest sõltuva ennustamisega. See sobib eriti hästi järgmisteks ülesanneteks:
- füüsilise tehisintellekti uuringute jaoks sünteetilise video ja visuaalsete stsenaariumide genereerimine;
- vaadeldud stseeni ja kavandatud tegevuste põhjal tulevaste kaadrite ennustamine;
- robootikakäitumise ja tegevusest sõltuvate keskkondade uurimine;
- autonoomsete sõidukite simulatsioonistsenaariumide ja treeningandmete loomine;
- pöörddünaamika uurimine video ja muude vaatluste põhjal;
- uuringusüsteemide loomine, mis vajavad allalaaditavaid kaalusid, mitte ainult majutatud liidest.
Valige see üldotstarbelise keelemudeli asemel siis, kui füüsilise maailma seisund, video genereerimine või tegevuste üle arutlemine on vestlusest ja kodeerimisest olulisem. Valige see suurema Cosmos3-Superi asemel siis, kui juurutusressursid ja kasutuskulud on piiratumad ning 64B mudeli täiendav mastaap pole vajalik. Väiksem Cosmos3-Edge võib olla sobivam juhul, kui riistvaranõuete vähendamine on kõige tähtsam, kuigi esitatud uuringu kohaselt pakub Nano sellest väiksemast tasemest laiemat multimodaalset genereerimist.
Teine lahendus võib olla parem tavavestluse, koodi genereerimise, dokumendianalüüsi, veebiuuringute, kõne transkribeerimise, iseseisva kõnesünteesi või embedding'ute ülesannete korral. Cosmos3-Nanot tuleks kasutada koos tavapäraste taju-, planeerimis-, valideerimis- ja ohutussüsteemidega, mitte üksi pärisroboti või sõiduki juhtimiseks.
Üldhinnang
NVIDIA Cosmos3-Nanot on kõige parem mõista kui füüsilise tehisintellekti jaoks mõeldud spetsialiseeritud 16B maailma mudelit. Selle eripära ei ole üldine keeleteadlikkus, vaid võime suunata genereerimist mitmesuguse füüsilise maailma teabe abil ning luua tulevasi visuaalseid, heliga seotud, tekstilisi või tegevustega seotud väljundeid.
Selle allalaaditavad kaalud, NIM-i lõpp-punkt ning video, piltide, heli ja tegevustrajektooride tugi annavad sellele laiad juurutusvõimalused. Samal ajal muudavad riistvaranõuded, täpsustamata konteksti- ja väljundipiirangud, kinnitatud avaliku mudelipõhise hinnastamise puudumine ning piiratud sobivus vestluseks ja kodeerimiseks projekti hoolika valiku hädavajalikuks. Robootika, simulatsiooni, autonoomsete sõidukite uurimise ja sünteetiliste andmete töövoogude puhul võivad need kompromissid olla põhjendatud; üldotstarbelise tehisintellektiabi jaoks sobib paremini teistsugune mudelitüüp.