Mis on NVIDIA Cosmos3-Super?
NVIDIA Cosmos3-Super on 64 miljardi parameetriga avatud omnimodaalne maailmamudel füüsilise tehisintellekti jaoks. Praktilises mõttes on see loodud füüsilises maailmas toimuvate olukordade kujutamiseks ja genereerimiseks: robot liigub tööalas, sõiduk läbib keskkonda või keskkond muutub aja jooksul.
Mudel on mõeldud robootika, autonoomsete sõidukite, tööstussüsteemide, nutikate ruumide, simulatsiooni ja sünteetiliste andmete genereerimise jaoks. Selle asemel et toimida peamiselt üldotstarbelise vestlusmudelina, saab Cosmos3-Super kasutada visuaalset ja tegevusinfot võimalike füüsilise maailma tagajärgede modelleerimiseks. Seda esitletakse ka õpetajamudelina destilleerimise ja järeltreeningu jaoks, mille puhul mudeli väljundid võivad aidata treenida väiksemaid või spetsialiseeritumaid süsteeme.
NVIDIA levitab mudelit OpenMDW 1.1 litsentsi alusel avatud kaaludena nii äriliseks kui ka mitteäriliseks kasutuseks, vastavalt kaasasolevale mudeliinfole. Avatud kaalud võivad anda teadus- ja insenerimeeskondadele rohkem kontrolli kui suletud hostitud teenus, kuid sellise suurusega mudeli käitamine nõuab endiselt märkimisväärset taristut.
Kuidas mudel on üles ehitatud
Cosmos3-Super kasutab Mixture-of-Transformers-arhitektuuri, milles on kaks teineteist täiendavat töötlemisrada. Autoregressiivne transformer tegeleb diskreetsete tokenite genereerimise ja arutlemisega. Difusioonitransformer genereerib pidevaid modaalsusi, näiteks pilte, videot, heli ja tegevusi.
Selline eraldatus toetab kahte omavahel seotud töövoogu. Arutlusmoodul tõlgendab multimodaalseid sisendeid ning võib tagastada tekstilist arutluskäiku, visuaalse maandamise infot, ajalist mõistmist, punktide lokaliseerimist ja piirdekastide koordinaate. Seejärel genereerib generaator simuleeritud või ennustatud sisu, sealhulgas visuaalseid stseene, heli sisaldavat videot ja tegevuste trajektoore.
Algaja jaoks on see eristus kasulik: arutlusmoodul sarnaneb rohkem analüüsi- ja mõistmiskomponendiga, samal ajal kui generaator on mõeldud võimalike tulevikuseisundite või treeningnäidete loomiseks. Seetõttu tuleks mudelit mõista pigem maailmamodelleerimise süsteemi kui tavapärase ainult tekstiga suure keelemudelina.
Toetatud sisendid ja väljundid
Dokumentatsiooni kohaselt aktsepteerib arutlusmoodul teksti, teksti koos piltidega ning teksti koos videoga. Dokumenteeritud konteksti mahutavus on kuni 256K tokenit. Selline pikk kontekst võib olla kasulik ülesannetes, mis nõuavad ulatuslikku multimodaalset infot, kuigi kaasasolev uurimismaterjal ei määra universaalset väljundi maksimaalset suurust.
Generaator aktsepteerib mitut tüüpi sisendeid:
- Tekstipäringud
- JPG-, PNG-, JPEG- või WebP-pildid
- MP4-video
- JSON-vormingus tegevuste trajektoorid
Piltide ja videote puhul saab kasutada dokumenteeritud eraldusvõimeid 256p, 480p ja 720p. Levinud toetatud kuvasuhted on 16:9, 4:3, 1:1, 3:4 ja 9:16. Videosisendid võivad sisaldada heli; NVIDIA dokumentatsioon määrab multipleksitud MP4-sisendite jaoks stereoheli sagedusega 48 kHz.
Väljundid võivad sisaldada teksti, JPEG-pilte, MP4-videot ja JSON-iga ühilduvaid ühemõõtmelisi tegevusloendeid. Genereeritud video võib sisaldada sünkroniseeritud heli, mis on kodeeritud stereo-AAC-vormingus sagedusega 48 kHz ja multipleksitud MP4-faili. See erineb eraldi heligenereerimise lõpp-punkti pakkumisest: kaasasoleva dokumentatsiooni järgi on heli genereeritud video osa, mitte eraldiseisev helifail.
Dokumenteeritud videogenereerimine toetab pikkusi viiest kuni 400 kaadrini, kusjuures vaikimisi genereerimise pikkusena on loetletud 189 kaadrit. Toetatud kaadrisagedused on 10, 16, 24 ja 30 kaadrit sekundis, sõltuvalt valitud käituskeskkonnast ja kontrollpunkti konfiguratsioonist.
Milleks Cosmos3-Superit kasutatakse?
Mudeli peamine väärtus seisneb selle võimes genereerida usutavaid füüsilise maailma tulevikuseisundeid ja multimodaalseid treeningandmeid. Robootikameeskond võib genereerimist tingida pildi, video, tekstikirjelduse või tegevusjärjestuse põhjal ning kasutada saadud stseene simulatsiooniks või järeltreeninguks. Autonoomse sõidu meeskond võib seda kasutada tulevaste visuaalsete seisundite uurimiseks dokumenteeritud sõiduki liikumise tingimustes.
Võimalikud sobivad töökoormused on järgmised:
- Sünteetiliste pildi- ja videoandmete genereerimine tajumismudelite või kehastatud tehisintellekti treenimiseks
- Tulevaste visuaalsete stseenide ennustamine või simuleerimine praeguste vaatluste põhjal
- Õpetajamudeli väljundite loomine väiksematesse mudelitesse destilleerimiseks
- Roboti käitumise ja tegevustega tingitud maailmamudelite uurimine
- Autonoomsete sõidukite ja tööstussimulatsiooni töövoogude toetamine
- Objektide ja asukohtade määramine piltidel või videotes punktide ja piirdekastide abil
Tegevuste genereerimine sõltub kehastusest ega ühildu universaalselt kõigi robotitega. Dokumenteeritud näited hõlmavad kaamera liikumist, autonoomsete sõidukite liikumist, egotsentrilist liikumist, ühe- ja kahekäelisi roboteid, AgiBoti platvorme, UR-roboteid, Google'i roboteid, WidowX 250 ja UMI konfiguratsioone. Seetõttu tuleb genereeritud tegevused siduda toetatud kehastusega ja valideerida enne nende kasutamist simulatsioonis või riistvaral.
Arutlemine, kodeerimine ja tööriistade tugi
Cosmos3-Superil on arvestatavad multimodaalse arutlemise võimed, eriti visuaalse maandamise, ajalise mõistmise, punktide lokaliseerimise ja piirdekastide koordinaatide valdkonnas. Selle arutlusmoodul töötab teksti, piltide ja videoga, mistõttu sobib see füüsiliste stseenide ja aja jooksul toimuvate sündmuste tõlgendamiseks.
See ei ole eeskätt kodeerimismudel. Kaasasolevas hindamises sai see kodeerimiseks madala sobivusskoori ning mudeli eesmärk on maailmamodelleerimine, mitte tarkvaraarendus. See võib olla kasulik struktureeritud tegevusinfo loomiseks või suurema füüsilise tehisintellekti töövoo toetamiseks, kuid koodi genereerimist, silumist või tavapärast programmeerimisabi vajavad meeskonnad peaksid valima nende ülesannete jaoks loodud mudeli.
Selle konkreetse kontrollpunkti puhul ei ole tööriistade kasutamise ega funktsioonikutsete võimekust dokumenteeritud. Tegevuste trajektoorid on mudeli väljundid, mitte tõend üldotstarbelisest API-tööriistade kasutamisest. Samuti ei ole kaasasolevas uurimismaterjalis kinnitatud eraldiseisvat JSON-režiimi, voogedastuse funktsiooni, partiiliidest, vahemällu salvestamise süsteemi ega väljundi maksimaalset tokenipiirangut.
Riistvara, juurutamine ja kiiruse kompromissid
Cosmos3-Super on suur mudel, mis on mõeldud andmekeskustes juurutamiseks. NVIDIA nimetab oma mudelite maatriksis soovitusliku riistvarana H200, B200 ja GB200 süsteeme. Mudelihoidla sisaldab ka mitme GPU konfiguratsioone ning dokumenteeritud teenindamisnäited jaotavad mudeli mitme suure mälumahuga GPU vahel.
Seda saab alla laadida NVIDIA Hugging Face'i hoidlast ja juurutada NVIDIA Cosmose tarkvara, ühilduvate difusioonitööriistade, vLLM-Omni või NVIDIA NIM-il põhineva taristu kaudu. Need on juurutusviisid, mitte üks kindel garanteeritud hostitud API-kogemus, seega sõltuvad täpne seadistus, latentsus ja kasutuskulu valitud käituskeskkonnast ning riistvarast.
Peamine kompromiss seisneb võimekuse ning kiiruse ja kulude vahel. 64 miljardi parameetriga mudel, mis genereerib videot, sünkroniseeritud heli ja tegevuste trajektoore, vajab oluliselt rohkem arvutusvõimsust kui väike tekstimudel või servaseadmetele keskenduv multimodaalne mudel. Kaasasolevas hindamises on selle kiiruse ja kulude sobivust hinnatud madalamalt kui arutlusvõimet, mis peegeldab seda taristukoormust. Need hinded on toimetuslikud hinnangud, mitte NVIDIA avaldatud võrdlustulemused.
Seetõttu sobib Cosmos3-Super paremini organisatsioonidele, kes haldavad mitme GPU-ga servereid või pilvetaristut, kui tavapäraste tööjaamade kasutajatele. Meeskonnad, kes vajavad piiratud ressurssidega seadmetes väikese latentsusega juurutust, peaksid uurima väiksemaid Cosmose mudeleid, sealhulgas Cosmos3-Nano või Cosmos3-Edge, kui nende töökoormus võimaldab väiksemat mahtu või väiksemat võimekust.
Kontekstipiirangud ja praktilised piirangud
Arutlusmooduli dokumenteeritud konteksti mahutavus on kuni 256K tokenit. See on multimodaalse arutlemise jaoks suur sisendaken, kuid seda ei tohiks tõlgendada lubadusena, et iga töövoog suudab töödelda suvalise pikkuse või eraldusvõimega meediat. Praktilist töökoormust mõjutavad video pikkus, eraldusvõime, kaadrisagedus, käituskeskkond ja kontrollpunkti konfiguratsioon.
Kaasasoleva dokumentatsiooni kohaselt toetab generaator viiest kuni 400 kaadrini pikkuseid videoid, kuid tegelik arvutuslik kulu kasvab koos eraldusvõime, pikkuse ja genereerimisseadetega. Uurimismaterjalis ei määrata tekstile eraldi väljundi maksimaalset tokenipiirangut, mistõttu sellist piirangut ei tohiks eeldada.
Ka genereeritud tegevused vajavad hoolikat valideerimist. Usutav trajektoor ei ole automaatselt ohutu, füüsiliselt teostatav ega konkreetsele robotile sobiv. Rakendused peaksid väljundeid simulatsioonis testima, rakendama ülesandespetsiifilisi piiranguid ja säilitama riistvarataseme ohutuskontrollid. NVIDIA vaikimisi järeldusmootor sisaldab Cosmos Guardraili komponente, kuid kaitsemeetmed ei asenda rakenduse taseme valideerimist.
Hind ja saadavus
Cosmos3-Superi kontrollpunkti ametlikku NVIDIA hinnakirja tokeni kohta ei leitud. Mudelit levitatakse avatud kaaludena, mitte tavapärase hostitud vestlusmudelina, millel oleks standardne kuupakett või prognoositavad sisend- ja väljundtokenite hinnad.
See ei tähenda, et juurutamine oleks tasuta. Kasutajatel võivad tekkida kulud andmekeskuse GPU-de, pilveeksemplaride, salvestusruumi, võrgu, inseneritöö ja operatiivtoe eest. Kogukulu sõltub sellest, kas mudelit majutatakse ise, juurutatakse taristupakkuja kaudu või kasutatakse NVIDIA tehnoloogia ümber loodud eraldi teenust. Seetõttu tuleks kolmanda osapoole hostimise hinda käsitleda teenusepakkuja konkreetse teenuse hinnana, mitte mudeli enda ametliku hinnana.
Peamised tugevused ja piirangud
| Valdkond | Hinnang |
|---|---|
| Peamine tugevus | Ühendab multimodaalse arutlemise maailmasimulatsiooni, videogenereerimise, sünkroniseeritud heli ja tegevuste genereerimisega. |
| Sisendite valik | Dokumenteeritud on tekst, pildid, video, heli sisaldav video ja JSON-vormingus tegevuste trajektoorid. |
| Väljundite valik | Tekst, pildid, multipleksitud heliga MP4-video ja kehastusespetsiifilised tegevusloendid. |
| Kohandatavus | Avatud kaaludena levitamine toetab isehostimist ja teadusuuringuteks kohandamist. |
| Peamine piirang | Vajab märkimisväärset mitme GPU-ga taristut ega ole mõeldud kergeks servaseadmetes kasutamiseks. |
| Tegevuste piirang | Tegevuste väljundid on seotud dokumenteeritud kehastustega ja need tuleb enne juurutamist valideerida. |
| Hinna piirang | Selle konkreetse kontrollpunkti ametlikku tokenipõhist hinda ei ole tuvastatud. |
Millal valida Cosmos3-Super?
Vali Cosmos3-Super siis, kui projekt vajab suurt avatud multimodaalset maailmamudelit ning suudab katta sellega seotud riistvara- ja inseneritöö nõuded. See sobib eriti hästi füüsilise tehisintellekti meeskondadele, kes tegelevad sünteetiliste andmete, robootikauuringute, autonoomsete sõidukite simulatsiooni, multimodaalse stseenimõistmise või õpetajamudeli destilleerimisega.
Selle avatud kaaludena levitatav vorm võib olla atraktiivne ka organisatsioonidele, kes peavad mudelit suletud üldotstarbelisele API-le toetumise asemel uurima, kohandama või ise hostima. Pika kontekstiga arutlusmooduli ja multimodaalse generaatori kombinatsioon on kasulik siis, kui sama uurimistöövoog vajab nii stseeni tõlgendamist kui ka tulevikuseisundite genereerimist.
Teine lahendus on sobivam juhul, kui esmatähtsad on kiire järeldamine, väikesed kasutuskulud, tarbijatele mõeldud vestlus, üldine kodeerimine, servaseadmetes juurutamine või lihtne hallatud API avaldatud tokenihindadega. NVIDIA väiksemad Cosmos3-Nano ja Cosmos3-Edge mudelid võivad piiratud ressurssidega juurutusteks paremini sobida, samas kui tavapäraste teksti- ja tarkvaraülesannete puhul on parem valik spetsiaalne keele- või kodeerimismudel.
Kokkuvõte
Cosmos3-Super on spetsialiseeritud avatud mudel füüsilise tehisintellekti süsteemide loomiseks ja uurimiseks. Selle eripära ei ole tavapärane vestlus, vaid võime ühendada multimodaalne mõistmine genereeritud visuaalsete tulevikuseisundite, sünkroniseeritud heli ja tegevuste trajektooridega. See muudab mudeli asjakohaseks robootika, autonoomsete sõidukite, simulatsiooni ja sünteetiliste andmete töövoogude jaoks.
Sama spetsialiseeritus loob ka mudeli peamised puudused: suured taristunõuded, kehastusespetsiifiline tegevuste tugi, tuvastamata ametlik tokenipõhine hind ja piiratud sobivus tavapäraseks vestluseks või kodeerimiseks. Meeskondadele, kellel on vajalikud GPU-ressursid ja füüsilise maailma modelleerimise ülesanne, pakub Cosmos3-Super laia võimalustega avatud kaaludega alust. Väiksemate, kiiremate või prognoositavamate juurutuste puhul on tõenäoliselt praktilisem kergem mudel või konkreetseks otstarbeks loodud hostitud teenus.