Mis on NVIDIA Cosmos3-Edge?
NVIDIA Cosmos3-Edge on füüsilise tehisintellekti jaoks mõeldud multimodaalne maailmamudel. Praktilises mõttes on see loodud aitama tehisintellektisüsteemil mõista muutuvaid füüsilisi keskkondi, mitte toimima peamiselt üldotstarbelise vestlus- või kodeerimisabilisena. See suudab ühendada keelelise teabe visuaalse info ja tegevusandmetega, et toetada selliseid ülesandeid nagu robotite tajumine, visuaalne arutlus, juhtpoliitikate väljatöötamine ja sünteetiliste maailmade genereerimine.
Mudel on NVIDIA Cosmos 3 mudeliperekonna kompaktne Edge'i versioon. Selle ligikaudu 4 miljardi parameetriga maht peaks muutma juurutamise serva- ja tööjaamariistvaral lihtsamaks kui palju suurema maailmamudeli kasutamise. NVIDIA nimetab sihtplatvormidena muu hulgas Jetson AGX Orini, Jetson Thorri, RTX PRO süsteeme ja teisi ühilduva NVIDIA GPU-ga keskkondi.
Cosmos3-Edge'i levitatakse NVIDIA mudelilitsentsi tingimuste alusel avatud mudelikontrollpunktina, kuid juurdepääs Hugging Face'i hoidlale on piiratud. Enne allalaadimist peavad kasutajad juurdepääsu taotlema ja autentima. See erineb tavapärasest majutatud vestlusrobotist: kaasasolev uurimismaterjal ei tuvasta selle mudeli jaoks ametlikku majutatud API-t sisend- või väljundmärgi hinnastamisega ega tavalist tarbijatele mõeldud tellimust.
Eesmärk ja positsioon Cosmos 3 mudeliperekonnas
Cosmos3-Edge on mõeldud olukordadeks, kus on olulised järeldamise kiirus, mälutõhusus ja lokaalne juurutamine. Mudel on suunatud füüsilise tehisintellekti rakendustele, mis võivad vajada reageerimist anduriandmete allikale võimalikult lähedal, näiteks robotites, tehasesüsteemides, autonoomsetes masinates ja servaseadmetes töötavates videoanalüüsisüsteemides.
Väiksema mahu puhul tuleb teha kompromiss. NVIDIA suuremad variandid Cosmos3-Nano ja Cosmos3-Super sobivad paremini siis, kui prioriteediks on suurem mudelimaht, kõrgem visuaalne kvaliteet, ulatuslikum genereerimistugi või täitmine suures andmekeskuses. Cosmos3-Edge keskendub seevastu praktilisele juurutamisele suhteliselt piiratud võimalustega NVIDIA riistvaral.
See positsioon eristab seda üldotstarbelisest keelemudelist. Seda ei esitleta ettevõtetele mõeldud vestlusmudeli, kodeerimismudeli ega laialdaste teadmistega abilisena. Selle väärtus seisneb visuaalse mõistmise, füüsilise arutluse, maailma genereerimise ja tegevuste ennustamise ühendamises ühes füüsilisele tehisintellektile suunatud mudelikontrollpunktis.
Sisendid ja väljundid
Cosmos3-Edge toetab mitut füüsiliste keskkondadega seotud sisenditüüpi:
- Tekst: viibad ja tekstipõhised arutlusülesanded.
- Pildid: visuaalsed vaatlused ja pildist sõltuvad töövood.
- Video: ajas muutuv visuaalne info mõistmis- ja genereerimisülesannete jaoks.
- Tegevusandmed: tegevustest sõltuv tingimine ja robotite juhtpoliitikatele suunatud töövood.
Sõltuvalt integratsioonist ja valitud režiimist võib see genereerida teksti, pilte, videoid ja tegevusjada. Tegevusväljund on eriti oluline robootikas ja kehastunud agentide puhul, kus mudel peab võib-olla ennustama või toetama toimingute jada, mitte tagastama ainult tekstilist vastust.
Praegune Edge'i mudel kontrollpunkt ei toeta mõne suurema Cosmos 3 variandi puhul kirjeldatud heliga genereerimise töövoogu. NVIDIA hallatav Cosmos Frameworki dokumentatsioon seostab seda piirangut vajaliku helitokeniseerija puudumisega. Seetõttu ei tohiks heli sisendit ega väljundit selle mudelikontrollpunkti toetatud funktsioonide hulka arvata.
Video-videoks teisendamist ei toetata praegu ka hallatavas Cosmos 3 mudeliteabes. Avaldatud Edge'i-spetsiifilised genereerimispiirangud hõlmavad 256p ja 480p eraldusvõimet, kaadrisagedust 12–30 kaadrit sekundis ning ligikaudu 50–150 kaadri pikkuseid genereerimisi. Need on dokumenteeritud töövoopiirangud, mitte garantii, et iga integratsioon pakub täpselt samu seadeid.
Arhitektuur ja konteksti pikkus
Avaldatud konfiguratsioon kirjeldab multimodaalset arhitektuuri, mis koosneb nägemiskodeerijast, projektsioonikihist ja tihedast keelelisest põhikomponendist. Tekstikomponent kasutab 28-kihilist dekoodrit, mille peidetud kihi suurus on 2048 dimensiooni. Nägemiskomponent põhineb SigLIP2-l, mis on nägemiskodeerija arhitektuur ja mida kasutatakse pilditeabe teisendamiseks esitusteks, mida keele- ja genereerimiskomponendid saavad töödelda.
Avaldatud tekstikonfiguratsioon määrab maksimaalseks positsiooniliseks pikkuseks 131 072 tokenit. See on tekstikomponendi dokumenteeritud kontekstiga seotud positsiooniline piirang. Seda ei tohiks tõlgendada lubadusena, et iga pildi- või videotöövoog suudab vabalt töödelda samaväärset praktilist sisendandmete hulka: visuaalkodeeringud, eeltöötlus, mälupiirangud ja valitud raamistik võivad kasutatavat mahtu mõjutada.
Transformers'i integratsioon pakub arutluskomponenti tekstivastuste genereerimiseks teksti-, pildi- või videosisenditest. Diffusers ja sellega seotud Cosmose integratsioonid pakuvad genereerimisele suunatud töövooge visuaalse sisu genereerimiseks ning tegevustega seotud režiimide jaoks. Täpne tarkvaratee sõltub seega sellest, kas ülesanne on vaatluste üle arutlemine, visuaalse sisu genereerimine või füüsilise tehisintellekti juhtpoliitika töövoo toetamine.
Juurutamine, kiirus ja kulukompromissid
Cosmos3-Edge on mõeldud väikese latentsusega järeldamiseks NVIDIA serva-, tööjaama- ja GPU-platvormidel. Mudeli lokaalne käitamine võib vähendada sõltuvust kaugjäreldusteenusest ning olla kasulik olukordades, kus anduriandmed peavad jääma roboti või masina lähedusse. Samuti annab see arendajatele suurema kontrolli käituskeskkonna seadistuse ja füüsilise süsteemiga integreerimise üle.
Kompromissiks on suurem käitamise keerukus. Kasutajad vajavad ühilduvat NVIDIA riistvara, sobivat Linuxi-põhist tarkvaravirna, draivereid, mudelifaili ja valitud töövoo jaoks piisavalt mälu. Mudel ei ole valmis veebirakendus, mida saab kohe kasutama hakata. Riistvaranõuded ja reaalaja jõudlus sõltuvad eraldusvõimest, kaadrisagedusest, jada pikkusest, kvantimise või optimeerimise valikutest ning genereerimistorustiku keerukusest.
Esitatud uurimismaterjal ei tuvasta ametlikku majutatud hinda sisend- või väljundmärgi kohta. Mudelikontrollpunkt on piiratud juurdepääsuga mudelihoidla kaudu saadaval, kuid lokaalse juurutamisega kaasnevad siiski taristukulud, sealhulgas GPU-riistvara, elekter, salvestusruum, arendusaeg ja hooldus. Meeskondade jaoks, kellel sobiv NVIDIA riistvara puudub, võib majutatud mudel või suurem pilvepõhine teenus olla lihtsam isegi siis, kui selle korduvkasutuse kulu on nähtavam.
Arutlus, kodeerimine ja tööriistade tugi
Cosmos3-Edge on loodud füüsiliseks arutluseks: visuaalsete stseenide tõlgendamiseks, keskkonnas toimuvate võimalike muutuste modelleerimiseks ning tegevus- või juhtpoliitikale suunatud järeldamise toetamiseks. Seetõttu on selle arutlusvõime kasulik kehastunud rakendustes, kuid seda ei tohiks segi ajada üldotstarbelise arutlusmudeliga, mis on optimeeritud matemaatika, teadustöö või pika vormiga ärianalüüsi jaoks.
See ei ole mõeldud kodeerimismudeliks. Esitatud uurimismaterjal ei dokumenteeri spetsiaalseid koodi genereerimise võimeid, tarkvaraagendi käitumist, funktsioonikutseid ega väliste tööriistade käivitamist. Arendajad saavad mudelikontrollpunkti integreerida suuremasse robootika- või arvutinägemissüsteemi, kuid seda ümbritsevat orkestreerimist ei tohiks omistada Cosmos3-Edge'ile endale.
Samuti ei ole avatud mudelikontrollpunkti jaoks määratletud kontrollitud voogedastust, pakktöötluse API-t, JSON-režiimi, vahemällu salvestamist ega majutatud funktsiooni- ja tööriistakutsumise liidest. Struktureeritud tegevusjadad võivad olla osa mudeli töövoost, kuid see ei ole sama mis dokumenteeritud üldotstarbeline JSON-i või tööriistakutsete API.
Peenhäälestus ja kohandamine
NVIDIA pakub Cosmos3-Edge'i juhendatud peenhäälestuse retsepte. Dokumenteeritud töövood hõlmavad nägemisgenereerija peenhäälestust ja füüsilise usutavuse joondamist VideoPhy-2 abil. Need võimalused on asjakohased siis, kui arendaja soovib kohandada mudeli konkreetse keskkonna, videovaldkonna, robootikaandmestiku või füüsilise käitumise profiiliga.
Peenhäälestus võib muuta mudelikontrollpunkti spetsialiseeritud juurutuse jaoks kasulikumaks, kuid suurendab ka arenduskoormust. Meeskonnad vajavad sobivaid treeningandmeid, piisava võimekusega ühilduvaid GPU-sid, hindamisprotseduure ja võimalust kontrollida, kas genereeritud tegevused või stseenid on füüsiliselt usutavad. Ei tohiks eeldada, et peenhäälestus lisab praegusele Edge'i mudelikontrollpunktile toetamata modaalsusi, näiteks heli.
Peamised tugevused ja piirangud
Tugevused
- Kompaktne fookus füüsilisele tehisintellektile: ligikaudu 4 miljardi parameetriga mudel on mõeldud praktilisemaks serva- ja tööjaamajuurutuseks kui suuremad maailmamudeli variandid.
- Lai multimodaalne tugi: see ühendab teksti-, pildi-, video- ja tegevussisendid teksti-, pildi-, video- ja tegevustele suunatud väljunditega.
- Servaseadmetele suunatud disain: see on mõeldud väikese latentsusega järeldamiseks näiteks Jetsoni süsteemidel ja NVIDIA GPU-del.
- Kasulik integratsioon robootikaga: tegevustest sõltuv tingimine ja tegevusjadade ennustamine toetavad juhtpoliitikale suunatud eksperimente.
- Kohandamisvõimalused: NVIDIA pakub visuaalse genereerimise ja füüsilise usutavuse joondamise peenhäälestusretsepte.
Piirangud
- Heli genereerimise töövoog puudub: praegune Edge'i mudelikontrollpunkt ei sisalda dokumenteeritud heliga töövoo jaoks vajalikku helitokeniseerijat.
- Sõltuvus riistvarast: praktiliseks kasutamiseks on vaja ühilduvat NVIDIA GPU-riistvara ja sobivat tarkvarakeskkonda.
- Väiksem võimekus kui suurematel sõsarmudelitel: kompaktne disain võib olla vähem sobiv siis, kui maksimaalne visuaalne kvaliteet või suuremahuline genereerimine on latentsusest ja juurutusmahust olulisem.
- Dokumenteeritud majutatud hinnastus puudub: kasutajad peaksid kavandama lokaalse taristu kasutamist, mitte eeldama valmis tasulise sisend- või väljundmärgi põhist lõpp-punkti.
- See ei ole üldotstarbeline vestlus- ega kodeerimismudel: füüsilise maailma eripädevus on robootikas eelis, kuid piirang tavapäraste vestlus-, kodeerimis- või ettevõtte teadmistega seotud ülesannete puhul.
- Töövoospetsiifilised piirangud: toetatud eraldusvõimed, kaadrisagedused, kaadrite arvud ja genereerimisrežiimid sõltuvad hallatavatest Cosmose integratsioonidest.
Millal valida Cosmos3-Edge?
Vali Cosmos3-Edge siis, kui põhiprobleem on seotud füüsiliste keskkondadega ja juurutus peab jääma suhteliselt serva lähedale. See sobib hästi robotite tajumise ja juhtpoliitika prototüüpimiseks, kaameraandmete visuaalseks analüüsiks, autonoomsete süsteemide katsetamiseks, sünteetiliste visuaalandmete genereerimiseks ning maailmamudelite uurimiseks Jetsoni või NVIDIA GPU riistvaral.
Selle kompaktne maht on eriti oluline siis, kui süsteem vajab väiksemat latentsust või väiksemat juurutusjalajälge, kui suurem maailmamudel suudaks pakkuda. Lokaalne käitamine võib olla eelistatav ka siis, kui kaamera- või anduriandmete saatmine kaugteenusesse on ebasoovitav või ebapraktiline.
Teine lahendus võib olla sobivam, kui ülesandeks on üldotstarbeline vestlus, koodi genereerimine, veebiuuringud, heli genereerimine või suuremahuline kvaliteetse video tootmine. Suurem Cosmosi variant sobib paremini siis, kui prioriteediks on mudeli võimekus, visuaalne kvaliteet või ulatuslikum genereerimistugi. Majutatud üldotstarbeline mudel võib olla lihtsam meeskondade jaoks, kellel ei ole ühilduvat NVIDIA riistvara või kes ei soovi seadmes töötavat järeldamisvirna hallata.
Üldjoontes tuleks Cosmos3-Edge'i mõista kompaktse füüsilise tehisintellekti alusmudelina, mitte universaalse abilisena. Selle keskne kompromiss on selge: see pakub arendajatele multimodaalset maailma mõistmist ja tegevustele suunatud töövooge väiksemas servaseadmetele keskenduvas paketis, kuid eeldab spetsiaalset riistvara ning pakub suuremate või pilvepõhiste alternatiividega võrreldes väiksemat võimekust ja kitsamat üldotstarbelist tuge.