Mis on NVIDIA Cosmos-Transfer2.5-2B?
NVIDIA Cosmos-Transfer2.5-2B on 2 miljardi parameetriga maailma genereerimise mudel füüsilise tehisintellekti (Physical AI) jaoks. Küsimustele vastamise või tavalise teksti loomise asemel genereerib see videoid, mis kujutavad füüsilise stseeni võimalikke variatsioone. Sisend võib ühendada tekstikirjelduse visuaalsete juhtsignaalidega, mis on saadud salvestatud videost või simulaatorist.
Näiteks võib arendaja anda mudelile video või simuleeritud stseeni koos sügavus-, segmenteerimis- või servainfoga ning paluda luua variatsiooni teistsuguse valgustuse, ilma, objektide, tausta või muude nähtavate tingimustega. Eesmärk on säilitada oluline geomeetria ja liikumine, muutes samal ajal maailma valitud aspekte.
Mudel kuulub NVIDIA Cosmose mudeliperre ja põhineb mudelil Cosmos-Predict2.5. Transfer2.5 seeria keskendub visuaalsete stsenaariumide muutmisele ja täiendamisele, mistõttu erineb see oluliselt üldotstarbelisest keelemudelist või tavapärasest tarbijatele mõeldud teksti-videoks rakendusest.
Peamine otstarve ja koht NVIDIA tootevalikus
Cosmos-Transfer2.5-2B on mõeldud arendajatele, kes loovad robootika-, autonoomse sõidu, simulatsiooni ja sünteetiliste andmete süsteeme. NVIDIA kirjeldab seda kui füüsilise tehisintellekti jaoks mõeldud juhitavat maailmamudelit: tarkvara, mis peab füüsilises keskkonnas tajuma, ennustama või tegutsema.
Transfer2.5 mudeliperes dokumenteerib NVIDIA üldotstarbelised, autonoomsete sõidukite ja robotite mitme vaatega juhtimise kontrollpunktid. Seega tuleks siin käsitletavat 2B mudelit mõista kui üht kontrollpunkti spetsialiseeritud videogenereerimise peres, mitte eraldiseisva vestlusroboti või üldise AI-assistendina.
Mudel on NVIDIA mudeli lõpp-punkti, repositooriumi, dokumentatsiooni ja kontrollpunktide levitamise kaudu endiselt avalikult kättesaadav. NVIDIA esitatud uurimismaterjalides on siiski märgitud, et pärast Cosmose 3 käivitamist 1. juunil 2026 ei ole Transfer2.5 enam aktiivses arenduses. Cosmos 3 on uuem platvorm tulevaste mudelite, dokumentatsiooni ja tugiteabe jaoks. Transfer2.5-2B võib siiski sobida juhul, kui olemasolev töövoog sõltub selle kontrollpunktist, koodist või tingimusinfo vormingust.
Kuidas selle visuaalne tingimine töötab?
Cosmos-Transfer2.5-2B kasutab adaptiivset mitme juhtsignaaliga tingimist. Praktikas tähendab see, et korraga saab edastada eri tüüpi juhiseid, võimaldades genereeritud videol järgida nii stseeni struktuuri kui ka kirjalikku juhist.
Toetatud juhtsisendid
- Sügavuskaardid: annavad kauguse ja geomeetria kohta teavet, et genereeritud stseen säilitaks ruumilised suhted.
- Servakaardid: tõstavad esile kontuure, objektide piire ja struktuuride üldist paigutust.
- Segmenteerimiskaardid: määratlevad stseeni semantilised piirkonnad või objektikategooriad.
- Hägustatud video: säilitab üldise kompositsiooni ja liikumise, jättes mudelile rohkem visuaalseid detaile genereerida.
- Tekstiviibad: kirjeldavad soovitud välimust, keskkonda, ilma, stsenaariumi muutusi või muid visuaalseid omadusi.
Need juhtsignaalid võivad pärineda simulaatorist, näiteks NVIDIA Isaac Simist, või salvestatud pärismaailma videost. See toetab nii simulatsioonist tegelikkusesse suunatud töövooge, kus simuleeritud andmeid muudetakse visuaalselt mitmekesisemaks, kui ka tegelikkusest tegelikkusesse suunatud täiendamist, kus jäädvustatud videomaterjal muudetakse täiendavateks stsenaariumideks.
Milleks mudelit kasutatakse?
Robootika ja simulatsioonist tegelikkusesse suunatud andmed
Robootikameeskonnad saavad kasutada mudelit manipuleerimis- ja navigatsioonistseenide visuaalsete variatsioonide loomiseks, säilitades samal ajal roboti jaoks olulised ruumilised suhted. Võimalikud variatsioonid hõlmavad teistsuguseid objekte, taustu, valgustingimusi või segavaid objekte. NVIDIA teatab, et mudeliga täiendatud andmed parandasid selliseid muutusi hõlmanud pärisrobotiga tehtud hindamises üldistusvõimet. Tegemist on teenusepakkuja esitatud tulemusega, mitte sõltumatu võrdlustestiga, mistõttu tuleks seda käsitleda kavandatud kasutuse tõendina, mitte üldise jõudlusgarantiina.
Autonoomsete sõidukite simulatsioon
Cosmose Transferi mudeliperre kuuluvad autonoomsete sõidukite jaoks mõeldud spetsiaalsed kontrollpunktid, millega saab juhtida mitme vaatega liiklus- ja sõidustseene. Need töövood võimaldavad muuta ilma, valgustust, fooritulesid, teekeskkonda ja liiklejate konfiguratsioone, säilitades samal ajal kontrolli stseeni geomeetria ja kaameravaadete üle.
See muudab mudeli asjakohaseks juhul, kui meeskond vajab palju omavahel seotud sõidustsenaariume, kuid ei saa pärismaailmast koguda kõiki teeplaanide, ilma, liikluse ja valgustuse kombinatsioone. Tegemist on eelkõige andmete genereerimise ja simulatsiooni komponendiga, mitte täieliku autonoomse sõidu süsteemiga.
Sünteetiline video ja maailma oleku genereerimine
Cosmos-Transfer2.5-2B võib laiendada füüsilises keskkonnas toimivate süsteemide treeningu- ja hindamisandmestikke. See võib olla kasulik siis, kui pärismaailma andmed on kallid, raskesti märgendatavad, ohtlikult kogutavad või ei sisalda olulisi keskkonnamuutusi.
Mudeli väärtus seisneb struktureeritud teisendamises. Meeskond võib alustada stseenist, mille geomeetria ja liikumine on olulised, ning taotleda seejärel kontrollitud visuaalseid alternatiive, selle asemel et genereerida piiranguteta viiba põhjal omavahel mitteseotud videoid.
Modaalsused ja võimalused
| Võimekus | Toetatud või dokumenteeritud käitumine |
|---|---|
| Tekstisisend | Toetatud viibana soovitud stseeni või variatsiooni kirjeldamiseks. |
| Pildilaadsed ruumilised juhtsignaalid | Sügavus-, serva- ja segmenteerimiskaardid võivad genereerimist juhtida. |
| Videosisend | Dokumenteeritud töövoogudes toetatakse hägustatud videot ja videost tuletatud juhtinfot. |
| Videoväljund | Mudel genereerib algupäraselt videot. |
| Tekstiväljund | See ei ole teksti genereerimise mudel; vestlusvastuste võimekust ei ole dokumenteeritud. |
| Helisisend või -väljund | Selle mudeli puhul ei ole dokumenteeritud. |
| Tööriista- või funktsioonikutsed | Ei ole dokumenteeritud. |
| Struktureeritud JSON-väljund | Ei ole dokumenteeritud ega kuulu mudeli sihtotstarvete hulka. |
Seetõttu ei kirjelda tavapärased keelemudeli funktsioonid, nagu teksti kontekstiaken, väljundi maksimaalne tokenipiirang, arutlusrežiim, programmeerimisabi, veebiotsing ja funktsioonikutsed, seda mudelit sisuliselt. Uurimismaterjalides ei ole esitatud tavapärast konteksti pikkust ega väljundi maksimaalset tokenite arvu. Samuti on mudeli sobivust arutlemiseks ja programmeerimiseks hinnatud madalaks, mis peegeldab mudeli kavandatud rolli, mitte väidet, et see suudaks tavapäraselt keelelist arutlust teostada.
Jõudlus ja riistvaranõuded
NVIDIA kirjeldab Cosmos-Transfer2.5-2B mudelit 3,5 korda väiksemana kui Cosmos-Transfer1-7B, väites samal ajal paremat viiba- ja füüsikaga kooskõla ning väiksemat hallutsinatsioonide või vigade kuhjumist pika video genereerimisel. Need on NVIDIA väited mudelipere kohta ja neid ei tohiks segi ajada sõltumatu hindamisega.
Ametlik mudelite võrdlustabel näitab, et üldise kontrollpunkti jaoks on vaja ligikaudu 65,4 GB GPU-mälu ja vähemalt üht GPU-d. See on oluline praktiline piirang. Kuigi parameetrite arv on väiksem kui NVIDIA viidatud 7B eelkäijal, ei ole tegemist siiski kerge kohaliku videogenereerijaga, mis sobiks tavalistele sülearvutitele või vähese mäluga graafikakaartidele.
Avaldatud võrdlusajad 720p, 16 kaadrit sekundis ja viie sekundi pikkuse segmenteerimisjuhtimisega video puhul ulatuvad NVIDIA B200-l ligikaudu 286 sekundist kuni NVIDIA H20-l umbes 2326 sekundini. Need on võrdlusajad, mitte garanteeritud teenusetaseme jõudluseesmärgid. Tegelik kiirus sõltub kontrollpunktist, eraldusvõimest, juhtimise konfiguratsioonist, täpsusest, jada pikkusest ja teostuse seadistustest.
Seega on kompromiss selge: mudel pakub üksikasjalikku ruumilist tingimist ja füüsilise tehisintellekti spetsialiseeritud töövooge, kuid video genereerimine võib nõuda märkimisväärset riistvara ja palju töötlemisaega. Meeskonnad, kes vajavad kiiret interaktiivset genereerimist, odavat katsetamist või tagasihoidlikku kohalikku riistvara, võivad eelistada väiksemat või spetsialiseeritumat alternatiivi, kui see pakub vajalikke juhtsignaale.
Hind, juurdepääs ja litsents
NVIDIA pakub Cosmos-Transfer2.5-2B jaoks tasuta NIM-i lõpp-punkti. Esitatud uurimismaterjalides ei ole toodud sisendi ega väljundi tokenipõhist hinda ning ise hostitud videogenereerimise kulud sõltuvad taristust, GPU-ajast, salvestusruumist ja juurutuse konfiguratsioonist.
NVIDIA pakub ka allalaaditavaid kontrollpunkte koos avatud lähtekoodiga järeldus- ja järeltreeningukoodiga. Mudel on välja antud NVIDIA Open Model License'i alusel ning sellega seotud lähtekood Apache 2.0 litsentsi alusel. Järeltreeningukoodi kättesaadavus ei tähenda, et NVIDIA pakuks tavapärast majutatud mudeli peenhäälestuse API-t; see tähendab, et kasutajad saavad kasutada pakutud koodi ja mudelivarasid oma keskkonnas.
Enne juurutamist peaksid kasutajad kontrollima litsentsi kehtivat teksti, lõpp-punkti tingimusi, riistvaranõudeid ja repositooriumi staatust. Algset Transfer2.5 repositooriumi kirjeldatakse avalikult kättesaadavana, kuid enam mitte aktiivselt arendatavavana.
Olulised piirangud
- See ei ole vestlusmudel: mudel ei paku üldotstarbelist teksti genereerimise kontekstiakent, vestlusliidest ega tokenipõhist vastusepiirangut.
- See nõuab palju arvutusressursse: dokumenteeritud üldise kontrollpunkti mälunõue on ligikaudu 65,4 GB GPU-mälu.
- Video kvaliteet ei ole garanteeritud: genereeritud klipid võivad sisaldada visuaalseid artefakte, ajalisi ebakõlasid või ebatäpseid füüsilisi detaile.
- Juhtsignaalid ei kõrvalda vigu: sügavus, servad, segmenteerimine, hägusus ja tekst annavad juhiseid, kuid ei taga objektide, liikumise ega füüsika täiuslikku säilimist.
- Platvorm vananeb: uue arenduse seisukohalt on Transfer2.5 võrreldes Cosmos 3-ga nüüd pärandseeria.
- Tulemused sõltuvad töövoost: jõudlus ja kasulikkus varieeruvad sõltuvalt eraldusvõimest, tingimissisenditest, kontrollpunktist, täpsusest ja jada pikkusest.
Millal valida Cosmos-Transfer2.5-2B?
Vali Cosmos-Transfer2.5-2B siis, kui sinu peamine vajadus on juhitav video-maailma genereerimine ja sul on võimalik pakkuda sobivaid ruumilisi juhtsignaale. See sobib hästi robootikaandmete täiendamiseks, autonoomsete sõidukite simulatsiooniks, struktureeritud video teisendamiseks ja füüsilise tehisintellekti uurimiseks, kus stseeni geomeetria ja liikumine on tähtsamad kui vestluslik suhtlus.
See on eriti asjakohane siis, kui on vaja muuta ilma, valgustust, objekte, taustu, liikluse olekuid või muid visuaalseid tingimusi, säilitades samal ajal äratuntava stseeni struktuuri. Tasuta NIM-i lõpp-punkt võib pakkuda võimalust mudelit enne ise hostitud juurutusele pühendumist hinnata, võttes arvesse lõpp-punkti praegust kättesaadavust ja tingimusi.
Teine võimalus võib olla sobivam siis, kui vajad vestlusrobotit, koodi genereerimist, dokumentide analüüsi, veebiotsingut, kõnet, manuseid, kiireid interaktiivseid vastuseid või töötamist vähese mäluga GPU-l. Uued projektid peaksid hindama ka Cosmose 3 võimalusi, sest NVIDIA nimetab seda praeguseks järglaseks platvormiks. Olemasolevad Transfer2.5 töövood võivad aga endiselt saada kasu selle kontrollpunkti dokumenteeritud juhtimisvõimalustest ja kättesaadavast lähtekoodist.
Kokkuvõte
NVIDIA Cosmos-Transfer2.5-2B on füüsilise tehisintellekti jaoks mõeldud spetsialiseeritud video-maailmamudel, mitte üldine AI-assistent. Selle peamine eripära on võime ühendada tekst sügavuse, servade, segmenteerimise, hägususe ja videost tuletatud juhtsignaalidega, et genereerida struktureeritud visuaalseid variatsioone. See muudab mudeli kasulikuks robootikas, autonoomsete sõidukite simulatsioonis ja sünteetiliste treeningandmete loomisel, kuid iga kasutuselevõtu otsuse puhul tuleb arvestada selle suure GPU-mälunõude, genereerimisaja, võimalike videoartefaktide ja pärandplatvormi staatusega.