Mis on NVIDIA Relighting?
NVIDIA Relighting on spetsiaalne videotöötlusmudel, millega saab pärast võtte salvestamist muuta objektide ja stseenide näivat valgustust. Selle asemel et luua tekstiviiba põhjal uus video, võtab see sisendiks video ja rakendab sellele virtuaalseid valgusefekte, säilitades samal ajal algse stseeni konteksti.
NVIDIA nimetab seda mudelit Relighting ning mudeli ID on ai4m-relighting. See kuulub NVIDIA AI for Media lahenduste hulka ja seda pakutakse konteineriseeritud NVIDIA NIM-i teenusena, mitte tavapärase vestlus- või märgipõhise mudeli API-na.
Praktiliselt sarnaneb tulemus olukorraga, kus objekt paigutatakse teistsuguse virtuaalse stuudiovalgustuse alla. Tootmismeeskond saab valgustuskeskkonna määramiseks kasutada HDR-keskkonnakaarti, reguleerida esiplaani ja tausta mõjutamise tugevust ning liita tulemuse algse video, kohandatud pildi või HDR-põhise taustaga.
Kuidas valgustuse muutmise töövoog toimib
Valgustuse muutmine hõlmab mitut videotöötlusetappi. Süsteem analüüsib sisendkaadreid, eraldab esiplaanil olevad objektid taustast, projitseerib HDR-valgustuse asjakohastele pildialadele ja liidab töödeldud elemendid väljundvideoks. HDR ehk suur dünaamiline ulatus tähendab, et keskkonnakaardid sisaldavad ümbritseva stseeni valgustusinfot ning annavad mudelile soovitud valgustusest palju rikkalikuma kirjelduse kui lihtne värvifilter.
Kasutajad saavad valida viie sisseehitatud HDR-valgustuse eelseadistuse vahel või sisestada kohandatud HDR-keskkonnakaardi failid. Saadaolevate seadete hulka kuuluvad esiplaani võimendus, tausta võimendus, hägususe tugevus, peegeldushelgid, väljunderaldusvõime, bitikiirus, väljundkodeering ja IDR-intervallid. Tänu neile seadetele sobib teenus tootmistöövoogudesse paremini kui fikseeritud visuaalne filter, kuigi lõpptulemuse kvaliteet ja käitumine sõltuvad endiselt sisendmaterjalist, valitud valgustuskeskkonnast ja GPU konfiguratsioonist.
Sisendid, väljundid ja toetatud seaded
Peamine sisend on video. Valikulised sisendid on taustapildid ja HDR-keskkonnakaardid. Peamine väljund on muudetud valgustusega video, seega tuleks seda mudelit hinnata videoefektide süsteemina, mitte üldise multimodaalse assistendina.
| Kategooria | Kontrollitud teave |
|---|---|
| Sisend | Video koos valikuliste taustapiltide ja HDR-keskkonnakaartidega |
| Väljund | Muudetud valgustusega video |
| Valgusallikad | Viis sisseehitatud HDR-eelseadistust või kohandatud HDR-keskkonnakaardid |
| Taustavalikud | Lähtevideo, kohandatud pilt või HDR-projektsioon |
| Režiimid | Voogedastus ja tehingupõhine inferents |
| Reguleeritavad seaded | Esiplaani ja tausta võimendus, hägusus, peegeldushelgid, bitikiirus, eraldusvõime, kodeering ja IDR-intervallid |
NVIDIA dokumentatsioonis ei ole selle mudeli kohta määratud tavapärast kontekstiakent, väljundi maksimaalset märgipiirangut ega tekstiväljundi limiiti. Need mõisted ei ole video teisendamise teenuse kirjeldamiseks sobivad. Tegelikud piirangud sõltuvad hoopis toetatud videovormingutest, eraldusvõimest, kodeerimisseadetest, GPU-mälust ja NIM-konteineri juurutuskonfiguratsioonist.
Juurutamine ja jõudlus
NVIDIA pakub Relightingut konteineriseeritud NIM-ina, mis kasutab NVIDIA tarkvarakomponente, sealhulgas Triton Inference Serverit, TensorRT-d, CUDA-t ja DeepStreami. Voogedastusrežiim on mõeldud järkjärguliseks taasesituseks või otseülekande laadseks töötlemiseks, tehingupõhine režiim aga sisenditele, mida ei saa voogedastada ja mida saab töödelda eraldiseisvate töödena.
Dokumenteeritud riistvaratugi hõlmab NVIDIA Turingu, Ampere'i, Ada, Hopperi ja Blackwelli GPU-sid, millel on sobivad Tensor Core'i ning video kodeerimise ja dekodeerimise võimalused. See nõue on toote positsioneerimise seisukohast keskne: Relighting on mõeldud NVIDIA GPU-taristule, mitte tavapärasele ainult protsessoril töötavale juurutusele ega tüüpilisele tarbijatele mõeldud veebirakendusele.
NVIDIA avaldatud jõudlustulemuste kohaselt jääb ühe voo läbilaskevõime dokumenteeritud testitingimustel ligikaudu 21 kaadri juurde sekundis 1080p puhul L4-l kuni ligikaudu 59 kaadrini sekundis 1080p puhul RTX 5090-l. Need on teenusepakkuja esitatud tulemused, mitte iga paigalduse garantii. Tegelik läbilaskevõime võib varieeruda sõltuvalt GPU-st, eraldusvõimest, kodeerimisvalikutest, samaaegsete tööde arvust, sisendi omadustest ja muudest süsteemi jagavatest teenustest.
Mida Relighting suudab ja mida mitte
Relightingu tugevus seisneb kitsas spetsialiseerituses. See suudab rakendada seadistatavat virtuaalset valgustust, säilitada ja töödelda esiplaanil olevaid objekte, liita taustu ning toetada voogedastusele suunatud videotöövooge. See sobib töövoogu, kus nii sisend kui ka väljund on visuaalne meedia, mitte tekst.
See ei paku teksti genereerimist, vestluslikku arutlemist, kodeerimisabi, manuseid, kõnesünteesi, transkribeerimist, piltide genereerimist ega üldotstarbelist tööriistade kutsumist. Selle dokumenteeritud eesmärk ei ole kasutaja küsimusest aru saada ega kirjaliku viiba põhjal loomingulist videot toota. Süsteem teeb suurema tootmistöövoo osana esitatud videoga kindla teisenduse.
Andmebaasi klassifikatsioon hindab arutlemis- ja kodeerimisvõimekust minimaalsele tasemele, kuid need on toimetuslikud kataloogihinded, mitte NVIDIA avaldatud võrdlustulemused. Neid ei tohiks tõlgendada tõendina, et Relighting on arutlus- või programmeerimismudel. Samuti kajastab selle kõrge kiirusehinne GPU-põhise video läbilaskevõime kohta avaldatud tulemusi, mitte universaalset latentsusgarantiid.
Peamised tugevused
- Spetsiaalselt video valgustuse muutmiseks loodud: See lahendab konkreetset tootmisprobleemi, mida üldotstarbelised keele- või pildimudelid otseselt ei lahenda.
- Seadistatav valgustus: Sisseehitatud ja kohandatud HDR-keskkonnakaardid pakuvad rohkem kontrolli kui lihtne heleduse, värvitooni või värvikorrektsiooni muutmine.
- Esiplaani ja tausta töötlemine: Eraldi juhtseadised ja kompositsioonivalikud aitavad integreerida valgustusmuudatusi virtuaaltootmise ja meediatöövoogudesse.
- Voogedastuse tugi: Voogedastusrežiim sobib otseülekande või järkjärgulise taasesituse olukordadesse, tehingupõhine režiim aga sisenditele, mida ei saa voogedastada.
- NVIDIA kiirendus: Kavandatud juurutuskeskkonda on integreeritud TensorRT, CUDA, Triton, DeepStream, Tensor Core'id ning riistvarapõhine video kodeerimine ja dekodeerimine.
- Tootmisele suunatud seaded: Eraldusvõime, bitikiirus, kodeering, hägusus, võimendus, peegeldushelgid ja IDR-i seaded pakuvad tegelikus videotöövoos kasulikke tööparameetreid.
Piirangud ja hinnakujundus
Suurim piirang on sõltuvus taristust. Mudeli käitamiseks on vaja ühilduvat NVIDIA GPU-riistvara, NVIDIA konteineritööriistu, NGC API-võtit ning sobivat video kodeerimise ja dekodeerimise tuge. Seetõttu on seda vähem mugav kasutada kui majutatud veebiredaktorit või üldist pilvepõhist meedia-API-t, eriti väikestel meeskondadel, kellel puudub olemasolev NVIDIA juurutusplatvorm.
Relighting on samuti kitsam kui generatiivsed videosüsteemid. See muudab valgustust ja liidab videot, kuid esitatud uurimismaterjal ei toeta väiteid, et see suudaks luua suvalisi stseene, sünteesida dialoogi, genereerida muusikat või asendada täielikku videotöötlusrakendust. Kasutajad peaksid arvestama, et sobiva videomaterjali ettevalmistamine ning sellele järgneva sisestuse, salvestuse, kodeerimise ja edastuse töövoo haldamine jääb nende enda ülesandeks.
Esitatud NVIDIA dokumentatsioonis ei tuvastatud avalikku päringu-, video- ega korduvkasutusepõhist hinda. Seetõttu ei ole kontrollitud hinnasummat ega standardset arveldusperioodi, millest teatada. Juurutuse maksumus sõltub GPU-taristust, tarkvara litsentsi- või tugikorraldusest ja kasutusmahust, kuid neid kulusid ei tohiks esitada Relightingu kindla hinnana ilma asjakohase NVIDIA hinnapakkumise või avaldatud pakkumiseta.
Parimad kasutusjuhud
Relighting sobib hästi olukordadesse, kus peamine nõue on muuta valgustust kogu stseeni asendamata. Sobivad rakendused on järgmised:
- Virtuaaltootmine ja eelvisualiseerimine, kus objekti tuleb katsetada erinevates valgustuskeskkondades.
- Filmi-, televisiooni-, reklaami- ja muud meediaefektide töövood, kus on vaja korratavaid valgustusvariante.
- Otse- või peaaegu reaalajas videoefektid, millele on kasulik voogedastuspõhine inferents.
- Tausta kompositsioon, sealhulgas töövood, kus esiplaanil olev objekt ühendatakse kohandatud pildi või HDR-projektsiooniga.
- Valgustuse kohandamine videomaterjalile, mis on salvestatud tingimustes, mis ei vasta kavandatud lõppkeskkonnale.
See võib olla eriti kasulik organisatsioonidele, kes juba kasutavad NVIDIA GPU-sid ja soovivad hoida videotöötluse oma andmekeskuses, tööjaamas või tootmistaristus.
Millal valida NVIDIA Relighting?
Valige NVIDIA Relighting siis, kui vajate olemasolevale videole kontrollitud ja korratavaid valgustusmuudatusi ning suudate toetada NVIDIA GPU-del põhinevat juurutust. Selle peamine eelis üldotstarbelise videogenereerimissüsteemi ees on otsesus: töövoog algab videomaterjalist ja sihib kindlat valgustuse teisendust, selle asemel et paluda mudelil kogu järjestust välja mõelda.
Majutatud videoredaktor võib olla sobivam juhukasutajatele, kes soovivad lihtsat kasutajaliidest ja kellel puudub ühilduv NVIDIA riistvara. Generatiivne videomudel võib olla sobivam siis, kui eesmärk on luua uusi stseene või muuta võtte sisu oluliselt. Tavapärane värvikorrektsiooni- või kompositsioonitööriist võib olla eelistatavam, kui kunstnikud vajavad käsitsi juhtimist kaadri täpsusega või kui valgusefekt ei nõua närvivõrgupõhist esiplaani eraldamist.
Relightingut on seega kõige õigem mõista spetsialiseeritud GPU-põhise videoteenusena. See pakub sisulist kontrolli ja dokumenteeritud reaalajalähedase töötluse jõudlust, kuid ei ole üldotstarbeline AI-assistent, tekstist videoks mudel ega hõlpsasti kasutatav tarbijarakendus.
Koht NVIDIA kataloogis
NVIDIA praeguses AI for Media ja NIM-i kataloogis esindab Relighting keskendunud videoefektide töökoormust. See kasutab sama laiemat NVIDIA juurutusökosüsteemi nagu teised spetsialiseeritud meediateenused, kuid selle funktsioon on konkreetselt virtuaalne valgustus ja kompositsioon. Mudeli väärtus tuleneb selle kitsa ülesande ühendamisest GPU-kiirenduse, voogedastuse toe ja seadistatavate tootmisparameetritega.
Hindamisel on kõige olulisemad kontrollitud faktid selle roll ainult videot teisendava süsteemina, HDR-põhised valgustuse juhtseaded, NVIDIA GPU-de nõuded, kaks inferentsirežiimi ja teenusepakkuja esitatud 1080p jõudlusnäitajad. Kontrollitud teavet ei ole esitatud tavapärase konteksti pikkuse, märgipiirangute, avaliku kasutushinna ega üldotstarbelise arutlemis- ja kodeerimisvõime kohta.