LipSync

Mis on NVIDIA LipSync?

NVIDIA LipSync on generatiivne huulte dubleerimise mudel, mis sünkroniseerib nähtavad suuliigutused kõnega. Kui sisendiks on nägu ja soovitud heliriba, loob see uuendatud näopildi, kus huuled liiguvad kõneldud sõnadega ajastatult. Tulemuseks on lokaliseeritud või ümber dubleeritud esitus, mille puhul säilivad algse inimese välimus, pea asend, kaader, taust ja stseeni üldmulje.

Põhimudel on audiovisuaalne, mitte vestluslik keelemudel. See ei võta vastu tekstilist viipa ega tagasta selgitust, koodi või vastust. Selle asemel teeb see spetsialiseeritud teisenduse: kõneheli juhib inimese näol tehtavaid muudatusi.

NVIDIA pakub LipSynci AR SDK ja NVIDIA LipSync NIM-i juurutuspaketi kaudu. NIM on aluseks oleva mudeli ümber loodud videokeskne teeninduskiht. Allalaaditava mudelikaardi järgi töötleb põhimudel kaadri kaupa RGB-näopilti ja kõneheli, samal ajal kui NIM rakendab seda töötlust videokaadritele ning tagastab sünkroniseeritud video.

Kuidas NVIDIA LipSync töötab

Dokumenteeritud arhitektuur ühendab kodeerija-dekodeerija ülesehituses konvolutsioonilise närvivõrgu ja generatiivse vastandvõrgu komponendid. Praktiliselt tähendab see, et süsteem eraldab näopildist ja kõnesignaalist vajaliku teabe ning genereerib sisendi eraldusvõimega uue näopildi.

Põhimudel eeldab üht terviklikku inimese nägu sisaldavat RGB-pilti ja mono-PCM-kõnet diskreetimissagedusega 16 kHz. See kasutab heli ajastust ja kõnega seotud näovihjeid uue RGB-pildi genereerimiseks. Video puhul rakendab NIM seda protsessi kaadrite kaupa, hoides väljundi esitatud heliribaga sünkroonis.

NVIDIA dokumenteerib NIM-i jaoks kaks töötlusrežiimi. Voogedastusrežiim suudab voogedastatavat videot töödelda järk-järgult, mis on oluline interaktiivsete või otse-eetriga seotud töövoogude puhul. Tehinguline režiim võtab kogu sisendi vastu enne järeldamist ning sobib seetõttu paremini failipõhiseks töötluseks. NIM võib vastu võtta ka valikulist kaadripõhist kõneleja piirdekasti teavet, kui töövoos on vaja sihtida kindlat kõnelejat või koordineerida mitme kõnelejaga materjali töötlemist.

Sisendid, väljundid ja toetatud modaalsused

Praktilised sisendmodaalsused on seega visuaalne meedia ja kõneheli. Mudeli dokumentatsioon ei käsitle teksti sisendina, teksti genereerimist, kõnetuvastust, kõnesünteesi ega viipapõhist pildigeneratsiooni. Väljund on visuaalne: aluseks olev mudel loob pildi, NIM aga koondab kaadritaseme tulemused videoks.

NVIDIA mudelikaardi järgi toetatakse kuni 4K eraldusvõimega pildisisendit. Esitatud dokumentatsioonis ei ole toodud üldist kontekstiakna suurust, maksimaalset tokenite arvu ega tekstilise väljundi piirangut, sest LipSync ei ole tokenipõhine keelemudel. Samuti ei avaldata esitatud uurimistöös video universaalset maksimaalset kestust; kasutatav kestus sõltub valitud NIM-i konfiguratsioonist, riistvarast, voogedastusrežiimist ja juurutuskeskkonnast.

Keelevariandid ja juurutamine

LipSync sisaldab üldist, keelest sõltumatut mudelit ning saksa, hispaania ja prantsuse keele jaoks peenhäälestatud keelespetsiifilisi variante. Juurutamisel valitakse üks mudel NIM-i mudelivalija konfiguratsiooni kaudu, seega teenindab üks konteiner korraga üht valitud varianti. See on oluline mitmekeelsete lokaliseerimisvoogude puhul: saadaolevaid variante ei kirjeldata ühe universaalse mudelina, mis suudaks ühe juurutuse sees dünaamiliselt kõigi toetatud keelte vahel lülituda.

Mudel on mõeldud NVIDIA GPU-kiirendusega süsteemidele. Dokumenteeritud riistvaratoetus hõlmab Turingi, Ampere'i, Lovelace'i ehk Ada, Hopperi ja Blackwelli arhitektuure ning professionaalsete ja tarbijatele mõeldud RTX-graafikaprotsessorite konfiguratsioone. NVIDIA dokumentatsioon loetleb ka toetatud Linuxi distributsioonid ja Windowsi versioonid. Täpne jõudlus ja ühilduvus sõltuvad GPU-st, draiverist, operatsioonisüsteemist, sisendi eraldusvõimest ja juurutuskonfiguratsioonist.

Allalaaditav mudel ja NIM kuuluvad NVIDIA laiemasse tehisintellekti kataloogi, kuid LipSynci roll on üldotstarbelistest NVIDIA järeldusteenustest kitsam. Selle eesmärk on audiovisuaalse meedia näo- ja kõnesünkroon, mitte üldine keeletöötlus, otsing, programmeerimine või agendipõhised töövood.

Tugevused ja praktilised kasutusjuhud

LipSynci peamine tugevus on keskendunud audiovisuaalne teisendus. See on kasulik siis, kui algse esituse ja stseeni visuaalne järjepidevus peaks säilima, kuid kõneriba muutub.

• Video lokaliseerimine ja dubleerimine: Tõlgitud kõneriba saab siduda suuliigutustega, mis sobituvad uue keelega paremini ja vähendavad heli ning näoliigutuste nähtavat lahknevust.
• Digitaalsed inimesed: Renderdatud või salvestatud näo saab kõnega sünkroniseerida virtuaalsete esitlejate, avataride ja muude tegelaskujupõhiste rakenduste jaoks.
• Ringhääling: Produktsioonimeeskonnad saavad uurida alternatiivseid keele- või hääleversioone, säilitades algse kaadri kompositsiooni.
• Videokonverentsid: NIM-i voogedastusrežiim sobib rakendustele, mis vajavad järkjärgulist töötlemist ega saa oodata terve faili valmimist.
• AR SDK töövood: NVIDIA liitreaalsuse tööriistu kasutavad arendajad saavad kasutada LipSynci spetsialiseeritud näoanimatsiooni komponendina.

Teine praktiline eelis on see, et mudel keskendub suuliigutustele, mitte kogu stseeni uuesti genereerimisele. See võib aidata säilitada ümbritsevat tausta ja subjekti üldist identiteeti, kuid tegelikku väljundit tuleks siiski kontrollida artefaktide ja sünkroonimisvigade suhtes.

Piirangud ja kvaliteediga seotud kaalutlused

Ühe näo eeldus on oluline piirang. Põhimudel on dokumenteeritud ühe tervikliku inimese näo jaoks, mistõttu võivad mitme inimese, osaliselt nähtavate nägude, tugeva varjamise, ebatavalise kadreeringu või kiirete muutustega videod vajada lisatöötlust või mudelile halvasti sobida. NIM-i valikuline kõneleja piirdekasti sisend võib aidata keerukamates töövoogudes konkreetseid nägusid sihtida, kuid esitatud dokumentatsioon ei kinnita piiranguteta mitme näo redigeerimise võimalust.

LipSync muudab nähtavaid näoliigutusi; see ei ole täielik dubleerimise tootmissüsteem. See ei tõlgi teksti, genereeri asendushäält, tuvasta kõnet ega kirjuta stsenaariumi. Lokaliseerimisvoog vajab endiselt eraldi tõlkimist, hääle- või heliloomet, ajastuse ettevalmistamist ja kvaliteedikontrolli.

Kasutajad peaksid hindama ka identiteedi säilimist, suu ja hammastega seotud artefakte, näoilmeid, sünkroonimise kvaliteeti, keelespetsiifilisi tulemusi ja nõusolekut. Mudelikaardi väide ärilise kasutuse kohta ei kaota vajadust hankida luba inimestelt, kelle välimust või esitust töödeldakse. Inimese kõne ja näoliigutuste eksitav või loata muutmine võib kaasa tuua õiguslikke, eetilisi ja mainega seotud riske.

Arutlus, programmeerimine ja tööriistade tugi

LipSyncil ei ole keelemudeli mõistes üldist arutlusvõimet. See ei analüüsi küsimusi, kavanda mitmeastmelisi vastuseid ega esita arutluskäiku. Samuti ei ole see programmeerimismudel ega genereeri või käivita oma dokumenteeritud funktsiooni osana tarkvarakoodi.

Mudel ei paku üldotstarbelist funktsioonikutset ega tööriistade kasutamist. Selle tööliides on AR SDK või LipSync NIM-i pakutav meediatöötluse töövoog. Voogedastust toetatakse NIM-i tasemel, kuid seda ei tohiks segi ajada vestlusliku tööriistakasutuse või agendi API-ga.

Hind, juurdepääs ja litsents

NVIDIA LipSynci kohta ei ole avaldatud pildi-, minuti-, päringu- ega korduva tellimuse põhist hinda. Mudel on loetletud allalaaditavana ja selle suhtes kehtib NVIDIA Open Model License; mudelikaardi järgi on see valmis äriliseks kasutuseks. Majutatud või allalaaditavale töövoole juurdepääs võib siiski nõuda NVIDIA eraprogrammi heakskiitu või asjakohaseid NVIDIA SDK- ja juurutuskomponente.

Kuna LipSynci juurutatakse peamiselt NVIDIA GPU-taristus, võivad kasutamise kogukulud hõlmata riistvara, pilve-GPU aega, salvestusruumi, arendust ja operatiivset tuge. Esitatud uurimismaterjal ei määra voogedastus- ja tehinguliste juurutuste vahel kindlat kuluvõrdlust. Üldiselt võib voogedastus vähendada ootamist, mis kaasneb kogu faili töötlemisega, samas kui tehinguline töötlus võib partiitööde puhul olla lihtsam; tegelik kiiruse ja kulu kompromiss sõltub valitud GPU-st ja töökoormusest.

Millal valida NVIDIA LipSync?

Vali NVIDIA LipSync siis, kui peamine vajadus on sünkroniseerida nähtav inimese nägu esitatud kõnega, säilitades samal ajal ümbritseva visuaalse esituse suures osas muutumatuna. See sobib eriti hästi NVIDIA GPU-del töötavatele meeskondadele, kes arendavad mitmekeelset dubleerimist, digitaalse inimese, ringhäälingu, konverentside või AR-rakendusi ning vajavad juurutatavat audiovisuaalset komponenti, mitte üldotstarbelist tehisintellekti assistenti.

Mõni muu lahendus võib olla sobivam, kui ülesanne algab tekstist ja nõuab tõlkimist, stsenaariumi genereerimist, kõnesünteesi või vestluslikku arutlust. Üldine videogenereerimise süsteem võib samuti paremini sobida siis, kui eesmärk on luua täiesti uusi stseene, tegelasi või kaameraliikumisi, mitte muuta olemasoleva näo suuliigutusi. Samuti ei ole LipSync õige spetsialiseeritud valik kõnetuvastuseks, hääle kloonimiseks ega piiranguteta mitme inimesega video redigeerimiseks.

Selle kiiruse ja kulude profiili tuleks hinnata GPU-põhise juurutusotsusena, mitte lihtsa tarbijatele mõeldud tellimuste võrdlusena. NVIDIA dokumenteerib voogedastuse toe ja mitme GPU-põlvkonna kasutamise võimaluse, kuid esitatud materjal ei sisalda võrdlusandmeid ega universaalset läbilaskevõime garantiid. Enne tootmiskasutusele üleminekut peaksid meeskonnad testima sihitud eraldusvõimet, keelevarianti, video pikkust ja riistvara.

Kokkuvõte

NVIDIA LipSync on kõne juhitav, sihipärane näoanimatsiooni mudel. Põhimudel muudab näopildi ja kõneheli sünkroniseeritud näopildiks, samal ajal kui LipSync NIM laiendab protsessi videole ning toetab voogedastust või kogu faili põhist järeldamist. Selle väärtus seisneb olemasoleva subjekti ja stseeni säilitamises dubleerimise või kõne asendamise ajal, mitte laiaulatuslikus generatiivses või vestluslikus võimekuses.