Eye Contact

Mis on NVIDIA Eye Contact?

NVIDIA Eye Contact on NVIDIA Maxine'i tooteperre kuuluv spetsialiseeritud arvutinägemismudel. Selle eesmärk on kitsas ja praktiline: muuta inimese pilgu näivat suunda nii, et silmad vaataksid rohkem kaamera poole. See võib muuta kaugesitlused, videokõned, telepresence-süsteemid ja digiinimese rakendused loomulikumaks olukorras, kus osaleja vaatab otse kaamerasse vaatamise asemel ekraani.

Mudel ei ole vestlusrobot, keelemudel ega üldine video mõistmise süsteem. See ei genereeri kirjalikke vastuseid, pea vestlust, kirjuta koodi, otsi veebist teavet ega tõlgenda piiranguteta videosisu. Selle asemel teostab see määratletud silmapiirkonna sisendi põhjal pilgu hindamist ja silmade pilgu ümberjuhtimist.

NVIDIA pakub Eye Contacti allalaaditava NVIDIA NIM-i mikroteenusena koos dokumentatsiooni ja demonstratsiooniga NVIDIA Buildi kaudu. NIM on NVIDIA lähenemisviis tehisintellekti järeldusteenuste pakendamiseks ja teenindamiseks. Sel juhul saab teenust majutada või ise hallata ühilduval NVIDIA riistvaral.

Mida mudel teeb

Üldjoontes saab Eye Contact sisendiks silmapiirkonna kujutise ja soovitud ümberjuhtimise nurga. See hindab olemasolevat pilku, muudab asjakohast sisemist esitust ja genereerib uue silmapildi, milles pilk on ümber suunatud. Rakendus, mis mudelit kasutab, peaks tulemuse ümbritseva näo ja videokaadriga kokku sulatama.

Mudel kasutab kodeerija-dekodeerija arhitektuuri. Kodeerija teisendab silmapildi latentseteks esitusteks ehk kompaktseteks sisemisteks tunnusteks, mis kirjeldavad näiteks subjekti, pea asendit, keskkonnatingimusi ja pilgu suunda. Pilguga seotud teabele rakendatakse teisendus ning dekodeerija loob ümber suunatud silmapiirkonna.

See ülesehitus muudab mudeli kasulikuks sihipärase pilditeisenduse jaoks, kuid määrab ka selle piirid. Rakendus peab üldjuhul haldama ülejäänud videotöötluse ahelat, sealhulgas näo ja silmade tuvastamist, kaadrite eraldamist, silmapildi ettevalmistamist, kujutiste kokkusulatamist, video dekodeerimist ja väljundi kodeerimist.

Sisendid ja väljundid

Dokumenteeritud närvivõrguliides kasutab normaliseeritud RGB-silmapilti mõõtmetega 256 × 64 pikslit. Sisend sisaldab ka kahe elemendiga nurgavektorit, mis sisaldab radiaanides esitatud kalde- ja pöördenurka. Kalle tähistab pilgu vertikaalset liikumist, pöördenurk aga horisontaalset liikumist.

Mudeli otsesed väljundid on:

• Ümber suunatud RGB-silmapilt.
• Hinnanguline pilgunurga vektor.
• Silma orientiirpunktid.

NIM-i teenuse tasandil dokumenteerib NVIDIA sisendvorminguna H.264-ga kodeeritud MP4-video. Teenus võib tagastada töödeldud video, kuid seda ei tohiks segi ajada närvivõrgu otsese väljundiga: alusmudel toodab silmapildi ning sellega seotud pilgu- ja orientiirandmed, samal ajal kui teenus võib siduda selle toimingu laiema videotöötluse töövooga.

Esitatud spetsifikatsioonides ei määratleta tavapärast kontekstiakent, maksimaalset märgendite arvu, genereeritava teksti maksimaalset pikkust ega muid keelemudeli väljundipiiranguid. Need piirangud ei kohaldu Eye Contacti otsesele pilditöötlusliidesele.

Koht NVIDIA tootekataloogis

Eye Contact kuulub NVIDIA Maxine'i, mis on heli-, video- ja side täiustamise töökoormuste jaoks mõeldud tehnoloogiate perekond. Selles perekonnas täidab Eye Contact kindlat pilgu korrigeerimise rolli, mitte üldotstarbelise generatiivse mudeli rolli.

Selle praegune dokumenteeritud levitamisviis on NVIDIA NIM ja sellega seotud allalaaditav konteiner. Tugidokumentatsioon loetleb NVIDIA GPU-arhitektuurid, sealhulgas Volta, Turing, Ampere, Ada ja Blackwell. Toetatud konfiguratsioonide hulka kuuluvad Tensor Core'idega professionaalsed ja tarbijatele mõeldud GPU-d ning NVIDIA soovitab videotöötluse töökoormuste jaoks NVENC-i ja NVDEC-i tuge.

Riistvarakesksus on mudeli hindamisel oluline. Eye Contact ei ole eeskätt tarbijarakendus, mis peidab taristu nõuded lihtsa konto taha. Juurutus eeldab tavaliselt ühilduvat NVIDIA riistvara, sobivat tarkvarakeskkonda ning rakendust, mis suudab videovoogu ette valmistada ja töödelda.

Tugevused ja praktilised eelised

• Sihipärane väljund: Mudel on loodud spetsiaalselt pilgu korrigeerimiseks, mistõttu vastab selle väljund otseselt levinud videokonverentside probleemile.
• Kasulikud tehnilised väljundid: Lisaks ümber suunatud silmapildile pakub see hinnangulisi pilgunurki ja silma orientiirpunkte, mis võivad toetada suuremat töötlusahelat.
• Videoteenuse integratsioon: NIM-i liides toetab MP4/H.264-video töötlemist, vähendades teenuse taristu hulka, mille rakendus peab mudeli ümber üles ehitama.
• Juurutatav NVIDIA riistvaral: Dokumenteeritud tugi mitmele NVIDIA GPU-põlvkonnale pakub võimalusi tööjaama-, professionaalseks ja andmekeskuse juurutuseks, arvestades asjakohaseid ühilduvusnõudeid.
• Sobib reaalajale orienteeritud töövoogudeks: NVIDIA positsioneerib mudelit videokonverentside ja nendega seotud siderakenduste jaoks. Tegelik jõudlus sõltub GPU-st, video eraldusvõimest, töötlusahela ülesehitusest ja juurutuse konfiguratsioonist; esitatud uuringud ei paku universaalset latentsusnäitajat.

Selle peamine eelis on spetsialiseeritus. Organisatsioon, mis vajab pilgu ümberjuhtimise komponenti, ei pea kasutama suurt visuaal-keelemudelit ülesande jaoks, mida saab väljendada piiratud pilditeisendusena.

Piirangud ja kompromissid

Eye Contact ei ole üldotstarbeline tehisintellektiassistent. Sellel puudub dokumenteeritud teksti genereerimise väljund, vestluslik arutlus, veebiotsing, funktsioonikutsete tugi, programmeerimisvõimekus, kõnetöötlus, piltide genereerimine ja üldine video mõistmise võimekus. Esitatud kataloogis olevad mudeli arutlus- ja programmeerimishinded on toimetuslikud andmebaasiväljad, mitte teenusepakkuja avaldatud mõõdikud, ning neid ei tohiks tõlgendada tõendina, et mudel neid ülesandeid täidab.

Ka sisendvorming on piiratud. Dokumenteeritud mudel eeldab korrektselt ette valmistatud silmapilti ning kalde-/pöördenurga juhist, mitte suvalist kujutist või tervet videokaadrit. Tootmisrakendus peab näo ja silmad üles leidma, sobiva piirkonna välja lõikama, kujutise normaliseerima, mudeli väljundi algsele kaadrile rakendama ning käsitlema olukordi, nagu halb valgustus, varjatus, ebatavalised poosid või jälgimisvead. Esitatud dokumentatsioon ei määra nende tingimuste jaoks universaalset kvaliteediläve.

Mudeli riistvaranõuded võivad muuta selle vähem mugavaks kui pilvepõhine videoliides või laiemale seadmetoele loodud tarkvaralahendus. Samal ajal võib ise hallatav NVIDIA juurutus olla eelistatav juhul, kui organisatsioon vajab kontrolli töötlemiskoha, töötlusahelaga integreerimise või korduva teenusekasutuse üle. Mudeli avalikku märgendipõhist või minutipõhist hinda ei tuvastatud, seega sõltub kogukulu riistvara, majutuse, litsentsi ja rakenduse ülesehituse valikutest.

Hind ja saadavus

Esitatud NVIDIA allikates ei tuvastatud avalikku mudeli-, märgendi- ega korduva tellimuse hinda. Eye Contacti kirjeldatakse allalaaditava NIM-i mudeli või konteinerina, mitte tavapärase tarbijatellimusena, millel oleks lihtne kuutasand.

NVIDIA mudeli- ja demonstratsioonimaterjalidele kehtivad litsentsitingimused, mis reguleerivad hindamist ja juurutamist. Organisatsioonid peaksid enne mudeli ärilist kasutamist tutvuma kohaldatavate NVIDIA Maxine'i, NIM-i, konteineri ja riistvara nõuetega. Loetletud API-hinna puudumist ei tohiks käsitleda tõendina, et tootmisjuurutus on tasuta.

Toetatud modaalsused ja võimekused

Seega tuleks mudeli multimodaalsust mõista visuaalse sisendi ja visuaalse väljundina, mitte laia multimodaalse vestlusena. See võib töötada videoga ümbritseva NIM-i teenuse kaudu, kuid ei analüüsi videot nii, nagu seda teeks üldine visuaal-keelemudel.

Millal valida NVIDIA Eye Contact?

Vali Eye Contact siis, kui peamine nõue on pilgu korrigeerimine ja juurutuskeskkond toetab NVIDIA GPU-sid. See sobib hästi järgmisteks kasutusjuhtudeks:

• Videokonverentsitarkvara, mis soovib muuta ekraanipõhise silmsideme loomulikumaks.
• Salvestatud esitlused, kus kõneleja pilk tuleks vaataja poole suunata.
• Telepresence- ja digiinimese süsteemid, mis vajavad spetsiaalset silmsideme komponenti.
• Meediatöötluse töövood, mis kasutavad juba NVIDIA riistvara ja vajavad kohapealset või ise hallatavat järeldusteenust.

Spetsialiseeritud mudel on sageli praktilisem kui suur generatiivne mudel, kui ülesanne piirdub ühe kontrollitud teisendusega. See võib vähendada tarbetut mudelivõimekust ja hoida töötluse eesmärgi selgena. Esitatud uuringud ei paku siiski piisavalt võrdlusandmeid väitmaks, et see on kõigist alternatiividest kiirem või odavam. Need võrdlused sõltuvad riistvarast, eraldusvõimest, kaadrisagedusest, pakktöötlusest ja ümbritseva videotöötluse mahust.

Millal võib mõni muu lahendus sobivam olla?

Kasuta üldist visuaal-keelemudelit siis, kui rakendus peab videot kirjeldama, stseenide kohta küsimustele vastama, eri tüüpi videomaterjalidest teavet eraldama või ühendama visuaalse sisendi loomuliku keele põhise arutlusega. Kõne- või avatari platvorm sobib paremini siis, kui peamine nõue on häälsuhtlus, huulte sünkroonimine või täieliku digiinimese loomine, mitte ainult pilgu korrigeerimine.

Pilvepõhine videotöötlusteenus võib olla lihtsam nendele meeskondadele, kes ei soovi NVIDIA taristut hallata. Laiem näoanimatsiooni- või meediaefektide lahendus võib samuti olla eelistatav juhul, kui rakendus vajab lisaks silmadele veel paljusid teisendusi. Need alternatiivid võivad Eye Contacti sihipärase juurutusmudeli asemel pakkuda lihtsamat integratsiooni või laiemat funktsionaalsust.

Tehniline kokkuvõte

NVIDIA Eye Contacti on kõige parem mõista taristukõlbliku komponendina konkreetse visuaalse probleemi lahendamiseks. Selle väärtus seisneb kontrollitud pilguteisenduse ja sellega seotud jälgimisandmete tootmises, mitte laias generatiivses või vestluslikus intelligentsuses. Seda hindavad meeskonnad peaksid alustama silmade tuvastamise ja kujutiste kokkusulatamise töötlusahela kvaliteedist, ühilduvate GPU-de saadavusest, litsentsinõuetest ning ümbritseva videosüsteemi käitamise kuludest.