Mis on NVIDIA 3D Body Pose
NVIDIA 3D Body Pose on juurutatav arvutinägemismudel ja NVIDIA NIM-i mikroteenus, mis hindab inimeste kehade asukohta ja orientatsiooni videos. Teksti loomise või piltide genereerimise asemel analüüsib see inimesi video kaadrites ning tagastab struktureeritud skeletiandmed, mida tarkvara saab kasutada liikumise analüüsiks, animatsiooniks, jälgimiseks või teadustööks.
Teenus on mõeldud mitme inimesega stseenide jaoks. Iga jälgitava inimese ja kaadri kohta võib see esitada 2D-võtmepunkte pildi koordinaatides, 3D-liigeste asukohad kaamera koordinaatides, liigeste kaupa usaldusskoore, liigeste pöörded, keha baasasendi ja juureasendi. Praktiliselt tähendab see, et rakendus saab väljundi abil mõista, kus inimese liigesed asuvad, kuidas keha on orienteeritud ja kuidas asend aja jooksul muutub.
NVIDIA pakub mudelit oma praeguse NIM-i kataloogi osana: Build.NVIDIA.com kaudu on saadaval majutatud lõpp-punkt ning kohapealseks juurutamiseks allalaaditav konteiner. Mudeli kanooniline identiteet on 3D Body Pose ja mudeli ID on body_pose.
Peamine eesmärk ja praktiline roll
Teenus on mõeldud rakendustele, mis vajavad videost 3D-skeletiandmeid, ilma et oleks vaja tavapärast markeripõhist liikumishõive lahendust. Võimalikud kasutusalad on videopõhine liikumishõive, spordi- ja liikumisanalüüs, tegelaste animatsioon, kehahoiaku või tegevuse analüüs, juurdepääsetavustarkvara, videotootmine ja arvutinägemise teadusuuringud.
Tüüpiline töövoog algab H.264-koodekiga kodeeritud MP4-failist. Teenus töötleb videot, jälgib inimesi kaadrite kaupa ning edastab poosi tulemused voogedastuse gRPC-liidese kaudu. Seejärel saab rakendus skeleti visualiseerida, liikumisandmeid salvestada, liigeste trajektoore analüüsida või edastada tulemused mõnele teisele graafika- või analüüsisüsteemile.
Seda spetsialiseerumist tuleb teenuse hindamisel arvesse võtta. NVIDIA 3D Body Pose ei ole vestlusmudel, pildigeneraator, embeddingu-mudel ega üldotstarbeline video mõistmise süsteem. Selle väljund on struktureeritud poosihindamise andmestik, mitte loomulikus keeles kommentaar video kohta.
Mida poosi väljund sisaldab
Dokumenteeritud väljund võib sisaldada keha kohta mitut tüüpi teavet:
- 2D-võtmepunktid: liigeste asukohad, mis on kantud video pildile.
- 3D-liigeste asukohad: liigeste asukohad kaamera koordinaatides.
- Usaldusväärtused: skoorid, mis aitavad järgneval tarkvaral hinnata üksikute hinnangute usaldusväärsust.
- Liigeste pöörded: keha liigeste orientatsiooni kirjeldav teave.
- Baasasendi teave: keha võrdluskonfiguratsioon.
- Juureasendi teave: keha juure ehk keskse võrdluspunkti asukoht ja orientatsioon.
Teenus toetab mitme inimese jälgimist, kuid töökoormus ja läbilaskevõime sõltuvad muu hulgas inimeste arvust igas kaadris, video eraldusvõimest ja järeldamiseks kasutatavast NVIDIA GPU-st. NVIDIA pakendatud arhitektuur sisaldab komponente GENMO 3D-inimese poosi ja skeletistruktuuri genereerimiseks, SAM3DB-d 3D-keha segmenteerimiseks ja jälgimiseks ning Dino-v3-VITPose'i 2D-võtmepunktide ja poosi tuvastamiseks. Need on NIM-i juurutuse komplekti kuuluvad komponendid, mitte eraldi kanoonilised tooted, mida tuleks 3D Body Pose'i asemel valida.
Sisend, töötlemine ja API käitumine
Dokumenteeritud klient võtab vastu H.264-koodekit kasutava MP4-video. Nii majutatud kui ka konteineripõhised töövood kasutavad gRPC API-sid ning teenus toetab voogedastuslaadset järeldamist. Saadaval on ka tehinguline režiim, mida saab kasutada juhul, kui kogu sisendvideo tuleb enne töötlemist puhverdada.
Püsiv kaadrisagedus on praktiline nõue. Jälgitavad kastid seostatakse kaadritunnustega, mistõttu muutuva kaadrisagedusega video või vahelejäänud kaadrid võivad häirida jälgitavate inimeste, kaadrite ja ajatemplite omavahelist seost. NVIDIA soovitab sellise materjali enne järeldamiseks saatmist püsivale kaadrisagedusele ümber kodeerida.
Majutatud töövoo dokumenteeritud sisendfaili piirang on 50 MB. Esitatud uuringumaterjal ei täpsusta video maksimaalset kestust, kontekstiakna ekvivalenti, maksimaalset kaadrite arvu ega maksimaalset väljundmärgendite arvu. Keelemudelite sellised piirangud ei kehti otseselt selle poosihindamisteenuse puhul.
Kuna mudel kasutab ajalist akent, võib selle väljund praeguse videokaadriga võrreldes hilineda. Seetõttu ei tohiks seda käsitleda hetkelise ühe kaadri hindamisena. Reaalajas toimimist vajavad rakendused peavad arvestama nii selle ajalise viivituse kui ka valitud GPU töötlemiskiirusega.
Juurutamine ja riistvaranõuded
NVIDIA pakub kahte peamist juurutusviisi. Majutatud lõpp-punkt võimaldab teenust proovida või kasutada ilma järeldamiskonteineri haldamiseta. Allalaaditav NIM-i konteiner on mõeldud kohapealseteks või ise hallatavateks keskkondadeks, kus operaator kontrollib NVIDIA GPU-taristut ja juurutuse konfiguratsiooni.
Konteiner kasutab NVIDIA GPU-kiirendust koos CUDA, TensorRT, Triton Inference Serveri ja NVIDIA AR SDK taustsüsteemiga. Dokumenteeritud riistvaranõue on NVIDIA GPU, mille arvutusvõimekus on 8.0 või uuem. NVIDIA nimetab testitud miinimumiks 24 GB GPU-mälu, kuigi tegelikud nõuded ja jõudlus sõltuvad videotöötluse koormusest, eraldusvõimest, jälgitavate kehade arvust ja kasutatavast riistvarast.
Dokumenteeritud optimeeritud konfiguratsioonid hõlmavad NVIDIA A100, A30, A10G, A40, L4, L40S, RTX 6000 Ada Generationi, H100, H200, B200 ja RTX PRO 6000 Blackwell Server Editioni GPU-sid. See muudab mudeli halvasti sobivaks ainult protsessoritel töötavale taristule või juurutustele, mis vajavad laia riistvaralist kaasaskantavust.
Hinnakujundus ja kulud
NVIDIA dokumenteerib selle mudeli jaoks tasuta majutatud lõpp-punkti. Esitatud uuringumaterjalis ei ole eraldi mudeliväljundi hinda dokumenteeritud. Ise hostimise korral ei ole siin esitatud kindlat päringu põhist mudelihinda, kuid vaja on ühilduvat NVIDIA GPU-taristut ning lisanduda võivad taristu-, tarkvara- või NVIDIA teenusekulud.
Peamine kulude kompromiss on seega pigem kasutamisega seotud kui seotud avaldatud märgipõhise hinnaga. Majutatud lõpp-punkt võib vähendada seadistamise koormust hindamisel ja väiksemates katsetes. Ise hallatav NIM võib olla sobivam, kui organisatsioon vajab juurutuse, andmekäitluse või läbilaskevõime üle kontrolli, kuid operaator peab pakkuma ja hooldama toetatud GPU-keskkonda.
Peamised tugevused ja piirangud
Tugevused
- Spetsialiseeritud 3D-väljund: See tagastab ainult 2D-tuvastuste asemel 3D-liigeste asukohad ja poosiandmed.
- Mitme inimese jälgimine: See on loodud videos mitme inimese jälgimiseks, mitte ainult ühe subjekti jaoks.
- Struktureeritud tulemused: Võtmepunkte, pöördeid, usaldusväärtusi ning juure- või baasasendi andmeid saab kasutada tarkvaratorudes.
- Paindlik juurutamine: Kasutajad saavad kasutada majutatud lõpp-punkti või juurutada allalaaditava NIM-i konteineri.
- NVIDIA kiirendus: CUDA, TensorRT, Triton ja toetatud NVIDIA GPU-d võimaldavad GPU jaoks optimeeritud järeldamist.
Piirangud
- Piiratud sisendvorming: Dokumenteeritud töövoog kasutab H.264 MP4-videot, mitte suvalisi meediumivorminguid.
- Majutatud teenuse failipiirang: Majutatud kliendi sisendi piirang on 50 MB.
- Sõltuvus püsivast kaadrisagedusest: Muutuva kaadrisagedusega videod ja vahelejäänud kaadrid võivad häirida jälgimist ja ajatemplite joondamist.
- Ajaline viivitus: Mudeli ajaline aken tähendab, et tulemused ei ole samaväärsed hetkelise ühe kaadri hinnanguga.
- Sõltuvus NVIDIA riistvarast: Dokumenteeritud konteiner nõuab arvutusvõimekust 8.0 või uuemat ning testitud miinimumina 24 GB GPU-mälu.
- Üldiste tehisintellektifunktsioonide puudumine: See ei paku teksti genereerimist, piltide genereerimist, kõnet, heli töötlemist, embeddinguid ega tööriistade või funktsioonide väljakutsumist.
Võimekuse profiil
NVIDIA 3D Body Pose võtab vastu videosisendi ja toodab struktureeritud poosiandmeid. Dokumenteeritud peamiste sisenditüüpidena ei toeta see teksti, pilte ega heli ning ei genereeri otse teksti, pilte, videot, heli, muusikat ega kõnet. Selle struktureeritud väljund on järgneva tarkvara jaoks kasulik, kuid seda ei tohiks segi ajada keelemudeli JSON-režiimi funktsiooni ega üldotstarbelise funktsiooniväljakutse API-ga.
Arutlemine ja kodeerimine ei ole selle mudeli mõtestatud sihtvõimekused. Esitatud toimetuslikus võimekushinnangus liigitatakse nii arutlemine kui ka kodeerimine väga madalaks, sest teenus tegeleb poosihindamise, mitte keelelise arutlemise või koodi genereerimisega. Need hinnangud on toimetuslikud ega põhine NVIDIA avaldatud võrdlustulemustel. Samuti on esitatud kiiruse- ja kuluskoorid võrdlevad toimetuslikud näitajad; tegelik jõudlus ja kulu sõltuvad juurutuse riistvarast, video omadustest ja kasutustingimustest.
Millal valida NVIDIA 3D Body Pose
Vali see mudel siis, kui peamine vajadus on eraldada videost inimese 3D-keha liikumine ning juurutuskeskkond toetab NVIDIA GPU-sid. See sobib eriti hästi juhul, kui vajad enamat kui 2D-inimeste tuvastamist: näiteks võib liikumishõive töövoog vajada liigeste pöördeid, asukohti kaamera koordinaatides ja juureasendit, samal ajal kui spordianalüüsi süsteem võib vajada liikumise võrdlemist kaadrite ja subjektide lõikes.
Majutatud lõpp-punkt on mõistlik lähtekoht dokumenteeritud töövoo testimiseks. Allalaaditav NIM sobib paremini siis, kui rakendus vajab ise hallatavat juurutust või kontrollitud GPU-keskkonda. Mõlemal juhul kontrolli enne tootmisvoo loomist sisendvideo vormingut, kaadrisagedust, faili suurust, eeldatavat jälgitavate inimeste arvu ja vastuvõetavat ajalist viivitust.
Teistsugune lahendus võib olla sobivam siis, kui projekt vajab protsessoril töötamist, suvalisi videoformaate, üksikpildi poosihindamist, loomulikus keeles selgitusi, kõne- või helianalüüsi või ühtset multimodaalset mudelit. Üldine video mõistmise mudel võib olla eelistatav klipis toimuvate sündmuste kohta küsimuste esitamiseks, samas kui kergem 2D-poosituvastaja võib olla sobivam juhul, kui 3D-koordinaate ja liigeste pöördeid pole vaja. Need alternatiivid vastavad teistsugustele vajadustele ega ole NVIDIA 3D Body Pose'i spetsialiseeritud 3D-väljundi otsesed asendajad.
Kokkuvõte
NVIDIA 3D Body Pose on keskendunud video poosihindamise teenus, mis teisendab H.264 MP4-materjali mitme inimese 2D- ja 3D-skeletiandmeteks. Jälgitavate kehade, liigeste asukohtade, pöörete, usaldusväärtuste ja juurutatava NVIDIA NIM-i pakendi kombinatsioon muudab selle asjakohaseks liikumishõive ja muude arvutinägemise töökoormuste jaoks. Sama konkreetsed on ka peamised tingimused: kasuta toetatud NVIDIA riistvara, valmista ette püsiva kaadrisagedusega video, arvesta majutatud teenuse 50 MB piiranguga ja võta arvesse ajalist töötlemisviivitust. Seda tasub hinnata spetsialiseeritud 3D-kehajälgimise komponendina, mitte üldise tehisintellektimudelina.