SAM 3D Body

Mida SAM 3D Body teeb

SAM 3D Body on Meta spetsialiseeritud mudel, mis taastab ühe RGB-pildi põhjal inimese 3D-keha. Selle asemel et tagastada pildi pealkiri, klassifikatsioon või üldine kirjeldus, hindab see inimese keha struktureeritud esitust, sealhulgas kogu keha võrgumudelit, skeletipoosi ja kehakuju parameetreid.

Üks pilt ei sisalda otsest teavet iga varjatud pinna ega inimese täpse sügavuse kohta. Seetõttu loob SAM 3D Body hinnangulise rekonstruktsiooni, mitte garanteeritud skaneeringu või mõõtmise. Selle eesmärk on pakkuda kasulikku 3D-esitust edasiseks visualiseerimiseks, analüüsiks, animatsiooniks ja kehastatud tehisintellekti katseteks.

Mudel kuulub Meta SAM 3D väljalaskesse, mis sisaldab ka objektide ja stseenide rekonstrueerimiseks mõeldud mudelit SAM 3D Objects. SAM 3D Body on inimeste töötlemisele keskenduv komponent: selle objektiks on üksikisik ning väljund on üles ehitatud inimese poosi ja kehakuju ümber.

Kuidas mudelit suunatakse

SAM 3D Body saab töötada RGB-pildi põhjal ning võtta täiendavaid juhiseid segmenteerimismaskide või kahemõõtmeliste võtmepunktide kaudu. Segmenteerimismask näitab, millised pikslid kuuluvad inimesele, samas kui 2D-võtmepunktid määravad nähtavad keha orientiirid. Need viibad aitavad rekonstruktsiooni fookustada, kui pilt on keeruline või mitu visuaalset vihjet on mitmeti tõlgendatavad.

Selline viipadel põhinev ülesehitus on interaktiivsetes töövoogudes kasulik. Näiteks võib kasutaja või varasem nägemissüsteem huvipakkuva inimese kindlaks teha ja esitada maski, enne kui palub mudelil hinnata selle inimese 3D-poosi ja -kuju. Mudel on siiski mõeldud inimeste töötlemiseks ühekaupa, mitte kogu mitme inimesega stseeni lahendamiseks ühe ühtse inimestevahelise suhtluse probleemina.

Tugevused ja väljundi esitus

SAM 3D Body peamine tugevus on keskendumine kogu keha rekonstrueerimisele keerulistest päriselupiltidest. Meta esitleb seda mudelina, mis on loodud töötama ebatavaliste pooside, osalise varjamise, erineva riietuse ja muude loomulikus keskkonnas esinevate tingimustega, mis muudavad monokulaarse 3D-hindamise keeruliseks.

• Kogu keha 3D-taastamine: väljund sisaldab kehavõrgustikku koos poosi- ja kujuteabega.
• Viipadega suunatav hindamine: täiendavaid juhiseid saab anda segmenteerimismaskide ja 2D-võtmepunktide abil.
• Inimesele kohandatud struktuur: väljund põhineb Meta Momentum Human Rigil ehk MHR-il, mitte struktureerimata visuaalsel ennustusel.
• Teadusuuringutele suunatud väljalase: Meta pakub järelduskoodi, kontrollpunkte, hindamisressursse ja seotud inimrig’i varasid.

Momentum Human Rig eraldab skeleti struktuuri pehmete kudede kehakujust. See eraldatus võib muuta tulemuse kontrollimise ning animatsiooni- ja analüüsitorustikes kasutamise lihtsamaks kui puhtalt pildipõhine väljund. Kaasatud väljalasketeabe kohaselt on Meta avaldanud seotud parameetrilise inimmodelli ka lubava kommertslitsentsi all.

Tehniline arhitektuur ja piirangud

SAM 3D Body kasutab MHR-i võrgumudeli parameetrite ennustamiseks trafopõhist kodeerija-dekodeerija arhitektuuri. Selle pildikodeerija kasutab mitut sisenditeed, mille eesmärk on säilitada kehaosade kõrge eraldusvõimega teave. Võrgumudeli dekodeerija toetab viipadel põhinevat ennustamist ja korduvat täpsustamist.

Esitatud spetsifikatsioonid ei määratle tavapärast kontekstiakent ega väljundi maksimaalset tokenipiirangut. Need väljad kehtivad peamiselt keelemudelite ja hostitud generatiivsete API-de kohta, samas kui SAM 3D Body genereerib visuaalse sisendi põhjal struktureeritud 3D-ennustusi. Praktilised piirangud sõltuvad hoopis pildist, nähtavate tõendite kvaliteedist, valitud kontrollpunktist ja kohalikust järelduskeskkonnast.

Mudel võtab esmase sisendina vastu ühe RGB-pildi, millele võib lisada maski või 2D-võtmepunktide juhised. Kaasatud teadusmaterjalides ei ole dokumenteeritud heli- ega videosisendit. Selle otsene väljund on tekstilise, pildi-, heli- või videogenereerimise asemel mittetekstiline inimese 3D-esitus.

Saadavus, kontrollpunktid ja hinnastamine

Meta avaldas SAM 3D Body teadustarkvara ja allalaaditavate mudelikontrollpunktidena. Kaasatud andmetes märgitud ametlik väljalaskekuupäev on 19. november 2025. Kood on saadaval Facebook Researchi repositooriumi kaudu ning kontrollpunkte levitatakse Hugging Face'i kaudu.

Dokumenteeritud kontrollpunktide variandid hõlmavad facebook/sam-3d-body-dinov3 ja facebook/sam-3d-body-vith. Hugging Face'i kontrollpunktidele juurdepääsuks on vaja esitada juurdepääsutaotlus ja autentida kasutaja. Samuti tuleb arvestada kohaliku masinõppekeskkonna paigaldamisega, mis hõlmab PyTorchi, Detectron2-te ja GPU-le suunatud sõltuvusi.

SAM 3D Body ametlikku hostitud API hinnastust ei ole avaldatud. Seda ei esitata mõõdetava üldotstarbelise võrgumudelina, millel oleks pildi sisendi ja väljundi põhised hinnad. Seetõttu erineb rahaline kompromiss API-mudelist: kohalikul kasutamisel ei pruugi teenusepakkujale järeldustasu maksta, kuid kasutaja peab tagama sobiva riistvara, salvestusruumi, seadistamiseks vajaliku aja ja hoolduse. Tegelik kasutuskulu sõltub arvutist ja juurutuskeskkonnast, mida kaasatud teadusmaterjalides ei täpsustata.

Arutlus-, kodeerimis- ja tööriistade tugi

SAM 3D Body ei ole keelemudel ning seda ei tohiks hinnata vestlusroboti või kodeerimisabilise mõõdupuu järgi. Dokumenteeritud väljalaskes ei paku see üldotstarbelist arutlust, teksti genereerimist, koodi genereerimist, funktsioonikutseid, veebotsingut, voogedastusvastuseid ega JSON-režiimis tekstiväljundit.

Seda saab integreerida suuremasse tarkvaratorustikku, kuid see erineb sisseehitatud tööriistade olemasolust. Rakendus võib kasutada selle võrgumudeli- ja poosiennustusi animatsioonisüsteemi, robootikapinu, liitreaalsuskogemuse või analüüsiprogrammi sisendina. Sellise orkestreerimise eest vastutab ümbritsev rakendus; SAM 3D Body ise on nägemiskomponent, mis hindab inimese esitust.

Kaasatud andmetes olevad toimetuslikud võimekushinded annavad mudelile arutluse ja kodeerimise eest suhteliselt madala ning selle spetsialiseeritud kategooria kiiruse ja kulutõhususe eest suhteliselt kõrgema hinnangu. Need on võrdlevad toimetuslikud hinnangud, mitte Meta avaldatud võrdlustulemused. Neid ei tohiks tõlgendada keelemudelitega tehtud mõõtmistena ega garanteeritud järeldusjõudlusena.

Piirangud, millega arvestada

Kõige olulisem piirang on see, et SAM 3D Body tuletab kolmemõõtmelise struktuuri ühest kahemõõtmelisest vaatest. Varjatud jäsemed, sügavus, kaamera omadused, keha proportsioonid ja anatoomia peened detailid võivad jääda mitmeti tõlgendatavaks. Visuaalselt usutav võrgumudel ei pruugi olla täpne füüsiline mõõtmine ega täpne skaneering.

Mudel töötleb inimesi ühekaupa ega arvesta täielikult mitme inimese, objektide või ümbritseva keskkonna vahelise suhtlusega. Kahe suhtleva inimesega foto võib vajada eraldi töötlemist ja täiendavat rakendusloogikat. Seega ei ole mudel täielik inimese ja objekti interaktsiooni süsteem ega stseenimõistmise mudel.

Käte poos on veel üks teadaolev piirang. Meta sõnul on kogu keha hindamise osana tehtud täiustusi, kuid käepoosi täpsus ei ületa spetsialiseeritud ainult käepoosi hindamise süsteemide täpsust. Rakendused, mis sõltuvad sõrmede täpsest liigendamisest, võivad lisaks SAM 3D Bodyle või selle asemel vajada spetsiaalset kätejälgimise või käepoosi lahendust.

Tulemused võivad halveneda ka siis, kui inimest varjavad ulatuslikult teised objektid, keha on pildilt välja lõigatud, visuaalsed detailid on ebaselged või pilt ei anna usaldusväärseks rekonstruktsiooniks piisavalt teavet. Mudelit tuleks käsitleda hindamistööriistana, mille väljund võib vajada kontrollimist ja järeltöötlust.

Parimad kasutusjuhtumid

• Arvutinägemise teadusuuringud: monokulaarse inimese 3D-poosi ja -kuju hindamise uurimine.
• AR ja VR: fotode põhjal avataride loomine või prototüüpimine.
• Interaktiivne meedia ja mängud: lähtepunkti loomine tegelase- või liikumisega seotud töövoogudele.
• Robootika ja kehastatud tehisintellekt: inimese poosi ja kehakuju hinnangute edastamine tajukatsetesse.
• Spordi- ja liikumisanalüüs: kehaasendi uurimine liikumatutes piltides või pildipõhistes andmekogumites.
• Võrdlustestid ja mudeliarendus: selliste töövoogude testimine, mis vajavad tekstikirjelduse asemel struktureeritud inimese võrgumudelit.

Need kasutusviisid toimivad kõige paremini siis, kui ligikaudne struktureeritud esitus on väärtuslikum kui sertifitseeritud mõõtmine. Teadlane saab võrgumudelit kasutada poosi visualiseerimiseks, ennustuste võrdlemiseks või järgneva protsessi juhtimiseks, kuid anatoomilist täpsust nõudvates rakendustes tuleb tulemust siiski kontrollida.

Millal valida SAM 3D Body

Vali SAM 3D Body siis, kui peamine vajadus on saada ühe RGB-pildi põhjal inimese 3D-võrgumudel ning hinnang poosile ja kehakujule, eriti juhul, kui kohalik juurutus ja juurdepääs teaduskoodile on sobivad. Selle spetsialiseeritud väljund muudab selle üldisest nägemis-keelemudelist sobivamaks töövoogudes, mis vajavad inimese keha selgesõnalisi parameetreid.

See võib hästi sobida, kui soovid katsetada keeruliste pooside, varjamise, segmenteerimisjuhiste või Momentum Human Rigi esitusega. Samuti on see mõistlik valik, kui eelistad hostitud API-le allalaaditavaid kontrollpunkte ning suudad hallata vajalikku GPU-le suunatud tarkvarakeskkonda.

Teistsugune lahendus võib olla sobivam siis, kui vajad lihtsat hostitud lõpp-punkti, prognoositavat päringupõhist hinnastust, reaalajas vide jälgimist, mitme inimese interaktsiooni mõistmist, täpseid kehamõõte või väga täpset käepoosi. Üldine nägemismudel võib olla kasulikum stseeni tõlgendamiseks ja loomulikus keeles vastamiseks, samas kui spetsiaalne käe- või videojälgimissüsteem võib sobida paremini pideva liikumise ja sõrmetasandi detailide jaoks. Need alternatiivid lahendavad teistsuguseid probleeme; SAM 3D Body on spetsiaalselt optimeeritud ühe pildi põhise kogu keha 3D-rekonstrueerimise jaoks.

SAM 3D Body lühidalt

SAM 3D Bodyd tuleks mõista pigem spetsialiseeritud rekonstruktsioonikomponendi kui üldise tehisintellektiabilise või -assistendina. Selle väärtus seisneb piiratud visuaalse teabe teisendamises struktureeritud inimese esituseks, mida saavad kasutada teised 3D-, robootika-, animatsiooni- või teadussüsteemid.