Mis on SAM 3D Objects
SAM 3D Objects on Meta välja antud arvutinägemise alusmudel, mis rekonstrueerib üksiku pildi põhjal 3D-objekte. Sisendiks on pilt koos maskiga, mis määrab rekonstrueeritava objekti või objektid. Selle teabe põhjal ennustab mudel 3D-esituse, mis võib hõlmata geomeetriat, tekstuuri, asendit ja stseeni paigutust.
Oluline erinevus seisneb selles, et SAM 3D Objects ei ole tekstist 3D-mudelite loomise süsteem. See ei alusta objekti kirjeldavast tekstilisest viibast. Selle asemel kasutab see visuaalset infot: fotot ja objekti maski. Seejärel hindab mudel objekti nähtavaid osi ning tuletab varjava objekti või kaameranurga tõttu peidetud piirkondade jaoks tõenäolise struktuuri.
Meta käsitleb seda projekti laiema SAM 3D väljalaske osana. Projekt sisaldab ka mudelit SAM 3D Body, mis keskendub inimese keha struktuuri taastamisele piltide põhjal. SAM 3D Objectsil on teistsugune eesmärk: üldiste objektide rekonstrueerimine päriselu stseenides, mitte inimeste 3D-võrgustike loomine.
Kuidas üksiku pildi põhjal rekonstrueerimine toimib
Tavapärases mitme vaate põhises rekonstrueerimisprotsessis kasutab tarkvara kolmemõõtmelise struktuuri taastamiseks fotode või video salvestisi mitmest vaatepunktist. SAM 3D Objects on mõeldud olukordadeks, kus saadaval on ainult üks pilt. See muudab selle kasulikuks tavaliste fotode, kataloogilaadsete piltide ja töötlemata stseenide puhul, kus lisavaadete kogumine pole praktiline.
Objekti mask on kirjeldatud töövoo keskne osa. See näitab süsteemile, millist pildipiirkonda tuleb käsitleda rekonstrueerimise sihtmärgina. Avaldatud näited hõlmavad nii ühe objekti kui ka mitme objekti töövooge, seega võib stseen sisaldada rohkem kui üht valitud objekti. Taustal olev segadus ja ümbritsev kontekst jäävad pildil nähtavaks, kuid mask eraldab sihtobjekti sellest kontekstist, et süsteem saaks teha järeldusi.
Kuna mudel peab piiratud tõendusmaterjali põhjal tuletama nähtamatuid pindu, on selle väljund hinnang, mitte objekti täieliku füüsilise struktuuri mõõtmistulemus. Osaliselt varjatud tool, mänguasi, tööriist või majapidamisese võib saada tõenäolise tagakülje ja tekstuuri, kuid tulemust ei tohiks automaatselt pidada mõõtmetelt täpseks ega kõigi peidetud detailide poolest tõetruuks.
Väljundid ja toetatud modaalsused
SAM 3D Objects loob teksti asemel mittetekstilisi 3D-väljundeid. Dokumenteeritud väljundikategooriad hõlmavad objekti geomeetriat, tekstuuri, asendit ja paigutust. Ametlik projekt toetab valitud töövoost sõltuvalt ka selliste esituste eksportimist nagu Gaussi täpid ja 3D-mudeli varad.
Gaussi täppide meetod on viis stseeni või objekti esitamiseks paljude kolmemõõtmeliste Gaussi elementide abil, mida saab uutest vaatepunktidest renderdada. See on visualiseerimise ja teadustöö jaoks kasulik, sest võimaldab säilitada välimusega seotud teavet, ilma et oleks vaja kasutada samasugust tavapärast võrgustiku topoloogiat nagu tootmises kasutatavas CAD- või animatsioonitöövoos.
Mudel võtab vastu pildiandmeid ja objektimaske. Esitatud teadusmaterjalid ei dokumenteeri heli-, video- ega tekstisisendit, vestluslikku väljundit, kõneväljundit, embedding'u’i, struktureeritud teksti genereerimist ega üldotstarbelist tööriistade kasutamise või funktsioonikutsete liidest.
Peamised tugevused
- Ühe pildi põhjal töötamine: Mudel võib proovida rekonstrueerimist ka siis, kui mitu fotot või videoseeria pole saadaval.
- Fookus loomulikel stseenidel: See on loodud piltide jaoks, mis sisaldavad segadust, varjamist, väikeseid objekte ja ebatavalisi asendeid, mitte ainult hoolikalt lavastatud stuudiovõtteid.
- Enamat kui pelk kuju taastamine: Ennustatud tulemus võib lisaks geomeetriale hõlmata tekstuuri, asendit ja paigutust.
- Ühe ja mitme objekti töövood: Ametlikud näited hõlmavad nii ühe objekti rekonstrueerimist kui ka mitme valitud objekti käsitlemist ühises stseenis.
- Ligipääs teadustööks: Meta pakub avalikku koodi ja mudeli kontrollpunkte, võimaldades teadlastel töövoogu kohapeal käivitada ja uurida, selle asemel et tugineda ainult avaldamata teenusele.
- Visualiseerimisele suunatud esitused: Gaussi täppide eksport võib olla kasulik vaatesünteesi katsetes, demonstratsioonides ja kiires 3D-prototüüpimises.
Need tugevused muudavad mudeli eriti asjakohaseks siis, kui eesmärk on saada kiiresti kasutatav visuaalne ligikaudne tulemus. Need on vähem olulised juhul, kui vaja on kontrollitud insenerimudelit või hoolikalt koostatud tootmisvõrgustikku.
Saadavus, riistvara ja litsents
Meta loetleb SAM 3D Objectsi saadaoleva teadusliku väljalaskena, mille mudeli kontrollpunktid on levitatud piiratud juurdepääsuga Hugging Face'i hoidlas. Kontrollpunktidele juurdepääsuks tuleb nõustuda hoidla tingimustega ja esitada nõutud kontaktandmed. Lähtekood on saadaval Meta ametlikus Facebook Researchi hoidlas.
Ametlik seadistusjuhend määrab Linuxi 64-bitise keskkonna ning soovitab NVIDIA GPU-d, millel on vähemalt 32 GB videomälu. See nõue paigutab mudeli pigem teadustööjaama või pilve-GPU töökoormuse kui tavalise tarbijarakenduse kategooriasse. Teadusmaterjalid ei paku majutatud järeldusliidest, mis kõrvaldaks vajaduse sellise riistvara haldamise järele.
Kood ja kontrollpunktid kasutavad Meta SAM-i litsentsi. Kõik, kes kaaluvad ärilist kasutuselevõttu, edasilevitamist või suuremasse tootesse integreerimist, peaksid litsentsitingimused ja kontrollpunktidele juurdepääsu tingimused otse üle vaatama, mitte eeldama, et avalik kood tähendab piiranguteta ärilist kasutust.
Hinnastus ja API-juurdepääs
Esitatud esimese osapoole materjalides ei ole SAM 3D Objectsi kohta dokumenteeritud ametlikku märgipõhist hinnastust, korduva tellimuse hinda ega pildipõhist järeldushinda. Mudelit levitatakse peamiselt allalaaditava teadusliku väljalaskena, mitte tavapärase keelemudeli API-na.
Samuti ei ole dokumenteeritud avalikku API-lepingut, mis käsitleks konteksti pikkust, teksti maksimaalset väljundit, voogedastust, pakipäringuid, JSON-režiimi või majutatud tööriistakutseid. Mudeli käitamisega võivad siiski kaasneda sobiva GPU, salvestusruumi ja töötlusaja infrastruktuurikulud, kuid need sõltuvad kasutaja valitud keskkonnast ning neid ei tohiks segi ajada Meta ametliku mudelihinnaga.
Piirangud ja kvaliteediga seotud kaalutlused
Peamine piirang tuleneb ühe pildi kasutamisest: mudelil on objekti kohta puudulik tõendusmaterjal. Varjatud pinnad, ebaselged kujundid, peegeldavad materjalid, tugev varjamine ja väga väikesed pildipiirkonnad võivad kõik muuta rekonstrueerimise ebakindlaks. Visuaalselt veenev tulemus võib siiski sisaldada ebatäpset geomeetriat või nähtamatule küljele lisatud väljamõeldud detaile.
Enne tootmises kasutamist võib loodud vara vajada puhastamist ja korrastamist. Esitatud teadusmaterjalides hoiatatakse konkreetselt, et täpsed mõõtmed, veekindel geomeetria, ühtlane topoloogia ja mehaaniliselt täpne struktuur ei ole tagatud. See on oluline tootmise, insenerisimulatsioonide, kokkupõrketundlike rakenduste ja animatsioonitöövoogude puhul, mis nõuavad kontrollitud võrgustikutopoloogiat.
Mask on veel üks praktiline sõltuvus. Kehv või ebatäpne mask võib põhjustada taustapikslite kaasamise süsteemi, sihtobjekti osade eemaldamise või lähedalasuvate objektide segiajamise. Mitme objektiga stseenid võivad samuti nõuda iga sihtobjekti hoolikat valimist ja kontrollimist enne loodud väljundi heakskiitmist.
Seetõttu tuleks SAM 3D Objectsi käsitleda pildist 3D-rekonstrueerimise ja visualiseerimise süsteemina, mitte mitme kalibreeritud vaatega fotogramm-meetria, käsitsi modelleerimise, CAD-i või tootmisvara valideerimise protsessi asendusena. Esitatud allikad ei anna universaalset täpsusmõõdikut ega garanteeritud kvaliteedilävendit eri objektikategooriate jaoks.
Arutlemine, kodeerimine ja mudeli käitumine
See mudel ei arutle ega kirjuta koodi samal viisil nagu üldine keelemudel. Selle ülesanne on tuletada visuaalse sisendi põhjal 3D-stseeni esitus. Toimetuslikus hinnangus on selle sobivus arutlemiseks ja kodeerimiseks madal, sest need kategooriad ei kuulu mudeli eesmärgi hulka, mitte seetõttu, et mudel peaks konkureerima vestlusabilisega.
Samuti ei ole sellel dokumenteeritud teadmiste lõppkuupäeva, väljundi maksimaalset märgipiirangut ega tekstikonteksti akent. Need keelemudelite väljad ei ole peamise rekonstrueerimistöövoo puhul kohaldatavad. Mudeli praktilised piirid sõltuvad hoopis pildist, maskist, rekonstrueerimisprotsessist, väljundi esitusest, saadaolevast GPU-mälust ja stseeni keerukusest.
Parimad kasutusjuhud
SAM 3D Objects sobib hästi katseteks ja prototüüpideks, mille puhul on vaja ühe foto põhjal loodud 3D-ligikaudset esitust. Sobivad rakendused on muu hulgas:
- Igapäevaste esemete muutmine fotodel esialgseteks 3D-varadeks.
- Pildist 3D-ni töövoogude katsetamine arvutinägemise teadustöös.
- Tekstuuridega visuaalsete viidete loomine liit- või virtuaalreaalsuse katseteks.
- Gaussi täppide renderdamise ja uute vaadete visualiseerimise uurimine.
- Ligikaudsete varade loomine demonstratsioonide, kontseptsiooniarenduse ja varajase sisu loomise jaoks.
- Objektitaju uurimine segadust sisaldavates või osaliselt varjatud stseenides.
Sellistes olukordades võib kiire katsetamise võimalus ja võime töötada ühe pildi põhjal olla väärtuslikum kui garanteeritud geomeetriline täpsus.
Millal seda mudelit valida
Vali SAM 3D Objects siis, kui sul on pilt ja objekti mask, vajad visuaalselt kasulikku 3D-ligikaudset esitust ning saad avatud teadusmudelit sobival NVIDIA riistvaral käitada. See on eriti asjakohane siis, kui mitme vaate kogumine on keeruline või kui inimene kontrollib väljundi enne selle kasutamist üle.
Mitme vaate põhine rekonstrueerimine või fotogramm-meetria töövoog võib olla sobivam juhul, kui täpne kuju sõltub mitmest vaatepunktist saadud mõõtmistest. Traditsiooniline modelleerimine või CAD on eelistatav siis, kui olulised on mõõtmed, veekindel topoloogia, mehaaniline struktuur või tootmiskindlus. Majutatud pildist 3D-ni teenus võib olla mugavam, kui soovid API-t ega taha Linuxi-põhist GPU-tööjaama valmis seada, kuigi esitatud teadusmaterjalides ei nimetata konkreetset konkureerivat teenust ega esitata otsest hinnavõrdlust.
Teksti genereerimiseks, vestlusabiliseks, koodi genereerimiseks, heli või video loomiseks on vaja teist tüüpi mudelit. SAM 3D Objects on spetsialiseeritud: selle väärtus seisneb visuaalse 3D-struktuuri rekonstrueerimises maskeeritud piltide põhjal, mitte üldise tehisintellekti assistendina toimimises.
Üldhinnang
SAM 3D Objects on Meta keskendunud teaduslik väljalase, mis muudab ühe maskiga pildi tekstuuriga 3D-objekti esituseks. Selle tugi loomulikele stseenidele, varjamisele, mitmele objektile ja Gaussi täppide ekspordile annab teadlastele ning prototüüpimise meeskondadele praktilise lähtekoha pildist 3D-ni katseteks.
Selle kompromiss on sama selge. Mudel nõuab märkimisväärset kohalikku riistvara, piiratud juurdepääsuga kontrollpunktide kasutamist ning piltidele ja maskidele üles ehitatud töövoogu. Tuletatud varjatud geomeetriat tuleks käsitleda ligikaudsena ning esitatud materjalid ei taga tootmisklassi mõõtmete ega topoloogia täpsust. Visuaalseks uurimiseks ja teadustööks võib see kombinatsioon olla kasulik; täpse digitaalse tootmise või hallatud API-integratsiooni jaoks sobib tõenäoliselt paremini mõni muu lähenemisviis.