Mis on HunyuanWorld-Mirror?
HunyuanWorld-Mirror on Tencent Hunyuan arendatud avatud kaaludega edasisuunaline 3D-rekonstrueerimismudel. Selle ülesanne on tuletada stseeni geomeetria mitme seotud vaate põhjal, näiteks videost eraldatud kaadritest või fotode jadast. Tekstikirjelduse asemel loob see arvulised representatsioonid, mida saab kasutada 3D-töötluses, renderdamises ja arvutinägemise töövoogudes.
Mudel on mõeldud eri vaadete põhjal koherentse stseeni hindamiseks. Olenevalt sisenditest ja töövoost võivad selle väljundid sisaldada 3D-punktikaarte, sügavuskaarte, pinnanormaalide kaarte, kaamera parameetreid ja 3D Gaussian Splattingu andmeid. Gaussian Splatting on stseeni renderdamise representatsioon, mis salvestab palju 3D-primitiive koos selliste omadustega nagu asukoht, läbipaistmatus, skaala, pöörang ja välimuse tunnused.
Tencent avaldas järelduskoodi ja eeltreenitud kaalud 22. oktoobril 2025. Ametlik hoidla sisaldab järeldusskripte, Gradio demot, treeningukoodi ja hindamiskonfiguratsioone. Kontrollpunkt on saadaval ka Tencenti Hugging Face’i organisatsiooni kaudu.
Kuidas mudel kasutab visuaalset ja geomeetrilist teavet
WorldMirror kasutab multimodaalset eelneva info suunamise lähenemisviisi. Praktikas tähendab see, et mudel saab visuaalseid vaatlusi kombineerida täiendava geomeetrilise teabega, kui see on saadaval. Valikuliste eelnevate sisendite hulka kuuluvad kaamera-koordinaatide maatriksid, kaamera sisemiste parameetrite maatriksid ja sügavuskaardid.
Kaamera asend ja orientatsioon kirjeldavad, kuidas iga kaamera on stseenis paigutatud ja suunatud. Kaamera sisemised parameetrid kirjeldavad selliseid omadusi nagu fookuskaugus ja kaamera projektsioonigeomeetria. Sügavuskaardid annavad hinnangu kaugusele kaamerast nähtavate stseenipunktideni. Nende sisendite andmine võib pakkuda mudelile usaldusväärsemat geomeetrilist tõendusmaterjali, eriti juhul, kui kaamera või sügavuse hindamine on ülesande oluline osa.
Need sisendid on valikulised, mitte alati kohustuslikud. Seetõttu sobib mudel töövoogudesse, mis ulatuvad tavalisest pildijada rekonstrueerimisest kuni täpsemalt kalibreeritud töövoogudeni, kus kaamerateave on juba arvutatud. Mudeli ühtne ennustusdisain toetab mitut seotud ülesannet, mistõttu pole iga geomeetrilise väljundi jaoks vaja eraldi kontrollpunkti.
Sisendid ja väljundid
Toetatud sisendid
- Mitme vaatega pildijadad.
- Videost eraldatud kaadrid.
- Valikulised kaamera-koordinaatide maatriksid.
- Valikulised kaamera sisemiste parameetrite maatriksid.
- Valikulised sügavuskaardid.
Esitatud uurimismaterjalid ei dokumenteeri keelemudeli laadset kontekstiakent, tokenipiirangut ega teksti maksimaalset väljundpikkust. Need piirangud ei kehti selle visuaal-geomeetrilise kontrollpunkti puhul samal viisil nagu vestlusmudeli puhul.
Loodud representatsioonid
- Maailmakoordinaatides 3D-punktipilved või punktikaardid.
- Kaamera koordinaadistikus sügavuskaardid.
- Pinnanormaalide kaardid.
- Hinnangulised kaamera asendid ja sisemised parameetrid.
- 3D Gaussian Splattingu atribuudid, sealhulgas keskmed, läbipaistmatused, skaalad, pöörangud ja sfääriliste harmoonikute tunnused.
Väljundid on mõeldud geomeetria- ja renderdamistöövoogudes edasi kasutamiseks. Hoidla toetab Gaussian Splattingu andmete salvestamist, rekonstrueerimistulemuste eksportimist COLMAP-iga ühilduvatesse failidesse, uute vaadete renderdamist ning loodud Gaussi representatsiooni valikulist optimeerimist pärast järeldust.
Kuhu see Tencenti praegusesse mudelivalikusse sobitub
Tencenti hilisem HY-World 2.0 hoidla nimetab HunyuanWorld-Mirrorit WorldMirror-1-ks ja kirjeldab seda WorldMirror-2.0 suhtes pärandmudelina. See ei tähenda, et kontrollpunkt poleks saadaval: algne hoidla, kaalud ja järelduse töövoog on endiselt avalikult allalaaditavad. Küll aga tähendab see, et uue projekti alustajad peaksid hindama, kas uuem WorldMirror-2.0 tehnoloogiapinu vastab nende vajadustele paremini.
Seega on WorldMirror-1 kõige kasulikum juhul, kui olulised on reprodutseeritavus, juurdepääs algsele teostusele või ühilduvus olemasolevate uurimistöövoogudega. Seda ei tohiks segi ajada üldise Hunyani vestlusmudeli, tekstist pildi loomise süsteemi ega majutatud 3D-genereerimise API-ga. Selle spetsialiseerumisala on piltide ja video põhjal visuaalse geomeetria rekonstrueerimine.
Tugevused ja praktilised eelised
- Ühtne geomeetriline ennustus: üks mudel toetab punktikaarte, sügavust, pinnanormaale, kaamera hindamist ja Gaussian Splattinguga seotud väljundeid.
- Paindlik tingimine: kasutajad saavad võimaluse korral sisestada kaamera- ja sügavusteavet, selle asemel et tugineda ainult töötlemata piltidele.
- Video ja mitme vaate tugi: mudel sobib seotud kaadrite jadadele, mitte ainult üksikute piltide põhjal tehtavatele ennustustele.
- Juurdepääs avatud kaaludele: uurijad saavad kontrollpunkti alla laadida, teostust uurida, järeldust lokaalselt käitada ja kasutada kaasasolevaid treeningukonfiguratsioone.
- Kasulikud edasise töötluse vormingud: COLMAP-iga ühilduvad ekspordid ja Gaussian Splattingu andmed seovad rekonstrueerimisprotsessi väljakujunenud 3D- ja renderdamistöövoogudega.
Need tugevused on eriti olulised siis, kui eesmärk on saada redigeeritav või renderdatav stseenirepresentatsioon, mitte lihtsalt visuaalne ligikaudne tulemus. Valikulised eelnevad sisendid võimaldavad mudeli integreerida ka töövoogudesse, kus kaamera kalibreerimise või sügavuse hindamise etapid on juba olemas.
Piirangud ja tehnilised nõuded
Peamine praktiline piirang on see, et HunyuanWorld-Mirror on lokaalselt majutatav uurimismudel. Algne hoidla soovitab kasutada Python 3.10, PyTorch 2.4.0, CUDA 12.4 ja Gaussian Splattingu renderdamiseks gsplat paketti. Seetõttu eeldab edukas kasutamine üldjuhul sobivat kohalikku GPU-keskkonda ning Pythoni, PyTorchi, mudeli kontrollpunktide ja 3D-andmevormingute tundmist.
Esitatud uurimismaterjalides ei ole dokumenteeritud ametlikku esimese osapoole majutatud API hinda, tokenite limiiti, pakktöötluse lõpp-punkti ega hallatud järeldusteenust. Seetõttu ei ole võimalik esitada kontrollitud pildi-, video- ega päringupõhist hinda. Käitamise kulu sõltub kasutaja enda riistvarast või taristust, mitte Tencenti avaldatud API hinnakirjast.
Uurimismaterjalid ei esita ka kindlat konteksti pikkust ega väljundtokenite maksimaalset limiiti. See on ootuspärane, sest mudel loob loomuliku keele vastuste asemel geomeetrilisi tensoreid ja stseeniandmeid. Täpsed mälu- ja käitusaja nõuded võivad sõltuda näiteks jada suurusest, pildi eraldusvõimest, GPU jõudlusest ja valitud renderdamisvoost, kuid esitatud allikad ei kehtesta universaalseid arvulisi piiranguid.
HunyuanWorld-Mirror ei ole vestluslik arutlusmudel. Sellel pole dokumenteeritud loomuliku keele arutlusoskuse skoori, kodeerimisvõimekust, funktsioonikutsete liidest, veebiotsingu tööriista ega teksti genereerimise lõpp-punkti. Kõiki sisemisi hinnanguid, mis kirjeldavad arutlusoskust, kodeerimist, kiirust või kulu, tuleks käsitleda toimetuslike hinnangute, mitte Tencenti avaldatud võrdlustulemuste või spetsifikatsioonidena.
Hind, kättesaadavus ja litsents
Kontrollpunkt on avalikult allalaaditav Tencenti ametliku GitHubi hoidla ja Hugging Face’i mudelihoidla kaudu. Esitatud uurimismaterjalides ei tuvastata korduvat tellimust, majutatud järelduse hinda ega kasutuspõhist API-tasu. Seetõttu on kõige täpsem hinnakirjeldus avatud kaaludega allalaadimine koos enda hallatava arvutuse kuludega.
Enne mudeli kommertstoodesse lisamist peaksid kasutajad kontrollima kehtivaid litsentsitingimusi hoidlast ja mudelikaardilt. Olemasolev uurimismaterjal kinnitab avaliku koodi ja kaalude olemasolu, kuid ei paku siin piisavalt litsentsiteavet, et täiendavaid õigusi või piiranguid ohutult kokku võtta.
Millal valida HunyuanWorld-Mirror
Vali HunyuanWorld-Mirror siis, kui vajad allalaaditavat rekonstrueerimismudelit uurimistööks või ettevõttesiseseks 3D-töövooguks. See on mõistlik valik, kui sisenditeks on pildijadad või videokaadrid ning väljundid peavad sisaldama enamat kui üks mesh või renderdatud pilt. Näiteks võib seda kasutada kaamera taastamise, sügavuse hindamise, punktikaartide loomise, uute vaadete sünteesi või Gaussian Splattinguga seotud katsetes.
See sobib hästi ka siis, kui soovid kasutada valikulist kalibreeritud teavet. Töövoog, kus kaamera asendid, sisemised parameetrid või sügavuskaardid on juba olemas, saab need eelnevad sisendid mudelile edastada ja kasutada neid täiendava geomeetrilise tõendusmaterjalina.
Veel üks põhjus selle valimiseks on reprodutseeritavus. Uurijad saavad töötada avaldatud teostuse ja kaaludega, selle asemel et sõltuda majutatud teenuse muudatustest. Treeningukonfiguratsioonid võimaldavad ka ise hallatavat peenhäälestust, kuigi tegemist on hoidlapõhise treeningutöövoo, mitte hallatud peenhäälestuse API-ga.
Millal võib mõni teine valik olla sobivam
Majutatud 3D-teenus võib olla sobivam, kui vajad lihtsat veebi-API-t, prognoositavat päringupõhist hinda, hallatud GPU-taristut või tootetuge. HunyuanWorld-Mirror ei paku dokumenteeritud esimese osapoole majutatud lõpp-punkti, mis neid tagatisi annaks.
Uue projekti puhul võib eelistada ka uuemat mudelit, kui Tencenti praegused tööriistad, funktsioonid või hooldus on olulisemad kui ühilduvus WorldMirror-1-ga. Tencent positsioneerib HY-World 2.0 kataloogis WorldMirror-2.0 selgelt uuema järeltulijana, seega peaksid kasutajad enne pärandkontrollpunktile pühendumist uuemat tehnoloogiapinu võrdlema.
Lõpuks on see mudel vale valik teksti genereerimiseks, vestluseks, tekstist pildi loomiseks, kõneks, heli töötlemiseks või üldotstarbeliseks programmeerimisabiks. Selle väljundid on geomeetrilised andmed, mitte proosa ega rakenduse kood. Nende ülesannete jaoks sobib paremini vastava modaalsuse jaoks loodud mudel.
Kokkuvõte
HunyuanWorld-Mirror on Tencenti spetsialiseeritud mudel 3D-maailmade rekonstrueerimiseks pildijadadest ja videost. Selle peamine praktiline omadus on paindliku geomeetrilise tingimise ja mitme rekonstrueerimisväljundi ühendamine ühes edasisuunalises süsteemis. See on endiselt kasulik avatud uurimistöös ja lokaalselt majutatavates 3D-töövoogudes, eriti siis, kui vaja on punktikaarte, sügavust, kaamera hinnanguid, pinnanormaale või Gaussian Splattingu andmeid.
Selle kompromiss on operatiivne, mitte kontseptuaalne: kasutajad peavad ise haldama kohalikku tarkvara- ja GPU-keskkonda ning dokumenteeritud majutatud API-hinda või keelemudeli laadset väljundipiirangut ei ole. Kuna Tencent käsitleb WorldMirror-1 nüüd WorldMirror-2.0 pärandjärglasena, tuleks see valida teadlikult reprodutseeritavuse, kättesaadavuse või väljakujunenud uurimisühilduvuse tõttu, mitte eeldada, et see on iga uue juurutuse vaikimisi valik.