Hy-World-2.1-scene

Mis on Hy-World-2.1-scene?

Hy-World-2.1-scene on Tencenti spetsiaalne maailmade genereerimise mudel interaktiivsete 3D-keskkondade loomiseks. See on saadaval Tencent Cloud TokenHubi kaudu API mudelitunnusega hy-world2-scene. Tavapärase 2D-pildi asemel genereerib teenus varasid, mis on mõeldud navigeeritava stseeni kujutamiseks ning mida saab uurida, renderdada ja kasutada järgnevates 3D-töövoogudes.

Mudel kuulub Tencenti praegusesse TokenHubi 3D-genereerimise teenuste kataloogi. Selle peamine väljund on stseen, mis võib sisaldada 3D Gaussian splatting’u andmeid, punktipilve teavet, võrgumudeleid, eelvaatepilte ja ruumilisi metaandmeid. Tencent kirjeldab tulemust vabalt liikumist ja füüsilist kokkupõrget toetavana, mistõttu sobib teenus interaktiivsetesse keskkondadesse paremini kui staatiliste piltide genereerimiseks.

Algaja jaoks on praktiline erinevus lihtne: teksti-pildiks mudel loob üldjuhul ühe tasapinnalise pildi, samal ajal kui Hy-World-2.1-scene eesmärk on pakkuda ruumi aluseks olevat representatsiooni. See võib olla kasulik juhul, kui keskkonda tuleb vaadata eri asukohtadest või kasutada interaktiivses prototüübis.

Kuidas sisendid ja genereerimine toimivad

Iga päring kasutab üht toetatud sisendviisi: kas tekstikäsku või võrdluspilti. Teksti- ja pildisisendit ei saa samas päringus koos esitada. Tekstikäsud võivad sisaldada kuni 600 tähemärki, seega tasub sisendit käsitleda soovitud keskkonna lühikirjeldusena, mitte pika kujundusdokumendina.

Pildi kasutamisel peab see olema avalikult ligipääsetav. Tencenti dokumenteeritud nõuete kohaselt peab minimaalne suurus olema 512 × 512 pikslit, faili maksimaalne suurus 10 MB ning toetatud on vormingud JPG, JPEG, PNG ja WEBP. Need piirangud on tootmise töövoogudes olulised, sest muidu sobiv kohalik fail tuleb enne päringu esitamist võib-olla üles laadida kättesaadavasse asukohta.

Genereerimine toimub asünkroonselt. Eduka esitamise korral tagastatakse lõpetatud stseeni asemel ülesande identifikaator. Rakendus peab ülesande oleku lõppolekuni jõudmiseni olekupäringuid saatma. Tencenti dokumentatsiooni järgi kestab genereerimine tavaliselt ligikaudu 10–20 minutit. Seetõttu sobib mudel paremini järjekorra- või paketipõhisteks loomisvoogudeks kui interaktiivsesse rakendusse, mis ootab pärast iga käsku kohest vastust.

Mida mudel väljastab

Lõpetatud ülesanne võib pakkuda mitut tüüpi stseeniandmeid. Täpset tulemust tuleks käsitleda varade kogumina, mitte ühe pildifailina.

• SPZ 3D Gaussian splatting’u andmed: kompaktne stseeni representatsioon, mis põhineb Gaussian splatting’ul ja mida saab renderdada genereeritud keskkonna kuvamiseks eri vaatenurkadest.
• PLY-punktipilve andmed: punktipõhine representatsioon, mida saab kasutada ühilduvates 3D- ja visualiseerimistööriistades.
• Täielik kokkupõrkevõrk: geomeetria, mis on mõeldud stseeniga kokkupõrkeid arvestava interaktsiooni toetamiseks.
• Simplifitseeritud kokkupõrkevõrk: väiksema keerukusega kokkupõrkerepresentatsioon töövoogude jaoks, kus tõhus interaktsioon on olulisem kui täielik geomeetriline detailsus.
• Eelvaatepildid: renderdatud vaated, mis aitavad kasutajatel tulemust kontrollida ilma täielikke stseenivarasid kohe laadimata.
• Superresolutsiooniga eelvaatepildid: suurema eraldusvõimega eelvaateväljund, kui lõpetatud ülesanne seda pakub.
• Ruumilise asukoha metaandmed: teave stseeni ruumilise paigutuse või asukoha kohta.
• Tokenikasutuse teave: arveldamise ja kuluarvestusega seotud kasutusandmed.

Need väljundid annavad Hy-World-2.1-scene’ile teistsuguse profiili kui mudelil, mis tagastab ainult renderdatud pildi. Samas ei täpsusta kaasasolev dokumentatsioon universaalset stseeni maksimaalset suurust, väljundtokenite maksimaalset arvu ega fikseeritud geomeetriamahtu. Seetõttu ei tohiks neid piiranguid töövoo kavandamisel eeldada.

Toetatud modaalsused ja võimalused

Mudeli multimodaalset käitumist tuleks mõista kui teksti-3D-ks või pildi-3D-ks genereerimist. See võtab vastu rohkem kui üht sisenditüüpi, kuid kaasasoleva dokumentatsiooni kohaselt ei ühenda teksti- ja pildisisendit ühes päringus. Ka väljund ei ole tavaline vestlustekst: kasulik tulemus on visuaalsete ja geomeetriliste stseenivarade kogum.

Hinnakujundus ja kulude kompromissid

Tencenti dokumenteeritud võrdlushind on ¥10 miljoni tokeni kohta. Ühe genereeritud stseeni võrdluskasutus on 8 000 000 tokenit, mis annab selle kasutustaseme juures stseeni ligikaudseks hinnaks ¥80. See on võrdlusarvutus, mitte garanteeritud fikseeritud hind: tegelikud tasud sõltuvad registreeritud tokenikasutusest ja konfiguratsioonist.

See hind paigutab teenuse tavapärasest 2D-piltide genereerimisest erinevasse kategooriasse. Genereeritud stseen võib sisaldada mitut representatsiooni ja tugivara, seega ei ole asjakohane võrrelda seda lihtsalt ühe eelvaatepildi maksumusega. Organisatsioonid peaksid arvestama ka salvestusruumi, töötlemise, varade teisendamise, renderdamise ja tagastatud stseeni kasutamiseks vajaliku rakenduse taristuga.

Kuna genereerimine kestab tavaliselt 10–20 minutit, vahetab Hy-World-2.1-scene kiiruse rikkalikuma väljundi vastu. See võib olla mõistlik valik, kui täieliku keskkonna loomine on olulisem kui kohene tagasiside. See sobib halvemini olukorda, kus kasutaja vajab reaalajas interaktsiooni ajal kiiresti paljusid visuaalseid variatsioone.

Peamised tugevused

• Stseenikeskne väljund: teenus on üles ehitatud navigeeritavatele 3D-keskkondadele, mitte eraldiseisvatele 2D-vaadetele.
• Kaks praktilist lähtepunkti: kasutajad saavad stseeni kirjeldada tekstiga või esitada visuaalse võrdluspildi.
• Mitu järgnevates töövoogudes kasutatavat vara: SPZ Gaussian splatting’u andmed, PLY-punktipilved, kokkupõrkevõrgud, eelvaated ja ruumilised metaandmed võivad toetada 3D-töövoo eri etappe.
• Kokkupõrkeid arvestav potentsiaal: täielikud ja lihtsustatud kokkupõrkevõrgud on kasulikud, kui stseen peab toetama liikumist või füüsilist interaktsiooni.
• Kasulik keskkondade kiireks prototüüpimiseks: meeskonnad saavad luua 3D-lähtepunkti, ilma et peaksid enne idee katsetamist iga elementi käsitsi üles ehitama.

Need tugevused põhinevad dokumenteeritud väljundil ja töövool. Neid ei tohiks tõlgendada garantiina, et iga genereeritud stseen on ilma puhastamise, optimeerimise või integreerimistööta tootmiseks valmis.

Piirangud, millega arvestada

Esimene kasutuslik piirang on latentsus. Asünkroonne töövoog ja tavapärane 10–20-minutiline genereerimisaeg muudavad teenuse sobimatuks väikese latentsusega järelduseks. Tootmisrakendus vajab ülesannete jälgimist, olekupäringuid, tõrgete käsitlemist ja viisi, kuidas teavitada kasutajaid varade valmimisest.

Piiravad on ka sisendireeglid. Tekst on piiratud 600 tähemärgiga ning teksti- ja pildijuhiseid ei saa ühes päringus kombineerida. Pildisisendid peavad vastama dokumenteeritud ligipääsetavuse, mõõtmete, vormingu ja failisuuruse nõuetele. Kasutajad, kes vajavad üksikasjalikku kunstilist suunamist, peavad võib-olla kodeerima kõige olulisemad nõuded lühikesesse käsku või ette valmistama hoolikalt valitud võrdluspildi.

Teenust majutatakse Tencent Cloud TokenHubi kaudu ning kaasasolevas uurimismaterjalis ei kirjeldata seda allalaaditava iseseisva mudelina. See tähendab, et juurutamine sõltub majutatud teenusest ja selle API-töövoost. Siin esitatud dokumentatsioon ei anna ka kontekstiakna suurust, väljundtokenite maksimaalset arvu, väljalaskekuupäeva ega stseeni fikseeritud maksimaalset keerukust.

Lõpuks ei ole 3D-stseeni genereerimine sama mis valmis mängutaseme või viimistletud digitaalse kaksiku loomine. Isegi kui väljund sisaldab võrgu- ja kokkupõrkevarasid, võib järgnev meeskond siiski vajada geomeetria kontrollimist, failide optimeerimist, materjalide seadistamist, renderdamise integreerimist ja tulemuse kohandamist sihtmootoriga.

Ootused arutlemisele, kodeerimisele ja tööriistade kasutamisele

Hy-World-2.1-scene ei ole üldotstarbeline keelemudel. See ei ole loodud küsimustele vastamiseks, rakendusekoodi kirjutamiseks, pikema arutluse läbiviimiseks ega väliste tööriistade kutsumiseks vestluspõhise töövoo osana. Kaasasolev toimetuslik hinnang omistab arutlemisele ja kodeerimisele väikese praktilise tähtsuse, sest need ei ole mudeli peamised ülesanded; tegemist on toimetuslike hinnangute, mitte tarnija avaldatud võrdlustulemustega.

Samuti ei ole dokumenteeritud tööriista- ega funktsioonikutsumise võimalust. API-töövoog nõuab endiselt tavapärast rakendusloogikat tööde esitamiseks, ülesannete oleku pärimiseks, tagastatud varade allalaadimiseks ja vigade käsitlemiseks, kuid seda orkestreerimist teeb integreeriv rakendus, mitte mudel dokumenteeritud tööriistakasutuse liidese kaudu.

Parimad kasutusjuhud

• Interaktiivsete keskkondade prototüübid: luua uuritav lähtepunkt mängu, simulatsiooni või virtuaalmaailma kontseptsioonile.
• Virtuaalproduktsioon: katsetada keskkonnaideid enne üksikasjaliku käsitsi modelleerimise või füüsiliste dekoratsioonide ehitamisega alustamist.
• Kaasahaarav visualiseerimine: genereerida ruumiline kontseptsioon, mida huvirühmad saavad eri vaatenurkadest uurida.
• Digitaalse kaksiku laadne makett: luua visuaalse võrdluspildi põhjal esialgne stseenirepresentatsioon, arvestades, et täpsuse parandamiseks võib olla vaja lisatööd.
• Gaussian splatting’u ja punktipilve töövood: hankida stseenivormingud, mis sobivad ühilduvate vaaturite, renderdajate või 3D-töötlusvoogudega.
• Kokkupõrkeid arvestavad prototüübid: kasutada saadaolevaid kokkupõrkevõrgu väljundeid, kui genereeritud ruumis liikumine on katse osa.

Millal valida Hy-World-2.1-scene

Vali Hy-World-2.1-scene siis, kui tulemuseks peab olema uuritav 3D-keskkond ja töövoog talub asünkroonset genereerimist. See sobib eriti hästi meeskondadele, kes soovivad alustada lühikesest tekstikirjeldusest või võrdluspildist ning vajavad enamat kui üht renderdatud pilti.

Teine lahendus võib olla sobivam, kui prioriteediks on kiire 2D-ideede väljatöötamine, vestlusabi, koodi genereerimine, heli, video või reaalajas interaktsioon. Tavapärane pildimudel sobib tõenäoliselt paremini paljude tasapinnaliste visuaalsete variatsioonide kiireks loomiseks, üldine keelemudel aga arutlemiseks, kirjutamiseks, kodeerimiseks ja tööriistade orkestreerimiseks. Hy-World-2.1-scene ei ole samuti ilmselge valik juhul, kui meeskond vajab allalaaditavat kohalikku mudelit, selgelt dokumenteeritud voogedastusliidest või garanteeritud fikseeritud väljundisuuruse piirangut.

Lühidalt on keskne kompromiss spetsialiseerumise ja vahetu tulemuse vahel. Mudel on spetsialiseerunud navigeeritavate 3D-stseenivarade genereerimisele, kuid nõuab majutatud asünkroonset töövoogu, selle sisendile kehtivad olulised piirangud ning dokumenteeritud kasutustaseme juures on võrdlushind ligikaudu ¥80 stseeni kohta.