Mis on HunyuanVideo?
HunyuanVideo on Tencenti avatud kaaludega mudel teksti põhjal video genereerimiseks. Kasutaja sisestab loomulikus keeles kirjelduse, näiteks stseeni, objekti, tegevuse, valgustuse või kaamera liikumise kohta, ning mudel sünteesib sellele kirjeldusele vastava video. Algne väljalase sisaldab enam kui 13 miljardit parameetrit ning seda levitatakse koos ametliku järelduskoodi, eeltreenitud kaalude, dokumentatsiooni ja brauseripõhise Gradio liidesega.
Mudel on mõeldud eelkõige kohalikuks kasutamiseks, mitte tavapärase majutatud API-teenusena. See mõjutab selle hinda, riistvaranõudeid ja töövoogu: mudeli enda kohta ei ole dokumenteeritud video- ega märgipõhist hinda, kuid selle käitamiseks on vaja ühilduvat NVIDIA GPU-taristut ning katta tuleb ka elektri-, salvestus- ja hoolduskulud.
HunyuanVideo on Tencenti HunyuanVideo-seeria algne mudel. Hiljem andis Tencent välja kergema järglase HunyuanVideo-1.5, mistõttu tuleks algset mudelit käsitleda suurema ja rohkem ressursse nõudva väljalaskena kasutajatele, kes soovivad just selle avatud teostust ja kvaliteetset kohalikku videogenereerimise töövoogu.
Mida HunyuanVideo genereerida suudab?
Dokumenteeritud peamine töövoog on teksti põhjal video genereerimine. HunyuanVideo võtab vastu tekstipäringuid ja loob video, mitte tekstilist vastust. Ametlikud näited hõlmavad 540p ja 720p eraldusvõimet, mitut kuvasuhet ning kuni 129 kaadriga järjestusi. Selle mudeli kohta avaldatud uurimus ei täpsusta üldist kontekstiakna suurust ega eraldi maksimaalset väljundmärkide arvu; seetõttu ei tohiks eeldada keelemudelitele omaseid piiranguid.
Päringu sõnastus võib kirjeldada nii nähtavat sisu kui ka selle esitust. Kasulikud juhised võivad hõlmata objekti liikumist, keskkonda, valgustust, kompositsiooni ja kaamera liikumist. Tencent kirjeldab ka päringute ümberkirjutamise töövooge, mille eesmärk on parandada semantilist vastavust ning muuta kompositsiooni, valgustuse ja kaamera käitumise kirjeldused enne genereerimist täpsemaks.
Algset HunyuanVideo mudelit ei tohiks segi ajada eraldiseisva, kuid seotud mudeliga HunyuanVideo-I2V, mis on mõeldud pildi põhjal video loomiseks. Esitatud dokumentatsioon määratleb selle mudeli peamise töövoona teksti põhjal video genereerimise, samas kui pildisisendit ei ole algse mudeli toetatud sisendivormina loetletud.
Kuidas mudel töötab?
HunyuanVideo kasutab difusioon-transformeri arhitektuuri. Praktikas alustab see video mürarikkast kujutisest ja täiustab seda korduvalt, kuni tulemuseks on sidus järjestus. Protsess toimub tihendatud aegruumilises latentses ruumis, mis esitab nii visuaalset teavet kui ka ajas toimuvaid muutusi kompaktsemalt kui iga täiseraldusvõimega piksli otsene töötlemine.
Kausaalne 3D-variatsiooniautokooder ehk 3D VAE teisendab videoandmed sellesse tihendatud esitusse ja tagasi. Kolmemõõtmeline struktuur on oluline, sest videol on laius, kõrgus ja aeg; mudel peab säilitama mitte ainult kaadrite välimuse, vaid ka selle, kuidas sisu kaadrite vahel muutub.
Transformeri ülesehitus ühendab kahe voo ja ühe voo etapid. Tencent kirjeldab päringute mõistmiseks multimodaalset suure keelemudeli tekstikodeerijat ning kahesuunalist märgijälgijat, mis parandab teksti kasutamist tingimusena. Need komponendid aitavad siduda keelelisi juhiseid visuaalsete detailide, liikumise ja stseeni ülesehitusega.
Need arhitektuurilised üksikasjad pärinevad teenusepakkujalt ja uurimistööst ega taga, et iga päring täidetakse täiuslikult. Video genereerimine sõltub endiselt päringu selgusest, soovitud liikumisest, kompositsioonist ja saadaolevast arvutusvõimsusest. Mudeli avaldatud arhitektuur selgitab, kuidas see on üles ehitatud, kuid konkreetse tulemuse praktiline kvaliteet sõltub valitud seadistustest ja päringust.
Riistvara- ja juurutusnõuded
Ametlik teostus on mõeldud Linuxi süsteemidele, millel on NVIDIA CUDA GPU-d. Tencent teatab 720p genereerimise korral ligikaudu 60 GB suurusest GPU-mälu tippkasutusest ning madalama eraldusvõimega 544p genereerimisel eraldusvõimega 960×544 ligikaudu 45 GB suurusest kasutusest. Kõrgeima kvaliteediga konfiguratsiooni jaoks soovitatakse 80 GB GPU-d.
Need näitajad kirjeldavad teatatud maksimaalset mälukasutust ega garanteeri, et iga seadistus kasutab täpselt sama palju mälu. Ressursikasutust võivad mõjutada eraldusvõime, kaadrite arv, täpsus, teostusviis ja muud seaded. Need näitajad näitavad siiski, miks HunyuanVideo ei sobi enamikule vähese mäluga sülearvutitele ega tavalistele ainult protsessoril töötavatele süsteemidele.
Ametlik hoidla ja seotud väljalasked toetavad mitme GPU kasutamist ning FP8-kaalusid. FP8 on väiksema täpsusega numbrivorming, mis võib sobivates töövoogudes vähendada mälunõudeid, samal ajal kui mitme GPU-ga järeldus jaotab arvutuse rohkem kui ühe graafikaprotsessori vahel. Kumbki võimalus ei kaota vajadust võimsa riistvara järele ning seadistamine on keerukam kui majutatud loomerakenduse kasutamine.
Väljalase sisaldab Gradio liidest, mis pakub kohalikuks genereerimiseks veebipõhist kasutajaliidest. Arendajad ja teadlased võivad selle asemel töötada otse järelduskoodi ja mudelikaaludega. Seetõttu on ametlik hoidla peamine praktiline teabeallikas paigaldamise, toetatud konfiguratsioonide ja teostuse muudatuste kohta.
Peamised tugevused ja piirangud
Tugevused
- Avatud teostus ja kaalud: Kasutajad saavad ametlikku väljalaset kontrollida ja kohapeal käitada, selle asemel et sõltuda suletud majutatud lõpp-punktist.
- Suur ressursivaru: Mudel on enam kui 13 miljardi parameetriga videogenereerija, mis on mõeldud detailseks ja kvaliteetseks sünteesiks.
- Paindlikud väljundiseaded: Dokumenteeritud töövood hõlmavad 540p ja 720p eraldusvõimet, mitut kuvasuhet ning kuni 129 kaadriga järjestusi.
- Päringut arvestav genereerimine: Tekstipõhine tingimuskiht ja päringute ümberkirjutamise töövoog on loodud kirjalike juhiste ja visuaalsete tulemuste vahelise seose parandamiseks.
- Juurutusvõimalused: Ametlik väljalase toetab kohalikku järeldust Gradio liidese või otsekoodi kaudu ning sobivates keskkondades on võimalik kasutada FP8- ja mitme GPU lahendusi.
Piirangud
- Väga suured riistvaranõuded: Teatatud mälukasutus ligikaudu 45–60 GB ning kõrgeima kvaliteediga konfiguratsiooni jaoks soovitatud 80 GB GPU välistavad paljud personaalarvutid.
- Dokumenteeritud majutatud hinnakiri puudub: Peamine väljalase kasutab avatud kaalusid ja on ise majutatav. Täpselt selle mudeli käitamiseks Tencenti majutatud API kaudu ei ole kinnitatud ametlikku märgi-, tellimus- ega videopõhist hinda.
- See ei ole üldotstarbeline keelemudel: See ei ole mõeldud tavapäraseks tekstiloomeks, küsimustele vastamiseks, tarkvaraarenduseks ega struktureeritud JSON-vastusteks.
- Dokumenteeritud sisendivalik on piiratud: Esitatud andmete järgi on peamine sisend tekstipäring ning algse mudeli puhul ei ole loetletud pildi-, heli- ega videosisendit.
- Suurem kasutuskeerukus: Paigaldamine, CUDA seadistamine, mudelite allalaadimine, GPU-de eraldamine ja järelduse häälestamine nõuavad rohkem tehnilist tööd kui majutatud videogenereerimisteenuse kasutamine.
- See ei ole reaalajavahend: Mudel on mõeldud genereerimise töövoogudeks, mitte interaktiivseks väikese viivitusega videotootmiseks.
Hinnakujundus ja kogukulu
Esitatud uurimuse põhjal ei ole HunyuanVideo ametlikku kinnitatud kasutuspõhist hinda. Mudeli kaalud ja järelduskood on saadaval avatud lähtekoodiga väljalaskena, kuid avatud juurdepääs ei tähenda, et kasutamine oleks tasuta. Kohalik käitaja peab tagama mudeli paigaldamiseks ja käitamiseks vajaliku GPU-mälu, serveri või tööjaama, salvestusruumi, elektri ning inseneritöö.
Organisatsioon, kellel on juba sobiv 80 GB GPU või mitme GPU-ga server, võib kohaliku järelduse abil vältida korduvaid majutatud genereerimise tasusid ning saada suurema kontrolli andmete ja juurutuse üle. Sobiva riistvarata üksikisikul võib olla lihtsam ja juhukasutuse korral potentsiaalselt odavam rentida ühilduv GPU või kasutada mõnda muud majutatud videogenereerimise toodet. Seega tuleks võrrelda taristukulu ja majutatud teenuse mugavust, mitte avaldatud mudelihinda ja tasuta teenust.
Millised võimed kehtivad ja millised mitte?
HunyuanVideo otsene väljund on video, seega on selle multimodaalse väljundi klassifikatsioon positiivne, kuigi peamine sisend on tekst. Esitatud mudelikirje loetleb tekstisisendi ja videoväljundi, kuid selle täpse mudeli puhul ei ole dokumenteeritud pildi-, heli- ega videosisendit. Toetatud võimetena ei ole dokumenteeritud tööriistade kutsumist, veebotsingut, voogedastust, pakktöötluse API-sid, vahemällu salvestamist, struktureeritud väljundit, JSON-režiimi ega peenhäälestust.
Järeldamine ja programmeerimine ei ole siin sisuliselt peamised kasutusjuhud. Toimetuslikud hinnangud annavad mõlemale madala tulemuse, sest HunyuanVideo on videogenereerimise, mitte keelemudel; need hinded on mõeldud kataloogimiseks ega pärine mudeli pakkujalt avaldatud võrdlustestidest. Samuti on registreeritud kiiruse- ja kuluhinded toimetuslikud näitajad ning neid ei tohiks käsitleda mõõdetud läbilaskevõime ega ametliku hinnavõrdlusena.
HunyuanVideo üldist teadmiste lõppkuupäeva ei ole täpsustatud. Erinevalt vestluskeelemudelist kasutab see video loomiseks peamiselt päringuid ning seda ei esitata faktiküsimustele vastamise süsteemina.
Millal valida HunyuanVideo?
Vali HunyuanVideo siis, kui kohalik kontroll ja avatud juurdepääs mudelile on mugavusest tähtsamad. See sobib hästi videogenereerimise süsteemide uurimiseks, suure NVIDIA GPU-de taristuga stuudiote tootmiskatseteks ning töövoogudeks, kus päringud ja genereeritud materjal peavad jääma organisatsiooni enda taristusse. See sobib ka arendajatele, kes soovivad juurdepääsu järelduskoodile ja kaaludele, mitte musta kasti genereerimise lõpp-punktile.
Mudel sobib vähem olukordadesse, kus prioriteediks on tagasihoidliku riistvaraga kiire katsetamine, prognoositav päringupõhine arveldamine, hallatud API või lihtne tarbijatele mõeldud liides. Sellistes olukordades võib majutatud videoteenus või kergem mudel pakkuda paremat kiiruse ja kulu tasakaalu. Esitatud uurimuses nimetatakse kergema järglasena Tencenti HunyuanVideo-1.5 mudelit, mida võib hinnata juhul, kui algse mudeli ressursinõuded on peamine takistus, kuigi nende kahe mudeli kvaliteeti ja ühilduvust tuleks hinnata eraldi.
Kokkuvõte
HunyuanVideo on mahukas avatud kaaludega teksti põhjal video genereerimise mudel kasutajatele, kes suudavad toetada nõudlikku kohalikku järeldust. Selle enam kui 13 miljardit parameetrit, ametlikud juurutusvahendid, 540p ja 720p näited, mitu kuvasuhet ning kuni 129 kaadriga järjestused muudavad selle tõsisteks katseteks tehniliselt kasulikuks. Selle peamine kompromiss on sama selge: kohaliku ja avatud juurutuse vabadusega kaasnevad suured GPU- ja käitamisnõuded. Hästi varustatud teadlaste ja stuudiote jaoks võib see kompromiss olla mõistlik; juhuslikuks või väikese eelarvega genereerimiseks on kergem või majutatud alternatiiv tõenäoliselt praktilisem.