HunyuanVideo-1.5 on Tencenti HunyuanVideo mudelite perekonna praegune kergekaaluline avatud kaaludega videogenereerimise mudel. See on loodud eelkõige kahe töövoo jaoks: video genereerimiseks tekstikirjelduse põhjal ning etteantud pildi animeerimiseks või videoks muutmiseks. Mudelil on 8,3 miljardit parameetrit ja selle eesmärk on pakkuda väga suurte videomudelitega võrreldes praktilisemat kohaliku kasutuse võimalust, säilitades samal ajal kvaliteetse liikumise ja visuaalse sisu genereerimise toe.
Mudel on suunatud peamiselt arendajatele, teadlastele ja loojatele, kes soovivad videote genereerimist käitada oma ühilduval NVIDIA riistvaral, mitte sõltuda hostitud API-st. Tencent avaldab mudeli kaalud ja toetava koodi, kuid esitatud teabe põhjal ei ole ametlikku märgipõhist hostitud API hinnastust tuvastatud. See erinevus on oluline: HunyuanVideo-1.5 kohalik kasutamine võib vältida teenusepakkuja võetavaid tasusid iga genereerimise eest, kuid kasutaja vastutab endiselt GPU-riistvara, salvestusruumi, paigaldamise ja järeldusaja eest.
Milleks HunyuanVideo-1.5 on loodud
HunyuanVideo-1.5 on generatiivne videomudel, mis võtab sisendiks teksti ja pilte ning loob videoid. Tekstist videoks töövoos kirjeldab viip stseeni, objekte, liikumist ja visuaalset stiili. Pildist videoks töövoos annab liikumise lähtekohaks liikumatu pilt, samal ajal kui viip võib suunata liikumist või muid muudatusi.
Ametlikus materjalis kirjeldatakse 480p ja 720p teksti-videoks ning pildi-videoks kontrollpunkte. Superresolutsiooni komponendid võimaldavad luua ka suurema eraldusvõimega väljundit, sealhulgas 1080p. Alusgenereerimise eraldusvõimet ja lõplikku suurendatud eraldusvõimet ei tohiks käsitleda sama toiminguna: superresolutsioon suurendab juba genereeritud tulemuse suurust ja detailsust, samal ajal kui esialgne kontrollpunkt määrab genereerimise põhiosa.
Tehniliselt käsitletakse mudelit Diffusion Transformeril põhineva süsteemina. Difusioonmudelid loovad sisu mitme täiustamissammu kaudu, muutes järk-järgult mürase esituse sidusaks visuaalseks tulemuseks. Transformeri arhitektuur aitab töödelda loodud jada elementide vahelisi seoseid, mis on oluline objektide, kompositsiooni ja liikumise säilitamiseks mitme kaadri vältel. Tencenti tehnilises aruandes kirjeldatakse ka tähelepanu- ja superresolutsioonikomponente, mille eesmärk on parandada kogu videogenereerimise töövoogu.
Toetatud sisendid ja väljundid
| Võimekus | HunyuanVideo-1.5 tugi |
|---|---|
| Tekstisisend | Toetatud teksti põhjal video genereerimiseks |
| Pildisisend | Toetatud pildi põhjal video genereerimiseks |
| Videosisend | Esitatud uurimuses ei ole toetatuna dokumenteeritud |
| Helisisend | Ei ole toetatud ega dokumenteeritud |
| Videoväljund | Toetatud |
| Teksti-, pildi- või heliväljund | See ei ole mudeli dokumenteeritud väljundiotstarve |
Praktilises mõttes tuleks HunyuanVideo-1.5 hinnata visuaalse genereerimise mudelina, mitte üldise multimodaalse assistendina. Sellel ei ole dokumenteeritud loomupärast kõne-, muusika- ega heligenereerimise töövoogu. Samuti ei ole see mõeldud struktureeritud teksti, JSON-i, tööriistakutsete ega muude tavapäraste keelemudeli väljundite tagastamiseks.
Eraldusvõimed ja riistvaranõuded
Tencenti avaldatud kontrollpunktid hõlmavad 480p ja 720p genereerimist nii teksti-videoks kui ka pildi-videoks kasutamisel. Projekt sisaldab ka superresolutsiooni tuge 720p ja 1080p väljundile. Täpne visuaalne kvaliteet, genereerimisaeg ja mälukasutus sõltuvad valitud kontrollpunktist, eraldusvõimest, arvulisest täpsusest, optimeerimisseadetest ning sellest, kas kasutatakse mudeli osade teisaldamist.
Ametlikus hoidlas on dokumenteeritud ligikaudu 14 GB suurune GPU-mälu miinimumnõue, kui mudeli osade teisaldamine on sisse lülitatud. See on kasulik minimaalne kasutuselevõtu orientiir, kuid ei taga, et kõik töövood selle mahuga mugavalt töötavad. Suuremad eraldusvõimed, pikemad või nõudlikumad genereerimised ning erinevad järelduskonfiguratsioonid võivad suurendada mälukasutust või vähendada kiirust. Seetõttu peaksid kasutajad testima soovitud kontrollpunkti ja seadeid, mitte eeldama, et miinimumnäitaja kehtib alati.
Kohaliku kasutuselevõtuga kaasnevad ka kulud, mida API hinnatabelis ei näe. Kasutajal võib olla vaja ühilduvat NVIDIA GPU-d, mudelikaalude jaoks piisavalt kettaruumi, süsteemimälu ning aega paigaldamiseks ja genereerimiseks. Mudeli peamine kulueelis seisneb korduval kasutamisel tekkivas kontrollis ja tuvastatud päringupõhise hostitud tasu puudumises; peamine kasutuslik puudus on see, et taristukoormus langeb kasutajale.
Peamised tugevused ja kompromissid
Kohalik kasutuselevõtt avatud kaaludega
HunyuanVideo-1.5 levitatakse mudelikaalude ja koodiga, mitte ainult suletud hostitud liidese kaudu. See annab teadlastele ja arendajatele suurema kontrolli käitamise, korratavuse, integreerimise ja katsetamise üle. Hoidla sisaldab järelduskoodi, treeningkoodi, Diffusersi integratsiooni ja LoRA-peenhäälestuse tuge. LoRA ehk Low-Rank Adaptation on parameetrisäästlik viis kohandada mudelit kindla stiili või objektiga, ilma kõiki algseid parameetreid ümber treenimata.
„Avatud kaaludega“ ei tähenda siiski piiranguteta kasutamist. Projekt on välja antud Tencenti Hunyuan Community License'i alusel, mis sisaldab geograafilisi ja kasutustingimusi. Kõik, kes kavandavad ärilist, rahvusvahelist või tootmiskasutust, peaksid enne mudelile tuginemist litsentsi otse üle vaatama.
Kvaliteedi ja arvutusvõimsuse tasakaal
8,3 miljardi parameetriga mudel ja dokumenteeritud teisaldamisvõimalus muudavad HunyuanVideo-1.5 kohaliku videogenereerimise jaoks suhteliselt kättesaadavaks, eriti võrreldes mudelitega, mis nõuavad oluliselt võimsamaid süsteeme. Kompromiss seisneb selles, et kohalik videogenereerimine on endiselt arvutusmahukas. Väiksemad riistvaranõuded ei muuda protsessi reaalajas toimivaks ning mudelit ei esitleta reaalajas interaktiivse videosüsteemina.
Toimetuslikus hinnangus saab mudel oma kategoorias tugeva kuluskoori ja mõõduka kiiruseskoori, kuid need on võrdlevad hinnangud, mitte Tencenti avaldatud võrdlustestid. Tegelik kiirus sõltub GPU-st, valitud eraldusvõimest, täpsusest, teisaldamisest ja genereerimisseadetest. Uuring annab mudelile ka madalad võrdlevad arutlus- ja kodeerimisskoorid, sest need ei ole mudeli sihtfunktsioonid; neid ei tohiks tõlgendada video kvaliteedi mõõdikutena.
Arutlusvõime, kodeerimine ja tööriistade tugi
HunyuanVideo-1.5 ei ole üldotstarbeline arutlus- ega kodeerimismudel. See on loodud teksti ja piltide tõlgendamiseks videogenereerimise kontekstis. Sellel ei ole dokumenteeritud veebotsingu, funktsioonikutsete, väliste tööriistade ega struktureeritud JSON-väljundi tuge. Esitatud spetsifikatsioonides ei ole toetatud võimekusena märgitud ka voogedastust.
Viibad võivad siiski sisaldada üksikasjalikke juhiseid stseenide, kaamera liikumise, objektide ja stiili kohta, kuid seda ei tohiks segi ajada üldise arutlusvõimega. Mudeli kasulik „intelligentsus“ on spetsialiseerunud tingimusteabe teisendamisele visuaalseteks jadadeks. Tarkvaraarenduse, andmeanalüüsi, pika arutluse või tööriistu kasutavate töövoogude jaoks sobiks paremini spetsiaalne keelemudel.
Hinnastamine ja juurdepääs
HunyuanVideo-1.5 ametlikku hostitud API hinda ei ole tuvastatud. Mudeli kaalud on kohalikuks kasutuseks saadaval Tencenti Hunyuan Community License'i alusel, mistõttu ei ole teatada kontrollitud teenusepakkuja hinnast märgi, sekundi ega video kohta. Kohalikud kulud sõltuvad kasutaja riistvarast ja taristust.
See muudab mudeli hallatud videogenereerimise teenusest erinevaks. Hostitud alternatiiviga võib olla lihtsam alustada, sest see haldab GPU-sid, keskkondi, skaleerimist ja hooldust. HunyuanVideo-1.5 võib olla korduvate katsetuste või kontrollitud kasutuselevõtu korral säästlikum, kui kasutajal on sobiv riistvara juba olemas, kuid kogukulu peaks hõlmama elektrit, salvestusruumi, arendusaega ja operatiivset hooldust.
Millal valida HunyuanVideo-1.5
HunyuanVideo-1.5 sobib hästi olukordadesse, kus kohalik kontroll ja juurdepääs avatud kaaludega mudelile on olulisemad kui kasutusvalmis mugavus. Kaalu seda järgmisteks eesmärkideks:
- Kohalikud teksti põhjal video genereerimise katsed ühilduvatel NVIDIA GPU-del.
- Pildist video loomine ja loomingulised prototüübid.
- Avatud videogenereerimise süsteemide ja Diffusion Transformeril põhinevate töövoogude uurimine.
- Projektid, mis vajavad juurdepääsu mudelikaaludele, järelduskoodile või treeningkoodile.
- Kohandamine LoRA-peenhäälestuse abil.
- Korduv genereerimine, mille puhul hostitud päringupõhise tasu vältimine on väärtuslik.
Teine lahendus võib olla sobivam, kui projekt vajab ametlikku hallatud API-t, prognoositavat kasutuspõhist hinnastust, reaalajas suhtlust, loomupärast heli genereerimist, struktureeritud tekstiväljundit või kasutuselevõttu ilma sobiva NVIDIA GPU-ta. Hostitud teenus võib olla eelistatav ka meeskondadele, kes ei soovi hallata mudelifailide, CUDA või järelduskeskkondade, riistvara kasutuse ja litsentsi läbivaatamisega seotud ülesandeid.
Piirangud, mida arvestada
Esitatud spetsifikatsioonides ei ole määratletud tavapärast kontekstiakent, väljundi maksimaalset märgipiirangut ega teadmiste lõppkuupäeva. Need väljad on keelemudelite puhul olulised, kuid ei sobitu hästi selle videogenereerimise süsteemiga. Uuringus ei ole dokumenteeritud ka helisisendit, videosisendit, loomupärast kõne genereerimist, tööriistade kasutamist, JSON-režiimi, vahemällu salvestamist ega pakett-API-t.
Kasutajad peaksid eristama dokumenteeritud võimekust eeldatavast tootmiskäitumisest. Tencent dokumenteerib toetatud kontrollpunktid, ligikaudse minimaalse mälunõude ja saadaolevad tarkvarakomponendid. Esitatud uurimuses ei anta universaalset genereerimiskiiruse garantiid, kindlat väljundi maksumust ega väideta, et iga 14 GB GPU suudab töödelda kõiki eraldusvõimeid ja konfiguratsioone. Tulemused sõltuvad suuresti kasutuselevõtukeskkonnast.
Üldhinnang
HunyuanVideo-1.5 tuleks eelkõige mõista kui Tencenti suhteliselt kättesaadavat avatud kaaludega videogenereerimise süsteemi, mitte kui universaalset tehisintellekti assistenti. Selle peamised eelised on teksti põhjal video ja pildi põhjal video genereerimise tugi, 480p ja 720p kontrollpunktid, kuni 1080p ulatuvad superresolutsioonivõimalused ning avaldatud kaalude ja koodiga toetatud kohalik töövoog. Kõige olulisemad kompromissid on riistvara haldamine, muutuv genereerimiskiirus, tuvastatud hostitud API hinna puudumine ja kogukonnalitsentsi piirangud.
Arendajatele ja teadlastele, kes soovivad videomudelit ise käitada ja kohandada, pakub HunyuanVideo-1.5 praktilist tasakaalu mudeli mahu ja kohaliku kättesaadavuse vahel. Kasutajatele, kes soovivad peamiselt koheseid tulemusi, prognoositavat arveldamist, reaalajas suhtlust või heli ja video tootmist ühes süsteemis, võib hallatud multimodaalne või videoteenus olla parem valik.