Mis on StepVideo-T2V?
StepVideo-T2V on StepFuni 17. veebruaril 2025 välja antud avatud kaaludega tekstist videot genereeriv mudel. Selle peamine ülesanne on luua kirjaliku juhise põhjal video, näiteks stseeni, tegevuse, kaamera liikumise või visuaalse stiili kirjelduse alusel. Mudel toetab juhiseid nii inglise kui ka hiina keeles, pakkudes laiemat keelevalikut kui süsteemid, mis on loodud ainult ühe juhiste keele jaoks.
Mudelil on 30 miljardit parameetrit ning see on mõeldud pigem ise hostitud järeldamiseks kui hostitud tasulise kasutuspõhise API kaudu kasutamiseks. StepFun pakub mudeli kaalusid ja järeldamise teostust ametlike repositooriumide kaudu ning väljalase on avaldatud MIT-litsentsi alusel. Selline litsentsi- ja juurutusmudel muudab StepVideo-T2V eriti asjakohaseks teadustöö, katsetamise ja organisatsioonide jaoks, kes soovivad oma videogeneratsiooni keskkonna üle kontrolli säilitada.
StepVideo-T2V kuulub StepFuni Step-Video mudeliperre. Ametlik väljalase sisaldab ka eraldi Step-Video-T2V-Turbo kontrollpunkti, kuid see on eraldiseisev mudel ja seda ei tohiks käsitleda siin kirjeldatud standardse StepVideo-T2V kirje spetsifikatsioonide osana.
Kuidas mudel videot genereerib
StepVideo-T2V kasutab mitut spetsiaalselt video jaoks loodud komponenti, selle asemel et käsitleda genereerimist omavahel seostamata piltide jadana. Video-VAE ehk video variatsiooniline autokooder tihendab visuaalandmeid enne genereerimist ja taastab need pärast seda. Dokumenteeritud tihendus on ruumiliselt 16 × 16 ja ajaliselt 8-kordne. Praktilises mõttes töötab mudel täiseraldusvõimega videost kompaktsemas esituses, mis vähendab visuaalandmete hulka, mida generatiivne võrk peab töötlema.
Generatiivne tuum on difusiooniline Transformer, mida lühendatakse sageli kui DiT. Selle arhitektuur kasutab 48 kihti ja igas kihis 48 tähelepanupead ning videoesituses 3D-tähelepanu kõigis dimensioonides. 3D-disain on oluline, sest videol on lisaks kõrgusele ja laiusele ka ajadimensioon. Tähelepanu nende dimensioonide vahel aitab mudelil siduda objekte ja tegevusi järjestikuste kaadrite ulatuses, selle asemel et genereerida iga kaadrit eraldi.
Väljalase kasutab genereerimisprotsessi osana Flow Matching’u meetodit. Samuti kirjeldatakse videopõhist Direct Preference Optimization’it ehk Video-DPO-d. DPO on eelistuspõhise treenimise meetod, mis suunab mudelit soovitavamaks hinnatud väljundite poole; siin rakendatakse optimeerimist videoeelistuste abil. Need valikud on teenusepakkuja dokumenteeritud tehnilised omadused, mitte garantiid, et iga genereeritud klipp sisaldab ühtlast liikumist või filmilikku kvaliteeti.
Tekstipõhist tingimist haldavad kakskeelsed tekstikodeerijad. See võimaldab mudelil tõlgendada inglise- ja hiinakeelseid juhiseid, ilma et kasutajad peaksid neid ühte toetatud keelde tõlkima. Olemasolev teadustöö ei paku eraldi kvaliteedivõrdlust nende kahe keele vahel, mistõttu ei tohiks keeletoe olemasolu tõlgendada garantiina, et iga juhise tulemused on mõlemas keeles identsed.
Dokumenteeritud väljund ja riistvarapiirangud
| Spetsifikatsioon | Dokumenteeritud üksikasjad |
|---|---|
| Mudeli suurus | 30 miljardit parameetrit |
| Sisend | Inglis- või hiinakeelsed tekstijuhised |
| Maksimaalne dokumenteeritud pikkus | Kuni 204 kaadrit |
| Dokumenteeritud näidisväljund | 544 × 992 pikslit 204 kaadri korral |
| GPU-mälu tippkasutus | Ligikaudu 77,64 GB koos flash-attention’iga |
| Soovituslik riistvara | 80 GB NVIDIA GPU |
| Litsents | MIT |
Ametlik repositoorium dokumenteerib genereerimise eraldusvõimega 544 × 992 204 kaadri korral ning teatab, et flash-attention’i lubamisel on GPU-mälu tippkasutus ligikaudu 77,64 GB. Soovituslik on 80 GB GPU. Need näitajad on juurutamise kavandamisel eriti olulised: kuigi kaalud on vabalt kättesaadavad, ei ole standardmudeli käitamine kohaliku arvutina kerge ülesanne.
Esitatud teadustöö ei täpsusta märgendilaadset kontekstiakent, juhise maksimaalset pikkust ega väljundi maksimaalset märgendite arvu. Samuti ei määratleta seal üldist eraldusvõime- ega kaadripiirangut peale dokumenteeritud 204-kaadrise näite. Seetõttu peaksid kasutajad enne muude eraldusvõimete, pikemate klippide või teistsuguste mälukasutust vähendavate seadistuste ametlikult toetatuks pidamist tutvuma praeguse repositooriumi konfiguratsiooniga.
Tugevused ja praktilised eelised
- Avatud kaaludega juurutamine: Mudeli saab alla laadida ja käivitada kaasasoleva järeldamiskoodiga, ilma et oleks vaja kasutada varalise hostitud teenuse juurdepääsu.
- Suur videokeskne arhitektuur: Selle 30 miljardi parameetriga DiT ja 3D-tähelepanu disain on loodud ajalise visuaalandmestiku jaoks, mitte tavapäraseks teksti genereerimiseks.
- Kakskeelsed juhised: Dokumenteeritud tekstikodeeringu seadistus toetab inglise- ja hiinakeelseid juhiseid.
- Pikemad dokumenteeritud klipid: Väljalase toetab dokumenteeritud konfiguratsioonis kuni 204 kaadri genereerimist.
- Paindlik litsents: MIT-litsents sobib projektidele, mis vajavad avatud levitamismudelit, arvestades litsentsitingimusi ja kõiki rakenduse või sõltuvustega seotud eraldi kohustusi.
Keskmise tasemega kasutaja jaoks on kõige olulisem eelis mudelile juurdepääsu ja juurutamise üle kontrolli kombinatsioon. Organisatsioon saab uurida järeldamisprotsessi, hoida juhiseid ja genereeritud materjali oma keskkonnas ning kohandada ümbritsevat töövoogu, sõltumata kommertsteenuse genereerimisliidesest. Selline paindlikkus tuleb aga märkimisväärse riistvara- ja käitamiskeerukuse hinnaga.
Piirangud ja kompromissid
Peamine piirang on ressursivajadus. Ligikaudu 77,64 GB suurune GPU-mälu tippvajadus paigutab standardmudeli tööjaama, serveri või pilve-GPU kategooriasse. Enamiku sülearvutite, tavaliste lauaarvutite või vähese mäluga kiirendite jaoks ei ole see praktiline valik. Isegi kui mudel mahub mällu, sõltub genereerimiskiirus GPU-st ja järeldamise seadistusest; esitatud teadustöö ei paku kontrollitud kaadrite arvu sekundis ega kindlat genereerimisaja hinnangut.
StepVideo-T2V-l puudub dokumenteeritud väljalaskes ka hallatava kommerts-API mugavus. Ametlikku hostitud sisendi- või väljundihinda ei tuvastatud. Tegelik kulu hõlmab seega sobiva arvutusvõimsuse ostmist või rentimist, kaalude ja genereeritud videote salvestamist ning järeldamiskeskkonna hooldamist. See võib olla pikaajaliste või privaatsete töökoormuste puhul ökonoomne, kuid on vähem mugav kui üksikute genereerimiste eest hostitud teenuses tasumine.
Dokumenteeritud konfiguratsioonis on mudel ainult tekstist videot genereeriv süsteem. Toetatud sisend on tekst ja otsene mittetekstiline väljund on video. Teadustöös ei dokumenteerita pildist videoks, videost videoks, helisisendit, loomupärast heli genereerimist, tööriistade kasutamist, voogedastusväljundit, struktureeritud JSON-väljundit ega funktsioonikutseid. Genereeritud videol ei tohiks eeldada sünkroonitud kõnet, heliefekte ega muusikat.
Samuti ei ole esitatud võrdlusandmeid kodeerimisvõime, arutlusvõime, visuaalse täpsuse, ajalise järjepidevuse ega juhiste järgimise kohta. Kuna StepVideo-T2V on videogeneraator, mitte üldotstarbeline keelemudel, ei ole tavapärased kodeerimis- või arutlusoskuse skoorid peamised valikukriteeriumid. Mudel võib keerukaid juhiseid tõlgendada, kuid teadustöö ei anna alust esitleda seda arutlus- või kodeerimissüsteemina.
Hind ja juurdepääs
Esitatud teadustöö põhjal ei ole StepVideo-T2V-l ametlikku hostitud API hinda. Mudeli kaalud ja järeldamiskood on ise hostitud kasutuseks saadaval, seega ei ole esitada teenusepakkuja määratud märgendi-, pildi- ega videopõhist genereerimistasu. Kasutajad peavad arvestama ühilduva NVIDIA GPU või pilveinstantsi, samuti salvestusruumi ja käitamise kuludega.
Selline hinnamudel loob selge kompromissi. Juhuslikuks katsetamiseks võib 80 GB klassi GPU rentimine olla vähem mugav või kallim kui hostitud videoteenuse kasutamine. Pideva ettevõttesisese genereerimise, privaatsustundlike töövoogude või korduvat juurdepääsu nõudva teadustöö puhul võib ise hostimine pakkuda suuremat kontrolli ja potentsiaalselt prognoositavamat taristumajandust. Need on juurutamisega seotud kaalutlused, mitte StepFuni avaldatud hinnanõuded.
Millal valida StepVideo-T2V?
Vali StepVideo-T2V siis, kui avatud kaalud, kohalik kontroll ja mudeliga katsetamine on olulisemad kui kasutusvalmis juurdepääs. See sobib näiteks järgmisteks kasutusjuhtudeks:
- avatud tekstist video genereerimise arhitektuuride ja videodifusioonisüsteemide uurimine;
- ise hostitud loominguline videotootmine inglise- või hiinakeelsete juhiste põhjal;
- privaatsed või kontrollitud keskkonnad, kus juhised ja väljundid peaksid jääma organisatsiooni hallatavasse taristusse;
- arendajad, kes soovivad MIT-litsentsiga videogeneratsiooni väljalaset uurida või kohandada; ja
- katsed pikemate klippidega dokumenteeritud 204-kaadrise konfiguratsiooni piires.
Teine lahendus võib olla sobivam siis, kui prioriteediks on kiire ja vähest hooldust nõudev genereerimine, tagasihoidliku riistvara kasutamine või prognoositav hostitud teenuse hind. Hallatud video-API-d on tavakasutajatele ja tootmismeeskondadele üldiselt lihtsamad, kui nad ei soovi suuri GPU-sid käitada. Kui läbilaskevõime on olulisem kui standardse 30 miljardi parameetriga mudeli kasutamine, võib eelistada kergemat või kiirendatud videokontrollpunkti, kuigi esitatud teadustöö ei paku piisavalt tõendeid eraldi Turbo-kontrollpunktide kvantitatiivseks võrdlemiseks.
StepVideo-T2V sobib halvasti ka töövoogudesse, mis vajavad loomupärast heli, pildist videoks redigeerimist, video jätkamist, reaalajas vastust, tööriistakutseid või struktureeritud masinloetavat väljundit. Neid võimalusi ei ole selle mudeli puhul dokumenteeritud. Kasutajad peaksid valima süsteemi, mis toetab nõutud sisendi- ja väljundirežiime selgesõnaliselt, selle asemel et eeldada, et avatud tekstist videot genereeriv mudel pakub neid automaatselt.
Kokkuvõte
StepVideo-T2V on StepFuni ulatuslik avatud kaaludega tekstist video genereerimise väljalase, millel on 30 miljardi parameetriga videoarhitektuur, kakskeelne tekstipõhine juhiste tugi ja dokumenteeritud võime genereerida kuni 204 kaadrit. Selle Video-VAE, 3D-tähelepanuga difusiooniline Transformer, Flow Matching ja Video-DPO komponendid muudavad selle tehniliselt huvitavaks video-mudelite uurimisel ja ise hostitud katsetamisel.
Selle praktiline hind on riistvara: dokumenteeritud konfiguratsioon vajab ligikaudu 77,64 GB GPU-mälu ja soovituslik on 80 GB NVIDIA GPU. Ametlikku hostitud API hinda ei ole ning mudelil ei ole dokumenteeritud heli-, pildi-, tööriista-, voogedastus- ega struktureeritud väljundi funktsioone. Lühidalt öeldes tuleks StepVideo-T2V-d käsitleda avatud teadus- ja juurutusvahendina kasutajatele, kes on valmis haldama suuremahulist järeldamist, mitte kerge tarbijatele mõeldud videotööriista või üldotstarbelise multimodaalse assistendina.