Mis on WAND-Dubbing-Clone-V1?
WAND-Dubbing-Clone-V1 on Tencent Cloudi kaudu pakutav audiovisuaalse tõlke mudel. Selle eesmärk on kohandada olemasolev video teises keeles kõnelevatele vaatajatele. See ei loo üksnes teksttõlget ega eraldi helifaili, vaid dokumenteeritud töövoog on mõeldud tõlgitud video loomiseks, mis sisaldab dubleeritud kõnet ja tõlgitud subtiitreid.
Mudel on loodud asünkroonseks töötlemiseks. Praktilises mõttes saadab rakendus video URL-i ja keeleparameetrid, saab ülesande ID ning kontrollib hiljem ülesande olekut ja tulemust. See erineb reaalajas toimivast vestlussüsteemist, kus heli saadetakse ja tagastatakse pidevalt ning väikese viivitusega. WAND-Dubbing-Clone-V1 on sobivam käsitlema valminud või üles laaditud videofaile meediatöötlusteenusena.
Tencent märgib wand-dubbing-clone-v1 mudeli ametlikuks identifikaatoriks. Mudel on märgitud kättesaadavaks, kuid esitatud dokumentatsioonis ei ole avaldatud väljalaskekuupäeva, kontekstiakna suurust, maksimaalset väljundmärgendite piiri ega kasutuselt kõrvaldamise kuupäeva.
Kuidas dubleerimise töövoog toimib
Dokumenteeritud protsess koosneb kolmest praktilisest etapist:
- Lähtevideole saatmine: esitage video URL ning määrake asjakohased lähte- ja sihtkeeled.
- Oodake asünkroonset töötlemist: Tencent tagastab ülesande ID, mistõttu ei pea saatja aktiivset heliühendust avatuna hoidma.
- Hankige tulemus: kontrollige ülesande olekut, kuni tõlgitud video on valmis.
Mudel tegeleb lokaliseerimise kesksete ülesannetega: kõne tõlkimise, subtiitrite tõlkimise ja dubleeritud kõne genereerimisega, mille eesmärk on säilitada algse kõneleja hääleomadused. Esitatud uuringus kirjeldatakse seda hääle kloonimisel põhineva dubleerimisena. Täpset toetatud keelte loendit, failide kestuse piiranguid, URL-i nõudeid ega töötlemisaja sihttasemeid olemasolevas materjalis ei täpsustata. Seetõttu tuleks need üksikasjad enne rakendamist Tencent Cloudi ajakohasest teenusedokumentatsioonist üle kontrollida.
Peamised võimalused ja modaalsused
WAND-Dubbing-Clone-V1 võtab põhisisendina vastu video ning kasutab selles videos sisalduvat heli tõlke- ja dubleerimistöövoo osana. Ka tekst on päringu seisukohast oluline, sest kaasatud on lähte- ja sihtkeele parameetrid ning subtiitrite sisu, kuid tegemist ei ole üldise tekstiloome mudeliga, mille tavapärane liides oleks tekst sisse ja tekst välja.
| Võimalus | Mida on kinnitatud |
|---|---|
| Video sisend | Toetatud; dokumenteeritud töövoog võtab vastu video URL-i. |
| Heli sisend | Toetatud lähtevideo kõne ja dubleerimise töövoo osana. |
| Video väljund | Toetatud; tulemuseks on tõlgitud video. |
| Heli või kõne väljund | Toetatud tõlgitud videos sisalduva dubleeritud kõne kaudu. |
| Subtiitrite tõlkimine | Toetatud vastavalt esitatud Tencenti dokumentatsiooni kokkuvõttele. |
| Voogedastus | Toetust ei ole dokumenteeritud; töövoog on asünkroonne. |
| Tööriista- või funktsioonikutsed | Toetust ei ole dokumenteeritud. |
| Struktureeritud JSON-väljund | Seda ei ole mudeli võimalusena dokumenteeritud. |
Seega tuleks väljundit hinnata valmis meedia lokaliseerimise tulemusena, mitte vestlusroti sõnumina tarbitava vastusena. Mudeli otsene mittetekstiline väljund on selle eesmärgi keskmes: see loob tõlgitud video ja dubleeritud kõne, mitte ei kirjelda üksnes, kuidas videot tõlkida võiks.
Milline on selle koht Tencenti kataloogis
WAND-Dubbing-Clone-V1 on Tencenti kataloogis spetsialiseeritud lahendus. Seda ei esitleta üldotstarbelise keelemudeli, pildigeneraatori, programmeerimisabilise ega reaalajas kõneagendina. Selle keskmes on videosisu täielik tõlkimine ja dubleerimine.
Tencent dokumenteerib ka WAND-Dubbing-Clone-V2, mis on uuem versioon. Esitatud dokumentatsiooni kohaselt pakub V2 loomulikumat sõnastust ning säilitab algse emotsiooni, tooni ja prosoodia täpsemalt. Need on teenusepakkuja dokumenteeritud väited uuema versiooni kohta, mitte sõltumatute võrdlustestide tulemused. See viitab, et uut lokaliseerimisprojekti alustavad meeskonnad peaksid võimaluse korral V1 ja V2 võrdlema, eriti siis, kui olulised on loomulik esitus ja väljendusrikas hääl.
V1 võib endiselt olla asjakohane, kui projekt nõuab konkreetselt seda mudeliidentifikaatorit, olemas on varasem integratsioon või selle hind ja väljundikvaliteet on sobivad. Olemasolev uuring ei kinnita siiski, kas V2 on kallim, kas see toetab täpselt sama töövoogu või kas V1 kasutuselt kõrvaldamiseks on kavandatud kuupäev.
WAND-Dubbing-Clone-V1 tugevused
- Video lokaliseerimine algusest lõpuni: teenus ühendab ühte töövoogu tõlkimise, subtiitrite käsitlemise, häälega dubleerimise ja tõlgitud video loomise.
- Häält säilitav dubleerimine: mudel on loodud genereerima kloonitud häälega dubleeringut, mitte asendama iga kõnelejat omavahel mitteseotud üldise häälega.
- Sobib asünkroonseks tootmiseks: ülesandepõhine töövoog sobib kursuste, filmide, turundusmaterjalide kogude ja lühivideote jaoks, mida saab enne avaldamist töödelda.
- Resolutsioonipõhine arveldamine: Tencenti hinnasüsteem arvestab videotöötluse mahtu märgikulu kaudu, mis sõltub resolutsioonist.
- Selge spetsialiseerumine: põhikasutuse jaoks ei pea meeskonnad kokku panema eraldi üldtõlki, kõnesüntesaatorit ja video järeltöötluse torustikku.
Need tugevused on kõige väärtuslikumad siis, kui soovitud tulemus on lokaliseeritud video. Kui vaja on ainult tõlgitud stenogrammi, on tekstitõlkemudel tavaliselt otsesem valik. Kui nõutav on otsetõlge või interaktiivne kõnevestlus, sobib asünkroonne videotöötlus halvasti olenemata tõlkekvaliteedist.
Piirangud ja dokumenteeritud teadmata asjaolud
Kõige olulisem töökorralduslik piirang on asünkroonne täitmine. Esitatud uuringus ei kirjeldata sisendi ega väljundi voogedastust, mistõttu ei tohiks mudelit valida rakendustesse, mis vajavad koheseid voorupõhiseid vastuseid. Tootmissüsteem peab arvestama ka ülesannete oleku kontrollimise, korduskatsete, ebaõnnestunud tööde ning tulemuseks oleva video allalaadimisele või levitamisele kuluva ajaga.
Esitatud dokumentatsioonis puuduvad mitmed tavapärased mudelispetsifikatsioonid. Tencent ei esita selle teenuse kohta konteksti pikkust ega maksimaalset väljundmärgendite arvu ning need mõisted on videot lokaliseeriva töö puhul vähem otseselt rakendatavad kui vestlusmudeli korral. Samuti ei ole esitatud väljalaske-, kasutuselt kõrvaldamise ega sulgemise kuupäeva. Olemasolev materjal ei täpsusta ka keelte üksikasjalikku maatriksit, video maksimaalset kestust, toetatud koodekeid, subtiitrifailide vorminguid ega garanteeritud töötlemisaega.
WAND-Dubbing-Clone-V1 ei tohiks käsitleda arutlus- ega programmeerimismudelina. Sisemine hindamisandmestik annab selle arutlusoskusele hindeks 2 ja programmeerimisoskusele hindeks 1, kuid need on toimetuslikud või kataloogipõhised hinnangud, mitte Tencenti avaldatud võrdlustestide tulemused. Need näitavad, et arutlemine ja programmeerimine jäävad mudeli kavandatud rollist välja. Samamoodi on kataloogis kiirusele antud hindeks 5 ja kulule hindeks 7; need on toimetuslikud võrdlushinded, mitte teenusepakkuja garantiid.
Hind ja märgikulu
Tencenti dokumenteeritud hind on 10 CNY 1 miljoni märgi kohta. Selle mudeli puhul sõltub märgikulu videotöötlusest ja resolutsioonist, mitte lihtsast päringupõhisest tasust. Esitatud hinnadokumentatsioonis on toodud järgmised kulumäärad:
| Video resolutsioon | Dokumenteeritud kulu |
|---|---|
| 720p ja madalam | 12 280 märki sekundis |
| 1080p | 14 780 märki sekundis |
| 2K ja kõrgem | 19 780 märki sekundis |
Esitatud hinna juures kulutab suurema resolutsiooniga video iga töödeldud sekundi kohta rohkem märke. Näiteks 1080p lähtevideo eest arveldatakse 14 780 märgi sekundis määra alusel, 720p või madalama resolutsiooniga video puhul kasutatakse aga 12 280 märgi sekundis määra. Tegelik arve võib sõltuda Tencent Cloudi arveldusreeglitest, ümardamisest ja mõõdetud kestusest, mistõttu tuleks neid näite kasutada hinnangu andmiseks, mitte täieliku arvelduskalkulaatorina.
Selline hinnastruktuur loob otsese kvaliteedi ja kulu vahelise valiku. Suurem resolutsioon võib olla filmide või kvaliteetse õppesisu puhul oluline, kuid väiksema resolutsiooniga materjal võib vähendada töötlemiskulu, kui lõplik levivorming ei nõua 1080p- ega 2K-kvaliteeti.
Millal valida WAND-Dubbing-Clone-V1
Valige WAND-Dubbing-Clone-V1 siis, kui peamine tulemus peab olema tõlgitud ja dubleeritud video ning asünkroonne töötlemine on vastuvõetav. See on praktiline valik näiteks järgmisteks ülesanneteks:
- veebikursuste lokaliseerimine rahvusvahelistele õppijatele;
- filmide või salvestatud saadete tõlkimine piirkondlikuks levitamiseks;
- lühivideotest mitmekeelsete versioonide loomine;
- kõneleja äratuntava hääle säilitamine eri keeltes versioonides; ning
- olemasolevate videote kogu töötlemine ülesandepõhise tootmisjärjekorra kaudu.
See sobib halvemini üldotstarbeliseks kirjutamiseks, koodi genereerimiseks, dokumentide kohta küsimustele vastamiseks, eraldiseisvaks tekstitõlkeks, otsetõlkeks, reaalajas kõnevestluseks, piltide genereerimiseks või kõne loomiseks tekstist ilma videotõlke ülesandeta. Nende kasutusjuhtude jaoks on vaja mudelit või teenust, mis on kavandatud vastavate sisendite ja latentsusnõuete järgi.
Meeskonnad peaksid mudelit võrdlema ka Tencenti uuema WAND-Dubbing-Clone-V2-ga, kui prioriteediks on väljendusrikas esitus, loomulik sõnastus või emotsiooni ja prosoodia parem säilitamine. V2 on dokumenteeritud uuem sõsarmudel, kuid olemasolev uuring ei sisalda otsest hinna- ega võrdlustulemust. Seetõttu peaks lõplik valik arvestama tegelikke näidisväljundeid, keelekatvust, kättesaadavust ja Tencenti Cloudi kehtivaid hindu.
Üldhinnang
WAND-Dubbing-Clone-V1 on kõige parem käsitleda spetsialiseeritud asünkroonse videolokaliseerimise teenusena, mitte tavapärase vestluseks mõeldud tehisintellekti mudelina. Selle eripärane väärtus seisneb kõnetõlke, subtiitrite tõlke, hääle kloonimisel põhineva dubleerimise ja tõlgitud video väljundi ühendamises. See kombinatsioon võib lihtsustada mitmekeelse meedia tootmist, eriti kursuste, filmide ja lühivideote puhul.
Sama selged on ka kompromissid: töötlemist ei esitleta reaalajas toimuvana, hind kasvab koos video kestuse ja resolutsiooniga ning esitatud dokumentatsioonis ei avaldata paljusid piiranguid, mida tavaliselt tekstitöötlusmudelitega seostatakse. Uue projekti puhul on tugevaim põhjus V1 valimiseks vajadus selle dokumenteeritud videodubleerimise töövoo ja olemasoleva mudeliidentifikaatori järele. Nullist alustavate projektide puhul tuleks hinnata ka Tencenti dokumenteeritud WAND-Dubbing-Clone-V2 mudelit kui uuemat võimalust, samas kui lihtsamad tõlke- või kõneteenused võivad olla tõhusamad, kui täielikku tõlgitud videot ei ole vaja.