Mis on WAND-Dubbing-Clone-v2?
WAND-Dubbing-Clone-v2 on Tencent Cloudi asünkroonne tehisintellektimudel videote tõlkimiseks ja dubleerimiseks. Kasutaja edastab avalikult kättesaadava videolingi või base64-kodeeringus videosisendi, võib soovi korral määrata lähte- ja sihtkeele ning saadab dubleerimisülesande töötlemisele. Teenus töötleb ülesannet taustal ja tagastab tõlgitud video lingi, kui töö on lõpetatud.
Mudel ühendab mitu etappi, mida tavaliselt käsitletakse eraldi tööriistade abil: dialoogi tõlkimise, sihtkeelse kõne genereerimise, algse kõneleja hääle oluliste omaduste säilitamise ning subtiitritega sünkroonitud dubleeritud video loomise. Seetõttu on tegu lokaliseerimistootega, mitte üldotstarbelise teksti- või kõnemudeliga.
Kanooniline mudelitunnus on wand-dubbing-clone-v2. Tencent Cloud loetleb selle TokenHubi praeguses häälemudelite kataloogis ning pakub seda asünkroonse töövoo kaudu, mitte voogedastusena.
Mida mudel praktikas teeb
WAND-Dubbing-Clone-v2 on mõeldud ühes keeles oleva video muutmiseks versiooniks, millest saavad aru teist keelt kõnelevad vaatajad. Näiteks võib organisatsioon kasutada seda veebikursuse, toote tutvustusvideo, lühikese sotsiaalmeediavideo või muu meedia lokaliseerimiseks, ilma et iga sihtkeelne versioon tuleks eraldi käsitsi salvestada.
Mudel tõlgib nii video kõne kui ka subtiitrid, genereerib sihtkeelse dublaaži ning tagastab tõlgitud tulemusega video. Tencent Cloudi kirjelduse kohaselt parandab v2-mudel tõlgitud sõnastuse loomulikkust, algse kõneleja emotsionaalse ja prosoodilise esituse säilitamist ning pikemate videote töötlemise stabiilsust.
„Prosoodia” tähendab esituse omadusi, nagu rütm, rõhk, intonatsioon ja tempo. Nende omaduste säilitamine võib muuta dubleeritud kõneleja algsele esitusele sarnasemaks kui lihtne tõlke ja kõnesünteesi töövoog. Need on teenusepakkuja kirjeldatud võimekused; kaasasolev uurimus ei sisalda sõltumatut võrdlustesti, mis paranemise suurust mõõdaks.
Sisendid, väljundid ja asünkroonne töövoog
Peamine sisend on video. Dokumenteeritud sisendivalikud on järgmised:
- Avalikult kättesaadav videolink.
- Kuni 100 MB suurune base64-kodeeringus videosisu.
- Soovi korral lähte- ja sihtkeele koodid.
Väljund on tõlgitud ja dubleeritud video link koos subtiitritega, mis kuuluvad teenuse video lokaliseerimise tulemuse juurde. Mudel genereerib selle videoväljundi osana ka sihtkeelse kõne. Seetõttu on seda kõige õigem käsitleda videost videoks teenusena, mis genereerib ka heli, mitte tavapärase teksti-sisendiga ja teksti-väljundiga mudelina.
Töötlemine toimub asünkroonselt. Klient saadab ülesande Tencent Cloudi /v1/wand/dubbing/async_generation lõpp-punkti kaudu ja kontrollib seejärel eraldi ülesande lõpp-punktist selle valmimist. Selline töövoog sobib tootmisülesanneteks, mille töötlemine võib aega võtta, kuid see ei ole mõeldud otsevestluseks, vahetuks kõnest kõnesse vahetuseks ega märgihaaval voogedastuseks. Kaasasolevas uurimuses ei täpsustata video maksimaalset kestust, valmimisaja garantiid ega eraldi väljundi suuruse piirangut.
Toetatud keeled
Tencent Cloud loetleb tuge paljudele keeltele ja keelevariantidele, sealhulgas hiina, inglise, jaapani, saksa, prantsuse, korea, vene, ukraina, portugali, itaalia, hispaania, indoneesia, hollandi, türgi, filipino, malai, kreeka, soome, horvaadi, slovaki, poola, rootsi, hindi, bulgaaria, rumeenia, araabia, tšehhi, taani, tamili, ungari, vietnami, tai ja kantoni keelele.
Enne tootmises kasutuselevõttu tuleks keelte saadavust siiski kontrollida Tencent Cloudi ajakohasest dokumentatsioonist. Keele esinemine kataloogis ei tähenda iseenesest, et kõik keelepaarid pakuvad samaväärset kvaliteeti, häälekäitumist või subtiitrite toimivust.
Peamised tugevused
Hääle ja emotsionaalse esituse säilitamine
Kõige eristuvam omadus on katse säilitada algse kõneleja hääleomadused, emotsioon, toon ja esitus, kui dialoog esitatakse teises keeles. See on midagi enamat kui lihtsalt subtiitrite tõlkimine või üldise sihtkeelse hääle genereerimine. See on eriti oluline juhul, kui kõneleja identiteet ja esitus on video väärtuse oluline osa.
Video täielik lokaliseerimine ühest teenusest
Kuna teenus käsitleb ühe ülesande raames tõlkimist, kõne genereerimist ja dubleeritud video väljundit, võib see vähendada vajadust ühendada käsitsi eraldi transkribeerimis-, tõlke-, kõnesünteesi- ja videotöötlussüsteeme. See ei kõrvalda ülevaatuse vajadust, kuid võib lihtsustada teed algsest videost lokaliseeritud versioonini.
Parem stabiilsus pikemate videote puhul
Tencent Cloud esitleb v2-väljalaset pikemate videote puhul stabiilsemana. See on oluline kursuste, loengute, intervjuude ja muu sisu puhul, mis on lühivideopõhise töövoo jaoks liiga pikk. Uurimus ei esita toetatud maksimaalset kestust ega mõõdetud tõrkemäära, mistõttu tuleks sõna „pikem” käsitleda teenusepakkuja väitena, mitte garanteeritud tehnilise piiranguna.
Lai keelevalik
Loetletud keelte hulgas on peamised Euroopa ja Aasia keeled, samuti araabia keel ja mitu muud piirkondlikku keelt. See teeb mudelist sobiva kandidaadi organisatsioonidele, kes soovivad lokaliseerida sama video mitmele turule, mitte ainult ühte levinud keelepaari.
Piirangud ja kompromissid
Mudeli spetsialiseeritus on ühtlasi selle peamine piirang. See ei näi olevat mõeldud üldiseks vestluseks, dokumentide üle arutlemiseks, programmeerimiseks, piltide genereerimiseks, ainult transkribeerimiseks ega eraldiseisvaks kõnesünteesiks. See võtab keskse sisendina vastu video ning siin ei ole dokumenteeritud, et see toetaks video asemel eraldiseisvat helisisendit või tekstilisi viipasid.
Asünkroonne ülesehitus lisab töötlusviivituse. Reaalajas rakendus ei saa käsitleda seda teenust voogedastava kõne-API-na, sest tavapärane töövoog seisneb ülesande esitamises ja selle oleku kontrollimises. Rakendused peavad haldama ka video majutamist või base64-kodeeringut, ülesande olekut, korduskatseid ja tagastatud meedialinki.
Konteksti pikkuse ega väljundi maksimaalsete tokenite kohta ei ole esitatud väärtusi. Need väljad ei ole samal viisil otseselt kohaldatavad nagu teksti genereeriva mudeli puhul, kuid kasutajad ei tohiks eeldada piiramatut video pikkust ega väljundi suurust. Dokumenteeritud base64-sisendi piirang on kuni 100 MB; uurimuses ei täpsustata, kas sama piirang kehtib ka lingipõhiste sisendite korral.
Automaatne dubleerimine tuleks samuti enne avaldamist üle vaadata. Tõlke nüansid, nimed, erialaterminoloogia, ajastus, subtiitrite segmenteerimine ja emotsionaalne esitus võivad erineda olenevalt keelest ja sisu tüübist. Inimese tehtav ülevaatus on endiselt mõistlik haridussisu, õigusliku või reguleeritud materjali, reklaami ning sellise meedia puhul, kus hääle identiteet või tähendus on eriti tundlik.
Hinnastamine
Tencent Cloudi hinnakiri põhineb videodubleerimise ülesandel ja eraldusvõimel, mitte tavapärasel eraldi sisend- ja väljundtokenite hinnal:
| Video eraldusvõime | Loetletud hind |
|---|---|
| 720p või madalam | ¥0.2061 sekundis |
| 1080p | ¥0.2311 sekundis |
| 2K või kõrgem | ¥0.2811 sekundis |
TokenHub loetleb ka aluseks oleva hinnana ¥10 miljoni tokeni kohta, kuid kaasasoleva hinnainfo kohaselt võetakse WAND-Dubbing-Clone-v2 eest tasu eespool toodud eraldusvõimepõhiste dubleerimisülesannete hindade järgi. Eelarvestamisel tuleb seega praktilise arvutusena korrutada video kestus kohaldatava sekundihinnaga, võttes arvesse Tencent Cloudi kehtivaid arveldustingimusi.
Näiteks 10-minutiline 1080p-video tähendab 600 sekundi korrutamist hinnaga ¥0.2311, mille tulemuseks on ¥138.66 enne võimalikke kontotasandi tingimusi, makse, allahindlusi või muid tasusid. See on loetletud hinna põhjal tehtud arvutuslik näide, mitte lõpliku arve garantii.
Võimekus lühidalt
- Sisend: Videolink või base64-kodeeringus videosisu.
- Kaasasolevas uurimuses dokumenteeritud sisendipiirang: Base64-videole kuni 100 MB.
- Väljund: Tõlgitud dubleeritud video koos subtiitrite ja genereeritud sihtkeelse kõnega.
- Töötlemine: Asünkroonne ülesande esitamine ja oleku kontrollimine.
- Voogedastus: Esitatud spetsifikatsioonide kohaselt ei ole toetatud.
- Tööriistade või funktsioonide kutsumine: Mudeli võimekusena ei ole toetatud.
- Struktureeritud JSON-väljund: Ei ole dokumenteeritud; teenus tagastab tekstigeneratsiooni skeemi asemel meediatulemuse.
- Peenhäälestus: Esitatud spetsifikatsioonides ei ole loetletud.
- Veebiotsing: Ei ole mudeli võimekus.
Mudeli modaalsusprofiil on kitsas, kuid selgelt määratletud: video on peamine sisend ning väljund sisaldab videot ja genereeritud kõnet. Seda ei tohiks hinnata samade kriteeriumide alusel nagu multimodaalset arutlusmudelit, mis võtab avatud analüüsiks vastu pilte, teksti ja heli.
Arutlusvõime, programmeerimine ja kiirus
WAND-Dubbing-Clone-v2 ei ole tavapärases keelemudeli tähenduses arutlusmudel. Selle ülesanne on videot dialoogi tõlkida ja esitada, mitte lahendada mitmeastmelisi analüütilisi probleeme. Kaasasolev toimetuslik hinnang annab sellele arutlusvõime eest 2 punkti 10-st ja programmeerimise eest 1 punkti 10-st. Need on ettevõttesisesed võrdlevad hinnangud, mitte Tencent Cloudi võrdlustestid ega teenusepakkuja avaldatud kvaliteedireitingud.
Toimetuslik kiirusehinnang on 6 punkti 10-st, kajastades kasulikku, kuid asünkroonset töövoogu, mitte reaalajas suhtlust. Mudel sobib tõenäoliselt paremini olukordadesse, kus valmis lokaliseeritud meedia on tähtsam kui kohene vastus. Toimetuslik kuluhinnang on 7 punkti 10-st, sest loetletud sekundihinnad võivad automaatse lokaliseerimise puhul, eriti madalama eraldusvõime korral, olla atraktiivsed, kuid kogukulu suureneb koos video kestuse ja eraldusvõimega.
Neid hindeid tuleks kasutada üksnes suunavate kompromissinäitajatena. Kontrollitud faktid on asünkroonne ülesehitus, eraldusvõimepõhised hinnad, toetatud sisendvorming ja dokumenteeritud dubleerimisfunktsioon.
Millal valida WAND-Dubbing-Clone-v2?
Vali see mudel siis, kui peamine tulemus peab olema tõlgitud video, mitte transkript, tõlkestring, eraldiseisev helifail või vestlusvastus. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- Veebikursuste ja õppevideote lokaliseerimine.
- Lühivideo mitmekeelsete versioonide loomine.
- Tootedemonstratsioonide ja tutvustusvideote tõlkimine.
- Meediasisu ettevalmistamine mitme keele turule.
- Esitleja äratuntava hääle ja emotsionaalse esituse säilitamine.
- Pikemate videote töötlemine asünkroonses tootmisvoos.
Teine lahendus võib olla sobivam juhul, kui vaja on reaalajas kõnest kõnesse suhtlust, ainult transkribeerimist, üldist kõnesünteesi, piiranguteta teksti analüüsimist, tarkvaraarendust või piltide genereerimist. Eraldi tõlketeenus võib samuti olla eelistatum, kui meeskond vajab terminoloogia üle täpset kontrolli ning soovib oma hääle- ja videotöötlusvoo ise üles ehitada.
Kokkuvõte
WAND-Dubbing-Clone-v2 on Tencent Cloudi spetsialiseeritud mudel mitmekeelseks video lokaliseerimiseks. Selle väärtus seisneb tõlkimise, hääleomadusi säilitava kõne genereerimise, subtiitrite ja dubleeritud video edastamise ühendamises ühes asünkroonses ülesandes. Kõige selgemad põhjused selle valimiseks on lai loetletud keelevalik, rõhk kõneleja esituse säilitamisel, tugi pikemate videote töövoogudele ja läbipaistev eraldusvõimepõhine hinnastamine. Mujale tasub vaadata juhul, kui vaja on reaalajas töötlemist, sest mudeli fookus on kitsalt videokeskne ning maksimaalse kestuse ega tokenipõhiste väljundipiirangute kohta ei ole dokumenteeritud andmeid.