WAND-ASR-v1

Mis on WAND-ASR-v1?

WAND-ASR-v1 on Tencent Cloudi automaatse kõnetuvastuse (ASR) mudel. ASR-süsteemid kuulavad kõneaudiot ja koostavad sellest tekstilise transkriptsiooni. Antud juhul suudab mudel töödelda audio- või videosisu ning tagastada tuvastatud kõne tekstina Tencent Cloudi TokenHubi platvormi kaudu.

Mudeli kanooniline API-identifikaator on wand-asr-v1. See on lisatud Tencent Cloudi praegusesse TokenHubi mudelikataloogi ning seda saab kasutada nii sünkroonse transkribeerimise kui ka eraldi dokumenteeritud asünkroonse töövoo kaudu. Sünkroonne liides on mõeldud otseste transkriptsioonipäringute jaoks, samas kui asünkroonne lahendus sobib paremini pikemate salvestiste puhul, mis vajavad ülesandepõhist töötlemist.

WAND-ASR-v1 tuleks käsitleda spetsiaalse transkriptsioonimudelina. Seda ei esitleta üldotstarbelise keelemudelina avatud vestluseks, dokumentide kirjutamiseks, koodi genereerimiseks või mitmeastmeliseks arutlemiseks.

Mida mudel vastu võtab ja tagastab

Päringus saab meedia edastada URL-i kaudu või saata audio Base64-vormingus kodeeritud andmetena. Dokumenteeritud sünkroonne töövoog toetab nii audio- kui ka videosisendit. Kui päringus ei määrata keelt, suudab teenus keele automaatselt tuvastada. API toetab ka konkreetse keele valimist, sealhulgas hiina ja inglise keelt.

Vastus pakub rohkemat kui lihtsalt tekstiplokki. Tencenti dokumentatsiooni kohaselt võib WAND-ASR-v1 tagastada:

• kogu tuvastatud transkriptsiooni
• tuvastatud või määratud keele
• meedia kogupikkuse
• lausete algus- ja lõpuajatemplid
• SRT-subtiitrite allalaadimise URL-i

Lausetaseme ajatemplid seovad transkriptsiooni osad nende asukohaga salvestises. See muudab väljundi praktilisemaks subtiitrite loomisel, meedia ülevaatamisel, otsitavate arhiivide koostamisel ja rakendustes, kus on vaja liikuda konkreetse öeldud lause juurde.

Milline on WAND-ASR-v1 roll Tencent Cloudi valikus?

WAND-ASR-v1 kuulub Tencent Cloudi TokenHubi kõnetuvastuse, mitte platvormi üldise tekstigeneratsiooni valdkonda. Selle ülesanne on teisendada salvestatud kõne struktureeritud transkriptsioonitulemusteks. Sama mudeliidentifikaator esineb Tencenti sünkroonse ja asünkroonse ASR-i dokumentatsioonis, pakkudes kasutajatele sõltuvalt salvestisest ja rakenduse töövoost rohkem kui üht töötlemisviisi.

Esitatud dokumentatsioonis ei ole märgitud mudelipõhist väljalaskekuupäeva, teadmiste lõikepunkti, kontekstiakent ega väljundi maksimaalset tokenite arvu. Need puuduvad andmed on olulised: mudeli praktilisi piire ei tohiks tuletada teiste, Tencentile kuuluvate mudelite kohta avaldatud spetsifikatsioonidest. Pikkade salvestiste puhul võib Tencenti asünkroonne ASR-i töövoog olla sobivam kui otsene sünkroonne päring, kuid esitatud uuringus ei ole määratud täpset maksimaalset salvestise pikkust.

Hinnakujundus ja kasutuskulud

Tencent Cloudi TokenHubi hinnakirjas on WAND-ASR-v1 hinnaks märgitud 10 CNY 1 miljoni tokeni kohta. Tencenti avaldatud kasutuse teisenduse hinnang on ligikaudu 50 tokenit audiosekundi kohta, mis vastab võrdlusarvutusena umbes 0,0005 CNY-le sekundis.

Selle teisenduse põhjal on ligikaudne kulu 0,03 CNY minutis ehk 1,80 CNY tunnis, kuid need on dokumenteeritud tokenihinnal ja võrdluskasutusel põhinevad arvutuslikud hinnangud, mitte eraldi kindel minutihind. Tegelikud tasud sõltuvad mõõdetud kasutusest ja kehtivatest TokenHubi arveldusreeglitest. Kulu hindamisel tuleks seega käsitleda sekundipõhist näitajat hinnanguna, mitte iga salvestise puhul garanteeritud hinnana.

Kuluprofiil on kõige atraktiivsem siis, kui ülesanne on lihtne transkribeerimine ja rakendus ei vaja üldotstarbelist mudelit transkriptsiooni tõlgendamiseks, kokkuvõtmiseks või teisendamiseks. Kui töövoog nõuab pärast transkribeerimist ka analüüsi või sisu genereerimist, võivad need hilisemad toimingud vajada täiendavaid teenuseid või mudeleid.

Peamised tugevused

• Keskendunud kõnetuvastus: Mudel on loodud eelkõige kõneheli tekstiks teisendamiseks, mitte oma ressursse omavahel mitteseotud keelemudeliülesannete vahel jagama.
• Audio- ja videotöötlus: Seda saab kasutada nii audio- kui ka videosisuga, mistõttu sobib see salvestatud koosolekute, intervjuude, loengute, klienditoekõnede ja meediafailide töötlemiseks.
• Paindlik sisendi edastamine: Rakendused saavad edastada meedia URL-i või Base64-vormingus kodeeritud audio.
• Automaatne keele tuvastamine: Kui keelt ei määrata, saab teenus selle ise valida, kuid võimaldab ka konkreetse keele, näiteks hiina või inglise keele määramist.
• Ajaga sünkroonitud tulemused: Lausetaseme ajatemplid on redigeerimisel, ülevaatamisel, otsingul ja subtiitrite töövoogudes kasulikumad kui eristamata transkriptsioon.
• Subtiitriteks sobiv väljund: SRT-subtiitrite URL vähendab videotitreerimise rakendustes vajaliku järeltöötluse mahtu.

Need tugevused muudavad WAND-ASR-v1 praktiliseks valikuks siis, kui soovitud tulemus on transkriptsioon või subtiitrifail, mitte vestluslik vastus.

Piirangud ning toetamata või määratlemata funktsioonid

WAND-ASR-v1 roll on teadlikult kitsas. See teisendab kõne tekstiks, kuid esitatud uuring ei anna alust käsitleda seda arutlus-, kodeerimis- või üldotstarbelise assistendimudelina. See ei paku sisseehitatud kõnesünteesi, muusika-, pildi- ega videogeneratsiooni.

Mudeli dokumenteeritud väljund koosneb tekstist, ajatemplitest ja subtiitritega seotud andmetest. Kuigi sisend võib olla audio või video, ei ole väljund audio- ega videovastus. See erinevus on oluline hääleassistendi või meediageneratsiooni töövoo jaoks mudeli valimisel: WAND-ASR-v1 saab pakkuda transkribeerimisetappi, kuid ei räägi ise vastust ega loo uut meediat.

Tencenti kättesaadav dokumentatsioon ei avalda mudelipõhist kontekstiakent, väljundi maksimaalset tokenite arvu, teadmiste lõikepunkti, peenhäälestuse võimalust, struktureeritud väljundi spetsifikatsiooni ega üldotstarbelist tööriistakutsumise võimekust. Esitatud uuringus ei ole mudelit dokumenteeritud ka voogedastusega transkribeerimise toega. Kui need omadused on tootmisdisaini jaoks vajalikud, tuleks need Tencentilt üle kontrollida.

Sünkroonne liides ei pruugi sobida iga salvestise jaoks. Tencent dokumenteerib pikemate audiofailide jaoks asünkroonse ASR-i töövoo, mis kasutab sama mudeliidentifikaatorit. See annab arendajatele alternatiivse töötlemisviisi, kuid esitatud materjal ei määratle täpset kestuspiiri, millest alates muutub asünkroonne töötlemine kohustuslikuks.

Kiiruse, hinna ja võimekuse kompromissid

Ainult transkribeerimist nõudva ülesande puhul võib spetsiaalne ASR-mudel sobida paremini kui üldotstarbeline multimodaalne mudel, sest ülesanne on kitsalt määratletud ja hinnastamine põhineb kõnetuvastuse kasutusel. WAND-ASR-v1 pakub ka transkriptsioonile omaseid väljundeid, näiteks lausetaseme ajatempleid ja SRT-subtiitreid, mille eraldamine või järeltöötlus võib üldmudeli puhul nõuda lisatööd.

Kompromissiks on väiksem ulatus. Üldotstarbeline mudel võib olla sobivam siis, kui sama päring peab tõlgendama pilte, arutlema mitme dokumendi põhjal, kirjutama koodi, tegema transkriptsioonist kokkuvõtte või käivitama tööriistapõhise toimingu. WAND-ASR-v1 tuleks käsitleda hoopis ühe komponendina töövoos: see transkribeerib salvestise ning seejärel saab mõni teine teenus saadud teksti kokku võtta, klassifitseerida, tõlkida või selle põhjal otsida.

Uuringus antakse WAND-ASR-v1-le toimetuslikuks kiiruseskooriks 7 ja kuluskooriks 8. Need on kõnetuvastuse kasutusjuhtude sisemised võrdlushinnangud, mitte Tencenti võrdlustestid ega teenusepakkuja avaldatud hinnangud. Need viitavad soodsale praktilisele tasakaalule keskendunud transkribeerimise puhul, kuid neid ei tohiks käsitleda mõõdetud latentsuse ega garanteeritud kulukohustusena.

Parimad kasutusjuhud

WAND-ASR-v1 sobib hästi rakendustele, mis vajavad salvestatud kõne tekstilist esitust koos ajastusteabega. Sobivad näited on järgmised:

• koosolekute, intervjuude ja koolituste transkribeerimine
• salvestatud videotele subtiitrite loomine
• meediateekide indekseerimine, et kasutajad saaksid kõnesisu otsida
• salvestatud klienditeenindusvestluste transkriptsioonide koostamine
• lühikeste audio- või videofailide töötlemine sünkroonses töövoos
• ajaga sünkroonitud teksti ettevalmistamine meedia redigeerimiseks ja ülevaatamiseks

Pikemate salvestiste puhul võib sama mudeliidentifikaatorit kasutav asünkroonne töövoog olla operatiivselt sobivam kui sünkroonse vastuse ootamine. Õige valik sõltub salvestise pikkusest, rakenduse ajalõpu nõuetest ja Tencent Cloudi kehtivatest teenusepiirangutest.

Millal valida WAND-ASR-v1?

Vali WAND-ASR-v1 siis, kui peamine vajadus on saada Tencent Cloud TokenHubi kaudu usaldusväärselt transkriptsioon, tuvastatud keel, lausetaseme ajatemplid või SRT-subtiitrid. See sobib eriti hästi juhul, kui audio- või videoallikas on juba URL-i kaudu kättesaadav või audio saab Base64-vormingusse kodeerida ning rakendus vajab laia vestlusmudeli asemel keskendunud ASR-i lõpp-punkti.

Teine lahendus võib olla sobivam siis, kui rakendus vajab reaalajas voogedastust, avaldatud sisendi või väljundi maksimumpiiri, peenhäälestust, struktureeritud väljundeid, funktsioonikutsungeid või mudelit, mis suudab otse kõnet genereerida. Esitatud uuring ei kinnita neid võimeid WAND-ASR-v1 puhul. Samuti tuleks pärast transkribeerimist kasutada laiemat keele- või multimodaalset süsteemi, kui peamine ülesanne on analüüs, arutlemine, kodeerimine, kokkuvõtete koostamine või sisu genereerimine, mitte kõnetuvastus ise.

Kokkuvõte

WAND-ASR-v1 on Tencent Cloudi TokenHubi keskendunud mudel audio ja video kasutatavaks tekstiks teisendamiseks. Selle kõige eristuvamad praktilised omadused on automaatne või määratud keele käsitlemine, lausetaseme ajatemplid ja SRT-subtiitrite väljund. Võrdlusmääraga 10 CNY miljoni tokeni kohta ning ligikaudu 50 tokeniga sekundis pakub see transkribeerimistöökoormuste jaoks selget kasutuspõhist hinnastamismudelit.

Selle väärtus tuleneb spetsialiseerumisest, mitte üldotstarbelisest intelligentsusest. See on mõistlik valik transkriptsiooni- ja subtiitritöövoogude jaoks, samas kui vestlust, arutlemist, kodeerimist, tööriistade kasutamist või meedia loomist vajavad töövood peaksid kasutama lisaks teisi teenuseid või valima mõne muu lahenduse.