Mis on Hy-ASR-3.0-Preview
Hy-ASR-3.0-Preview on Tencenti eelversiooniline automaatse kõnetuvastuse (ASR) mudel. ASR-süsteemid analüüsivad kõneldud heli ja tagastavad selle kirjaliku transkriptsioonina; see mudel on mõeldud konkreetselt selle ülesande jaoks, mitte vabavormiliseks vestluseks, programmeerimiseks, piltide genereerimiseks või üldiseks teksti lõpetamiseks.
Tencenti praeguses tootevalikus kuulub see Hunyuan kõnetuvastuse pakkumisse ning on saadaval mitme Tencent Cloudi teenuse kaudu. Eelversiooni ja sisetestimise staatus tähendab, et selle kättesaadavus ja funktsioonide tugi on piiratumad kui küpse ja piiranguteta tootmismudeli puhul. Tencenti dokumentatsioon tähistab reaalajamudelit nimega Hy-ASR-3.0-preview; TokenHub kasutab väiketähtedega identifikaatorit hy-asr-3.0-preview.
Keeled ja tuvastamise tugevused
Dokumenteeritud keelevalik hõlmab mandariini hiina keelt, inglise keelt ning 20 hiina murret või piirkondlikku keelekuju. Nende hulka kuuluvad kantoni keel, Kirde-Hiina mandariini keelekuju, Henani, Shaanxi, Chengdu, Chongqingi, Wuhani, Guiyangi, Qingdao, Jinani, Changsha, Hefei, Hebei, Kunmingi, Lanzhou, Yinchuani, Nanchangi, Pekingi, Sichuani ja Tianjini keelekujud.
See valik muudab mudeli spetsialiseeritumaks kui kõnest tekstiks teenus, mis keskendub ainult standardsele mandariini keelele. Mudel on mõeldud töötlema ka hiina ja inglise keele segakõnet, mida esineb sageli tehnilistes aruteludes, kliendikõnedes, otseülekannetes ja tööalastes vestlustes. Tencent kirjeldab kontekstilise eristamise ja homofonide parandamise täiustusi. See tähendab, et mudel püüab sobivama transkriptsiooni valimiseks kasutada ümbritsevaid sõnu, selle asemel et käsitleda iga heli eraldiseisvana.
Dokumenteeritud võimaluste hulka kuulub ka võtmesõnade lisamine. Võtmesõna on kasutaja määratud termin, millele kõnetuvasti peaks pöörama erilist tähelepanu, näiteks toote-, ettevõtte- või isikunimi, meditsiinitermin või erialasõnavara. See võib olla kasulik olukordades, kus tavaline keelemudel võiks haruldase termini asendada tuttavama kõlaga sõnaga.
Toetatud sisendid ja väljundid
Hy-ASR-3.0-Preview võtab vastu heli ja väljastab teksti. See ei paku otse pildi-, video-, heli-, muusika-, embedding'u ega üldise struktureeritud objekti väljundit. Videot saab siiski kaudselt töödelda Tencent Cloudi meediateenuste kaudu, kui teenus eraldab või transkribeerib subtiitrite jaoks heliraja.
Reaalaja eelversiooni liides on dokumenteeritud 16 kHz mono-PCM-heli jaoks. Eelversiooni reaalajateenus toetab ühe tuvastusseansi kohta kuni 60 sekundi ehk ühe minuti pikkust heli. See on oluline praktiline piirang: pikka koosolekut, kõnet või otseülekannet töötlev rakendus peab salvestise sobivateks lõikudeks jagama või kasutama asünkroonset või meediatöötluse töövoogu, kui see on toetatud.
Väljund võib sisaldada täielikku transkriptsiooni ja lausete ajatempleid. Mõni liides pakub ka sõnataseme ajatempleid ning asjaomased Tencent Cloudi teenused võivad luua subtiitrifaile. Esitatud dokumentatsioonis ei avaldata keelemudeli kontekstiakna suurust, väljundi maksimaalset tokenite arvu ega ühtset universaalset väljundipiirangut kõigi liideste jaoks. Seetõttu sõltuvad piirangud valitud Tencent Cloudi teenusest ja töövoost.
Juurdepääsumeetodid ja praktilised töövood
Reaalajas rakenduste jaoks saab mudeli valida Tencent Cloudi reaalaja kõnetuvastuse WebSocketi API kaudu. WebSocket on püsiv ühendus, mis võimaldab heli järk-järgult saata ja transkriptsioonitulemusi tuvastamise käigus tagastada. Seetõttu sobib mudel reaalajas subtiitrite, häälkäsklustega liideste ja interaktiivsete helirakenduste jaoks.
Failide ja meediatoimingute puhul toetab Tencent Cloud Media Processing Hy ASR 3.0 eelversiooni integratsiooni selliste kasutusjuhtude jaoks nagu subtiitrite eraldamine ja sünkroonne kõnetuvastus. TokenHub pakub sünkroonset transkriptsiooni lõpp-punkti, mis kasutab väiketähtedega mudeliidentifikaatorit. Need liidesed on kasulikud siis, kui rakendus ei pea osalisi tulemusi kohe kuvama või kui heli on meediatöötluse töö osana juba salvestatud.
Täpne päringu vorming, autentimisnõuded, piirkondlik kättesaadavus ja teenusetaseme piirangud kuuluvad konkreetse Tencent Cloudi liidese, mitte ainult mudeli juurde. Arendajad peaksid seega esmalt valima teenuse — reaalaja tuvastuse, meediatöötluse või TokenHubi — ning järgima seejärel selle teenuse ajakohast dokumentatsiooni.
Eelversiooni piirangud ja toetamata funktsioonid
Kõige olulisem piirang on eelversiooni liidese dokumenteeritud üheminutiline reaalajaseansi piirang. Seetõttu sobib mudel paremini lühikesteks reaalajalõikudeks või rakendustesse, mis suudavad heli osadeks jagada, kui üheks piiranguteta helivooks.
Sisetestimise versioon ei toeta kõnelejate eristamist, kõneaktiivsuse tuvastamist (VAD), sõnavara asendamist ega mürataseme parameetreid. Kõnelejate eristamine tuvastab, kes räägib, mistõttu ei tohiks rakendused, mis vajavad märgiseid „Kõneleja 1” ja „Kõneleja 2”, eeldada, et see eelversiooni mudel neid pakub. VAD tuvastab kõne alguse ja lõpu; kuna dokumenteeritud VAD-funktsioon puudub, võib ümbritsev rakendus või teenus vajada vaikuse käsitlemist eraldi.
Sisetestimise versioonis pole saadaval ka sõnavara asendamine ega mürataseme juhtimine. See piirab kohandamisvõimalusi erialaterminoloogia ja rakenduste puhul, mis vajavad täpset kontrolli taustamüra mõju üle tuvastusele. Tencent kirjeldab küll paremat stabiilsust mürarohketes, sosistatud ja muudes keerulistes akustilistes tingimustes, kuid seda teenusepakkuja väidet ei tohiks käsitleda avaldatud võrdlustesti ega iga salvestuskeskkonna garantii asendusena.
Arutlus-, programmeerimis- ja tööriistade tugi
Hy-ASR-3.0-Preview ei ole tavapärases keelemudeli tähenduses arutlus- ega programmeerimismudel. Selle kontekstitundlikkust kasutatakse transkriptsiooni parandamiseks — näiteks homofonide eristamiseks või segakeelsete hiina-inglise fraaside säilitamiseks —, mitte mitmeetapiliste probleemide lahendamiseks või tarkvara genereerimiseks.
Esitatud mudelihinnang annab sellele suhteliselt madala programmeerimisskoori ega tuvasta tööriistade või funktsioonikutsete tuge. Need on toimetuslikud hinnangud ja kataloogiklassifikatsioonid, mitte Tencenti avaldatud võrdlustestid. Mudelit tuleks käsitleda rakenduse kutsutava transkriptsioonikomponendina, mitte agendina, mis käivitab iseseisvalt tööriistu, sirvib veebi, kirjutab koodi või sooritab äritoiminguid.
Kiiruse, hinna ja kvaliteedi kompromissid
Voogedastus ja WebSocketi liides muudavad Hy-ASR-3.0-Preview sobivaks olukordades, kus rakendus vajab transkriptsiooni samal ajal, kui inimene räägib. Kataloogihinnang annab sellele suhteliselt kõrge toimetusliku kiiruseskoori, mis peegeldab selle reaalajas kasutamise eesmärki, ning soodsa toimetusliku hinnasoori. Need skoorid on võrdlevad hinnangud, mitte teenusepakkuja mõõtmised.
Hind põhineb Tencent Cloudi kõnetuvastuse või sellega seotud teenuste kasutamisel. Läbi vaadatud dokumentatsioonis ei esitatud mudeli kontrollitud eraldiseisvat minuti- ega päringupõhist hinda. Tencent seostab reaalajamudelit oma suurte mudelite 2.0 hinnastamisskeemiga, kuid lõplik tasu sõltub valitud Tencent Cloudi tootest ja töövoost. Ostjad peaksid enne kulude prognoosimist kontrollima asjaomase teenuse hinda; pole olemas üht usaldusväärset hinda, mida saaks rakendada igale Hy-ASR-3.0-Preview integratsioonile.
Põhiline kompromiss seisneb spetsialiseerituse ja paindlikkuse vahel. Kõnetuvastusmudel võib transkriptsiooni puhul olla kiirem ja säästlikum kui üldine multimodaalne mudel, eriti siis, kui soovitud tulemuseks on ajatemplitega tekst. Vastutasuks puuduvad sellel üldine arutlusoskus, programmeerimisvõime, tööriistade kasutamine, kõnelejate eristamine ja piiranguteta heliseansside tugi. Laiema funktsioonivalikuga kõne- või multimodaalne teenus võib olla sobivam, kui need võimalused on olulisemad kui mudeli keskendumine hiina murretele ja segakeelele.
Millal seda mudelit valida
Hy-ASR-3.0-Preview on mõistlik valik siis, kui peamine vajadus on Tencent Cloudi kõnetuvastus mandariini, inglise keele, hiina murrete või hiina-inglise segakeelse heli puhul. Selle peamised praktilised kasutusjuhud on järgmised:
- Reaalajas subtiitrid hiinakeelsetele koosolekutele, saadetele ja otseülekannetele.
- Lühikesed häälkäsklused, mille puhul rakendus vajab teksti kiiresti.
- Kõnede, koosolekute ja intervjuude transkribeerimine eeldusel, et heli tükeldatakse või töödeldakse sobiva asünkroonse töövoo kaudu.
- Subtiitrite eraldamine heli- ja videofailidest Tencent Cloudi meediatöötlusteenuste kaudu.
- Toetatud piirkondlike keelekujude murdetundlik transkribeerimine.
- Ettevõtte helisalvestised, mis sisaldavad tootenimesid või muid erialatermineid, mille puhul võib võtmesõnade lisamisest kasu olla.
See sobib halvemini olukordadesse, kus rakendus vajab kõnelejate kaupa eraldatud transkriptsioone, sisseehitatud VAD-i, piiranguteta pika seansi voogedastust, ulatuslikku sõnavara kohandamist, üldist vestlust, koodi genereerimist või autonoomset tööriistade kasutamist. Sellistel juhtudel võib sobivam olla teist tüüpi teenus või täiendav järeltöötluse töövoog.
Üldhinnang
Hy-ASR-3.0-Preview’d tuleks käsitleda eelkõige spetsialiseeritud Tencent Cloudi ASR-valikuna, mitte üldotstarbelise tehisintellektimudelina. Selle eripärane väärtus seisneb mandariini, inglise keele ja segakeele tuvastamise ning 20 hiina murde toetamise kombinatsioonis, millele lisanduvad kontekstipõhine parandamine ja reaalajas juurdepääs. Mudeli hindamisel on sama olulised ka eelversiooni staatus, üheminutiline reaalajaseansi piirang, 16 kHz mono-PCM-i nõue ning kõnelejate eristamise ja VAD-i puudumine.
Vali see mudel siis, kui prioriteediks on toetatud hiinakeelse heli täpne ja kiire transkribeerimine ning Tencent Cloud on sobiv juurutuskeskkond. Kaalu mõnda muud lahendust, kui projekt vajab täielike funktsioonidega pika vormi transkriptsioonisüsteemi, kõnelejate tuvastamist, ulatuslikke helijuhtimise võimalusi või kõnest tekstiks teisendamisest kaugemale ulatuvaid funktsioone.