Qwen-Audio-3.1-ASR-Flash-Streaming

Mis on Qwen-Audio-3.1-ASR-Flash-Streaming?

Qwen-Audio-3.1-ASR-Flash-Streaming on Alibaba Cloud Model Studio spetsiaalne automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR teisendab kõne helina kirjalikuks tekstiks. Erinevalt üldotstarbelisest vestlusmudelist keskendub see mudel kõne tuvastamisele selle esitamise ajal ning tagastab aktiivse voogedastusseansi jooksul transkriptsioonisündmusi.

Mudelile pääseb ligi WebSocketi-põhise reaalajas kõnetuvastuse API kaudu. WebSocketi ühendused võimaldavad rakendusel ja teenusel hoida pidevat kahesuunalist ühendust, nii et heli saab saata osadena, ootamata kogu salvestise lõppemist. Seejärel saab teenus vestluse edenemise ajal tagastada osalisi ja lõplikke tuvastustulemusi.

Alibaba Cloud suunab mudeli kasutamiseks reaalajas transkriptsioonis, konverentsidel, ülekannetes, subtiitrite loomisel, häälkäsklustes ja intelligentsetes häälliidestes. See kuulub Qwen-Audio-3.1 ASR-i mudeliperre, kuid voogedastusversiooni tuleks käsitleda spetsiaalse kõnetuvastuse lõpp-punktina, mitte üldise vestlus- või arutlusmudelina.

Põhivõimalused ja toetatud helitöövood

Mudel võtab vastu heli ja toodab teksti. Toetatud voogedastussisendid hõlmavad PCM- ja Opus-heli ning dokumenteeritud diskreetimissagedused on 16 kHz ja 8 kHz; reaalaja API dokumentatsioonis on vaikimisi toodud 16 kHz. Heli saadetakse WebSocketi sündmuste kaudu Base64-kodeeritud osadena.

Dokumenteeritud võimalused hõlmavad järgmist:

• Reaalajas transkriptsioon heli edastamise ajal.
• Mitmekeelne kõnetuvastus järgmistes keeltes: hiina, inglise, jaapani, korea, vietnami, tai, indoneesia, malai, filipino, hindi, araabia, prantsuse, saksa, hispaania, portugali, vene, itaalia, hollandi, rootsi, taani, soome, kreeka, poola, tšehhi, ungari, rumeenia, bulgaaria, horvaadi, slovaki ja norra.
• Mitme hiina piirkondliku keelekuju tuvastamine, sealhulgas Shanghai, Nanchangi, Ningbo, hakka, Hangzhou, Wenzhou, Hunani, Fujiani, kantoni ja Suzhou murded.
• Hiina ja inglise keele vahetamine sama tuvastustöövoo jooksul.
• Võtmesõnade tugi nimede, tooteterminoloogia, erialase sõnavara ja muude sõnade jaoks, mida võib muidu olla keeruline õigesti tuvastada.
• Viipade või konteksti abil tehtav kallutamine täiendava tuvastuskonteksti andmiseks.
• Lause- ja sõnatasandi ajatemplid subtiitrite joondamiseks ja märksõnade esiletõstmiseks.
• Kirjavahemärkide ennustamine ja teksti normaliseerimine.
• Mürataluvus keerukamates akustilistes keskkondades.

Võtmesõnad ja kontekstipõhine kallutamine on eriti kasulikud siis, kui rakendusel on teadaolev sõnavara. Näiteks võib koosolekurakendus edastada ettevõtete nimed või tehnilised terminid, mis tõenäoliselt arutelus kõlavad. Need funktsioonid võivad tuvastamist suunata, kuid neid ei tohiks käsitleda garantiina, et kõik erialaterminid transkribeeritakse õigesti.

Kontekst, väljundipiirangud ja API üksikasjad

Mudeli dokumentatsioonis on märgitud 8192 märgi suurune kontekstiaken, sisendi maksimaalne pikkus 8192 märki ja väljundi maksimaalne pikkus 1024 märki. Need on mudeli dokumentatsioonis toodud märgipiirangud ning neid ei tohiks segi ajada salvestise kindla maksimaalse kestusega. Alibaba Cloudi ASR-i ülevaates on voogedastuse maksimaalne helikestus märgitud piiramatuks.

Piiramatu voogedastuse kestus ei tähenda, et iga ühendus või rakendus oleks töökindluse seisukohast piiranguteta. Pikaajalised seansid vajavad endiselt sobivat kliendipoolset käitlust ühenduse katkemiste, osaliste tulemuste, lõpetatud lausungite ja teenuse kiiruspiirangute jaoks. Kättesaadavates uuringuandmetes on Singapuri rahvusvahelise juurutuse puhul konkreetselt dokumenteeritud piirang 600 päringut minutis. Rakendused peaksid mahutavuse kavandamisel kontrollima piirkonna ajakohast dokumentatsiooni.

Voogedastusliides on mõeldud pidevaks tuvastuseks, mitte võrguühenduseta failitöötluseks. Süsteemile, mis võtab vastu valmis salvestisi, vajab asünkroonset töötlemist või täiendavaid kõneanalüüsi funktsioone, võib paremini sobida sobiv failipõhine transkriptsiooni- või spetsiaalne kõnemudel.

Hinnakujundus ja piirkondlik saadavus

Qwen-Audio-3.1-ASR-Flash-Streaming on loetletud Singapuri rahvusvahelise juurutuse ning Hiina Pekingi piirkonna jaoks. Selle versiooni hinnastus põhineb märkidel:

Ülaltoodud arvud on selle mudeli kohta dokumenteeritud piirkondlikud hinnad. Neid ei tohiks segi ajada vanema Qwen-Audio-3.0 voogedastusmudeliga, mille puhul kirjeldatakse sisendi hinnastamist helikestuse alusel. Tegelikud tasud, kasutustingimused ja piirkondlik saadavus võivad muutuda, seega peaksid tootmiskeskkonna juurutused kontrollima Alibaba Cloud Model Studio ajakohast hinnakirja ja valitud piirkonda.

Olulised piirangud ja toetamata funktsioonid

Selle mudeli kasutusala on teadlikult kitsas. Alibaba Cloudi praegune dokumentatsioon märgib järgmised funktsioonid täpselt selle voogedastusmudeli puhul toetamata:

• Funktsioonide kutsumine ja tööriistade kasutamine.
• Struktureeritud väljundid.
• Veebiotsing.
• Konteksti vahemällu salvestamine.
• Pakkjäreldused.
• Peenhäälestus.
• Kõnelejate eristamine.
• Emotsioonide tuvastamine.

Kõnelejate eristamine tuvastab, milline inimene parasjagu räägib. Kuna seda siin ei toetata, ei tohiks koosoleku transkriptsioonilt oodata usaldusväärseid kõnelejamärgiseid, näiteks „Kõneleja 1” ja „Kõneleja 2”. Ka emotsioonide tuvastamine pole saadaval, mistõttu ei tohiks mudelit kasutada hääle põhjal meeleolu või hoiaku sisseehitatud tuvastajana.

Väljund on ainult tekst. Mudel ei sünteesi kõnet, ei genereeri muusikat, ei tagasta pilte ega videot ega paku muud mittetekstilist meediat. Samuti pole see mõeldud üldiseks vestluseks, programmeerimiseks, keerukaks arutlemiseks ega autonoomsete agentide ülesanneteks. Funktsioonide kutsumise ja veebiotsingu puudumise tõttu ei saa rakendus kasutada seda lõpp-punkti täieliku hääleagendina, ilma et lisaks eraldi komponente dialoogi, tööriistade, infootsingu ja vastuste genereerimise jaoks.

Arutlemise, programmeerimise ja tööriistade kasutamise profiil

Qwen-Audio-3.1-ASR-Flash-Streamingit ei tohiks hinnata samamoodi nagu üldist suurt keelemudelit. Selle ülesanne on kõnekeelt tuvastada ja vormindada, mitte lahendada mitmeastmelisi probleeme või kirjutada tarkvara. Esitatud tehnilised andmed ei dokumenteeri selle mudeli puhul üldist arutlusrežiimi ega programmeerimisvõimekust.

Samuti ei kuulu tööriistade kasutamine lõpp-punkti dokumenteeritud funktsioonide hulka. Funktsioonide kutsumine, struktureeritud väljund ja veebiotsing on märgitud toetamata. Kui häälerakendus peab tuvastatud kõne tegevusteks teisendama, kasutaks tüüpiline arhitektuur seda mudelit transkriptsiooniks ning eraldi rakenduskihti või keelemudelit kavatsuse tuvastamiseks ja tööriistade käivitamiseks. See eraldus on arhitektuuriline soovitus, mitte selle mudeli sisseehitatud võimekus.

Kiiruse, hinna ja võimekuse kompromissid

Mudeli peamine kompromiss tuleneb spetsialiseerumisest. See koondab oma võimekuse voogedastatavale kõnetuvastusele, mistõttu sobib see otseülekande subtiitrite või häälsisendi jaoks paremini kui üldine multimodaalne mudel, mis on loodud piltide mõistmiseks, dokumentide põhjal arutlemiseks või tööriistade kutsumiseks. Esitatud hindamisandmed annavad sellele kõrge toimetusliku kiirusehinnangu ja suhteliselt soodsa toimetusliku kuluhinnangu, kuid need on andmebaasipõhised hinnangud, mitte Alibaba Cloudi võrdlustestide tulemused.

Selle keskendunud ülesehitus tähendab ka seda, et mudelil puudub üldotstarbelise mudeli laiem funktsioonide valik. Üldine keelemudel võib olla sobivam siis, kui rakendus vajab pärast kõne vastuvõtmist kokkuvõtete loomist, küsimustele vastamist, programmeerimist, planeerimist või funktsioonide käivitamist. Kõnelejate eristamist toetav kõnemudel võib olla parem valik intervjuude või koosolekute transkriptsioonide puhul, kus iga osaleja tuvastamine on hädavajalik. Failipõhine transkriptsiooniteenus võib olla sobivam siis, kui sisendiks on valmis salvestis, mitte otsevoog.

Parimad kasutusjuhud

• Koosolekute reaalajas transkriptsioon: edastada mikrofoniheli ja kuvada koosoleku ajal nii osalist kui ka lõpetatud teksti.
• Reaalajas subtiitrid: kasutada lause- ja sõnatasandi ajatempleid tuvastustulemuste joondamiseks ülekande, esitluse või otseüritusega.
• Mitmekeelsed häälliidesed: võtta vastu toetatud keeltes kõnet ning edastada transkriptsioon eraldi dialoogi- või rakendussüsteemile.
• Klienditeeninduse tugi: transkribeerida käimasolevaid kõnesid või häälsuhtlust, eriti siis, kui valdkonnatermineid saab lisada võtmesõnade või kontekstipõhiste viipadena.
• Häälkäsklused: teisendada öeldud käsud tekstiks rakenduskihi jaoks, mis tegeleb ise kavatsuse tuvastamise ja autoriseerimisega.
• Märksõnade esiletõstmine: kasutada sõnatasandi ajatempleid terminite tuvastamiseks ja reaalajas transkriptsioonis esiletõstmiseks.
• Hiina murretega seotud rakendused: toetada töövooge, milles kasutatakse dokumenteeritud Hiina piirkondlikke keelekujusid, kui juurutus ja keelenõuded omavahel sobivad.

Millal valida see mudel?

Vali Qwen-Audio-3.1-ASR-Flash-Streaming siis, kui põhivajadus on pidev ja väikese viivitusega transkriptsioon WebSocketi kaudu. See sobib hästi rakendustele, mis vajavad mitmekeelset tuvastust, Hiina murrete tuge, ajatempleid, kirjavahemärke, võtmesõnu ja kontekstipõhist kallutamist, kuid ei eelda, et mudel ise arutleks, veebi sirviks või tööriistu kasutaks.

Vali mõni muu lahendus siis, kui töövoog sõltub kõnelejamärgistest, emotsioonianalüüsist, võrguühenduseta failitöötlusest või kõnesünteesist. Mitme kõnelejaga salvestiste puhul sobib paremini kõnelejate eristamist toetav transkriptsioonimudel. Pakkfailide üleslaadimiseks ja asünkroonseks töötlemiseks sobib paremini failipõhine ASR-teenus. Üldine keelemudel või hääleagendi arhitektuur on sobivam siis, kui transkriptsioon on alles esimene samm ning süsteem peab vastama küsimustele, arutelusid kokku võtma, koodi kirjutama, ärilisi tööriistu kasutama või tegevusi sooritama.

Kokkuvõte

Qwen-Audio-3.1-ASR-Flash-Streaming on spetsialiseeritud reaalajas transkriptsioonimudel, mitte universaalne tehisintellektiassistent. Selle dokumenteeritud tugevused on voogedastus, lai keeltevalik, Hiina murrete tuvastamine, ajatemplid, kontekstipõhine sõnavara tugi, kirjavahemärgid ja mürataluvus. Sama olulised on ka piirangud: väljund on ainult tekst, puudub kõnelejate eristamine ja emotsioonide tuvastamine, samuti funktsioonide kutsumine, veebiotsing ning pakk- ja peenhäälestuse tugi. Otse kõnest tekstiks rakendustes, mis nende piirangutega sobivad, on sellel Alibaba Cloud Model Studio praeguses ASR-i kataloogis selge ja tehniliselt konkreetne roll.