Mida Qwen-Audio-3.1-ASR-Flash-Filetrans teeb
Qwen-Audio-3.1-ASR-Flash-Filetrans on Alibaba Cloud Model Studio võrguühenduseta töötav otsast lõpuni automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR teisendab kõne heli tekstiks. See mudel on mõeldud eelkõige pikkade salvestiste, mitte lühikeste vestlusvoorude või reaalajas häälsuhtluse jaoks.
Mudeli kanooniline API-identifikaator on qwen-audio-3.1-asr-flash-filetrans. Päringus esitatakse üks avalikult juurdepääsetav heli- või videofaili HTTP- või HTTPS-URL. Seejärel töötleb Alibaba Cloud faili asünkroonselt: esialgne päring tagastab ülesande identifikaatori ning rakendus saab valmis transkriptsiooni kätte hankida või võtab selle vastu toetatud tulemuste edastamise töövoo kaudu.
Mudel on Alibaba Cloud Model Studios saadaval Singapuri rahvusvahelises piirkonnas ja Hiina (Pekingi) piirkonnas. Qwen-Audio 3.1 mudeliperes on selle roll spetsialiseeritud: see on failipõhine reaalajas mittetöötav transkriptsioonivõimalus. Reaalajas tuvastamiseks dokumenteerib Alibaba Cloud eraldi mudeli Qwen-Audio-3.1-ASR-Flash-Streaming.
Tuvastusvõimalused
Selle peamine eelis on rida funktsioone, mis on mõeldud keerukate ja suure infotihedusega salvestiste töötlemiseks. Dokumenteeritud võimaluste hulka kuuluvad mitmekeelne kõnetuvastus, mitme Hiina piirkondliku murde tuvastamine, kirjavahemärkide ennustamine, teksti normaliseerimine, võtmesõnade tõhustamine, konteksti kasutamine ja kõnelejate eristamine.
- Mitmekeelne ja murrete tuvastamine: kasulik salvestiste puhul, mis sisaldavad toetatud keeli või Hiina piirkondlikke kõnevariante.
- Kõnelejate eristamine: eristab mitme osalejaga salvestisel kõnelejaid, muutes koosolekuprotokollide, intervjuude ja kõneanalüüsi korraldamise lihtsamaks.
- Ajatemplid: seostavad transkriptsiooni sisu salvestise kindlate hetkedega, mis on kasulik subtiitrite loomisel, otsingul, monteerimisel ja tõendite ülevaatamisel.
- Võtmesõnad: parandavad oluliste nimede, kaubamärkide, tehniliste terminite või organisatsioonisisese sõnavara tuvastamist, kui need esitatakse kontekstiterminitena.
- Konteksti kasutamine: annab tuvastile lisateavet, mis võib aidata lahendada sõnu, mida on ainult heli põhjal raske ära tunda.
- Kirjavahemärgid ja normaliseerimine: muudavad tuvastatud kõne toorandmed loetavamaks tekstiks ning rakendavad teenuse toetatud teksti vormindamise või normaliseerimise reegleid.
- Vastupidavus mürale: Alibaba Cloud kirjeldab mudelit sobivana keerukates akustilistes keskkondades, kuid esitatud dokumentatsioon ei sisalda võrdlustesti tulemust ega garanteeritud mürataset.
Need on teenusepakkuja dokumenteeritud võimalused, mitte sõltumatute võrdlustestide tulemused. Tuvastuse kvaliteet sõltub endiselt näiteks salvestise kvaliteedist, kõne kattumisest, aktsendist, sõnavarast ja taustamürast.
Failitüübid, suurusepiirangud ja töötlemise käik
Reaalajas mittetöötav API võtab iga päringu kohta vastu ühe avalikult juurdepääsetava heli- või videofaili HTTP- või HTTPS-URL-i. Alibaba Cloudi loetletud toetatud vormingud on AAC, AMR, AVI, FLAC, FLV, M4A, MKV, MOV, MP3, MP4, MPEG, OGG, OPUS, WAV, WEBM, WMA ja WMV.
Dokumenteeritud faili maksimaalne suurus on 2 GB ja maksimaalne kestus 12 tundi. Need piirangud muudavad mudeli sobivaks pikkade koosolekute, loengute, intervjuude, saadete ja arhiivitud meedia töötlemiseks, mida oleks ebamugav lühikesteks lõikudeks jagada. Alibaba Cloud soovitab kõnelejate diariseerimise kasutamisel hoida salvestised ligikaudu kahe tunni pikkused, sest pikemate diariseeritud tööde puhul on tuvastustõrgete või ajalõppude risk suurem.
URL-i nõue on oluline praktiline piirang. Dokumenteeritud päringuvormingus ei paku mudel algupärast kohaliku faili üleslaadimise töövoogu. Fail tuleb esmalt paigutada aadressile, millele teenus pääseb ligi HTTP või HTTPS-i kaudu. Seetõttu muutuvad integratsiooni kavandamisel oluliseks juurdepääsuõigused, URL-i aegumine ja meedia kättesaadavus töötlemise ajal.
Sisend, väljund ja API profiil
Mudel võtab sisendina vastu salvestatud heli- ja videofaile, kuid tulemuseks on tekstitranskriptsioon. See ei loo heli, muusikat, pilte ega videot. Videofaili kasutatakse heliraja konteinerina; seda ei ole dokumenteeritud visuaalse video mõistmisena.
| Spetsifikatsioon | Dokumenteeritud väärtus |
|---|---|
| Mudeli ID | qwen-audio-3.1-asr-flash-filetrans |
| Põhiülesanne | Asünkroonne võrguühenduseta kõne tekstiks teisendamine |
| Sisend | Üks avalikult juurdepääsetav heli- või videofaili URL |
| Väljund | Tekstitranskriptsioon koos toetatud ajatemplite ja kõnelejateabega |
| Faili maksimaalne suurus | 2 GB |
| Maksimaalne kestus | 12 tundi |
| Konteksti pikkus | 8,192 |
| Väljundi maksimaalne tokenite arv | 1,024 |
| Töötlemine | Asünkroonne; mitte reaalajas voogedastus |
| Dokumenteeritud piirkonnad | Singapuri rahvusvaheline piirkond ja Hiina (Peking) |
Loetletud konteksti pikkus 8,192 ja väljundi maksimaalne suurus 1,024 tokenit on selle mudeli kataloogispetsifikatsioonid. Neid ei tohiks tõlgendada lubadusena, et 12-tunnine salvestis tagastatakse ühe lühikese vastusena. Pikkade failide transkriptsiooni haldab teenus asünkroonse töövoo kaudu ning tulemuste struktuur võib sõltuda salvestisest ja lubatud suvanditest.
Mudeli puhul ei ole dokumenteeritud funktsioonikutsete, struktureeritud väljundi, veebiotsingu, prefiksi lõpetamise, konteksti vahemällu salvestamise, pakktöötluse ega peenhäälestuse tuge. Seetõttu tuleks seda käsitleda spetsialiseeritud transkriptsiooniteenuse, mitte üldotstarbelise assistendi või agendina.
Hinnastamine ja läbilaskevõime
Alibaba Cloud rakendab selle mudeli puhul tokenipõhist hinda, mitte lihtsat minutipõhist salvestustasu. Singapuri rahvusvahelises piirkonnas on loetletud hinnaks 0,15 USA dollarit 1 miljoni sisendtokeni ja 0,47 USA dollarit 1 miljoni väljundtokeni kohta. Hiina (Pekingi) piirkonnas on hinnad vastavalt 0,113 USA dollarit 1 miljoni sisendtokeni ja 0,382 USA dollarit 1 miljoni väljundtokeni kohta.
Kuna arveldamine põhineb tokenitel, sõltub lõplik maksumus teenuse arvestusest esitatud heli ja loodud transkriptsiooni puhul, mitte ainult faili kestusest. Kahe piirkonna hinnakirju ei tohiks omavahel segada: kohaldatav hind sõltub sellest, kus päringut töödeldakse.
Alibaba Cloud kehtestab mõlemas dokumenteeritud piirkonnas piiriks 600 päringut minutis. See piirang puudutab päringute läbilaskevõimet ega garanteeri, et iga salvestis valmib kindla aja jooksul. Lõpetamisaega võivad mõjutada faili pikkus, kõnelejate eristamine, faili juurdepääsetavus ja teenuse tingimused.
Peamised tugevused ja piirangud
Tugevad küljed
- See on loodud spetsiaalselt pikkade asünkroonsete salvestiste jaoks, nii et rakendused ei pea haldama paljusid lühikesi reaalajas lõike.
- Kõnelejate eristamine ja ajatemplid toetavad praktilisi järeltegevusi, nagu koosolekuprotokollide koostamine, subtiitrite ettevalmistamine, intervjuude ülevaatamine ja otsitavate arhiivide loomine.
- Mitmekeelne tuvastus ja Hiina piirkondlike murrete tugi laiendavad kasutusvõimalusi tavapärastest ühekeelsetest salvestistest kaugemale.
- Võtmesõnad ja konteksti kasutamine võivad aidata organisatsioonidel töödelda nimesid, erialasõnavara ja korduvaid termineid.
- 2 GB ja 12 tunni piirangud sobivad paljude täispikkade salvestiste jaoks.
Olulised piirangud
- See ei ole reaalajas transkriptsioonimudel. Reaalajas subtiitreid või viivitamatut häälsuhtlust vajavad rakendused peaksid kasutama voogedastusega ASR-i võimalust.
- Meedia peab olema kättesaadav avaliku HTTP- või HTTPS-URL-i kaudu, mis võib nõuda eraldi salvestus- ja juurdepääsukontrolli etappi.
- Kõnelejate diariseerimine on nõudlikum ning Alibaba Cloud soovitab selle suvandi kasutamisel lühemaid salvestisi.
- Dokumenteeritud tuge ei ole kõnesünteesile, heli genereerimisele, üldisele vestlusele, piltide või videote loomisele, tööriistade kasutamisele ega veebiotsingule.
- Esitatud uuring ei sisalda sõltumatut täpsusvõrdlust, garanteeritud sõnaveamäära ega dokumenteeritud emotsioonituvastuse funktsiooni. Emotsioonituvastust ei tohiks eeldada.
- Piirkondlik tokenipõhine hinnastamine võib olla raskemini prognoositav kui selgelt määratletud minutipõhine transkriptsioonihind.
Millal seda mudelit valida
Vali Qwen-Audio-3.1-ASR-Flash-Filetrans siis, kui peamine vajadus on salvestatud kõne usaldusväärne pakktöötlus ja rakendus talub asünkroonset valmimist. Sobivad näited on kahetunnise koosoleku muutmine kõnelejate kaupa märgendatud transkriptsiooniks, intervjuukogu indekseerimine, meediafailidest subtiitrite mustandite loomine, mitmekeelsete kliendikõnede transkribeerimine või pikkade audioarhiivide otsitavaks muutmine.
See sobib eriti siis, kui ajatemplid, murrete tuvastamine, võtmesõnad või kõnelejate eristamine on olulisemad kui vestluslik arutlusvõime. Mudel võib pakkuda transkriptsiooni, kuid koosolekute kokkuvõtete tegemiseks, tegevuspunktide eraldamiseks, kõnede liigitamiseks või saadud teksti kohta küsimustele vastamiseks võib siiski vaja minna eraldi rakendust või mudelit.
Vali selle asemel voogedastusega kõnetuvastusmudel, kui kasutajad vajavad reaalajas subtiitreid, viivitamatuid osalisi transkriptsioone või interaktiivset häälsisendit. Alibaba Cloudi dokumentatsioonis mainitud seotud mudel Qwen-Audio-3.1-ASR-Flash-Streaming on mõeldud reaalajas tuvastamiseks. Kui põhiülesanne on analüüs, kirjutamine, programmeerimine või küsimustele vastamine, mitte kõnetuvastus ise, vali pärast transkribeerimist üldotstarbeline keelemudel.
Üldhinnang
Qwen-Audio-3.1-ASR-Flash-Filetrans on spetsialiseeritud pikkade failide transkriptsiooniteenus, mitte laia kasutusalaga multimodaalne assistent. Selle väärtus seisneb pika kestusega asünkroonse töötlemise ühendamises praktiliste ASR-i juhtelementidega, nagu kõnelejate eristamine, ajatemplid, võtmesõnad, konteksti kasutamine, kirjavahemärgid ja teksti normaliseerimine. Piirangud on samuti selged: mudel ei ole mõeldud reaalajas heli jaoks, see nõuab juurdepääsetavat meedia-URL-i ning dokumenteeritud API ei sisalda üldotstarbelisi tööriistu ega genereerimisfunktsioone.
Salvestatud koosolekuid, intervjuusid, kõnesid, subtiitreid või meediaarhiive töötlevatele organisatsioonidele pakub mudel keskendunud kombinatsiooni skaleeritavusest ja transkriptsioonifunktsioonidest. Peamised otsustuskohad on see, kas asünkroonne töötlemine on vastuvõetav, kas faili saab avalikult juurdepääsetava URL-i kaudu kättesaadavaks teha ja kas piirkondlik tokenipõhine hinnastamine sobib töökoormusega.