Mis on Qwen-Audio 3.1 Realtime Plus?
Qwen-Audio 3.1 Realtime Plus on Alibaba Cloud Model Studio kaudu pakutav reaalajas toimiv kõnemudel. Selle peamine eesmärk on toetada loomulikku ja väikese latentsusega häälsuhtlust. Selle asemel et rakendus saadaks heli ühte teenusesse transkribeerimiseks, edastaks saadud teksti keelemudelile ja saadaks vastuse seejärel kõnesünteesisüsteemi, saab see mudel käsitleda kogu suulist suhtlust voogedastusseansina.
Mudel võtab vastu nii teksti- kui ka helisisendit ning võib väljastada nii teksti kui ka heli. Seetõttu sobib see hääleassistentidele, klienditeenindussüsteemidele, kõnekeskuste liidestele, tehisintellekti kaaslastele ja käed-vabad-rakendustele. Mudel kuulub Qwen-Audio mudeliperre ning on mõeldud eelkõige reaalajas täisduplekssuhtluseks, kus heli saab pidevalt saata ja vastu võtta, mitte ainult eraldiseisvate päringu-vastuse voorudena.
Kuidas reaalajas suhtlus toimib
Qwen-Audio 3.1 Realtime Plus toetab täisdupleksvoogedastust. Praktikas tähendab see, et rakendus võib jätkata mikrofoniheli saatmist samal ajal, kui mudel genereerib järk-järgult vastuse heli ja teksti. See võib vähendada kasutaja kõne ja assistendi vastuse alguse vahelist viivitust, eeldusel et klient haldab heli puhverdamist ja taasesitust õigesti.
Mudel toetab ühendusi WebSocketi, WebRTC ja AOQ kaudu. Alibaba Cloud dokumentatsioon kirjeldab serveripoolset akustilist kõneaktiivsuse tuvastust, semantilist voorutuvastust ja nupuvajutusega kõnerežiime. Akustiline kõneaktiivsuse tuvastus aitab kindlaks teha, millal kõne toimub, samal ajal kui semantiline voorutuvastus kasutab sisendi tähendust ja vestluse konteksti, et hinnata, kas kõneleja on lõpetanud. Nupuvajutusega kõnerežiim võib olla eelistatav siis, kui rakendus vajab heli saatmise aja üle otsest kontrolli.
Rakendused peavad endiselt haldama katkestusi, heli puhverdamist, taasesitust ja voorude käsitlemist. Reaalajamudel ei kõrvalda neid arenduskohustusi automaatselt. Dokumenteeritud vormingu puhul kasutab sisendheli 16 kHz, 16-bitist monofonilist PCM-i, väljundheli aga 24 kHz, 16-bitist monofonilist PCM-i.
Sisendid, väljundid ja toetatud võimalused
| Võimalus | Dokumenteeritud tugi |
|---|---|
| Tekstisisend | Jah |
| Helisisend | Jah, 16 kHz, 16-bitine monofoniline PCM |
| Tekstiväljund | Jah, sealhulgas järk-järgult saadavad transkriptsioonid |
| Heliväljund | Jah, 24 kHz, 16-bitine monofoniline PCM |
| Voogedastus | Jah |
| Funktsioonikutsed | Jah |
| Veebiotsing | Valikuline, kasutades sätet enable_search |
| Pildi- või videosisend | Selle mudeli dokumentatsioonis puudub tugi |
| Pildi- või videoväljund | Ei |
Funktsioonikutsed võimaldavad mudelil paluda ümbritseval rakendusel toimingu teha, näiteks kontoandmeid otsida, tellimuse olekut kontrollida või ühendatud töövoogu juhtida. Funktsiooni käivitab mudeli enda asemel rakendus ning edastab tulemuse vestlusse tagasi. Qwen-Audio 3.1 Realtime Plus toetab ka valikulist esimese osapoole veebiotsingu võimalust. Funktsioonikõnesid ja veebiotsingut ei saa samas seansis korraga lubada, mistõttu peab rakendus valima vajaliku tööriistatee.
Mudel toetab mitut süsteemset häält, sealhulgas dokumenteeritud vaikehäält longanqian_v3.1. Alibaba Cloudi hääle kloonimise funktsioon võimaldab kasutada ka kloonitud hääli. Hääle valimist ja kloonimist tuleks käsitleda nii toote- ja poliitikaküsimuste kui ka tehniliste funktsioonidena, eriti juhul, kui rakendus kasutab äratuntava inimese häält või töötleb kasutajate kõneandmeid.
Kontekstiaken ja vestlusajalugu
Dokumenteeritud kontekstiakna suurus on 262 144 tokenit. Maksimaalne sisendi pikkus on 245 760 tokenit ja maksimaalne väljundi pikkus 16 384 tokenit. Need piirangud on märksa suuremad kui lühikese suulise vestluse jaoks tavaliselt vaja, kuid need võivad aidata rakendustel säilitada ulatuslikke juhiseid, transkriptsioone, tööriistade tulemusi või pika vestluse konteksti.
Heliajalool on eraldi praktiline piirang: mudel toetab kuni 50 helivooru või 300 sekundi ulatuses säilitatavat heliajalugu. See erinevus on oluline, sest suur tokenipõhine kontekstiaken ei tähenda, et seansis saab piiramatult toorheli aktiivsena hoida. Pikkade vestlustega rakendused võivad vajada varasema konteksti kokkuvõtmist, kärpimist või muud haldamist.
Hinnad ja piirkondlik kättesaadavus
Alibaba Cloud Model Studio hinnastab seda mudelit tokenite mahu järgi. Teksti ja heli jaoks kehtivad eraldi hinnad ning hinnad erinevad ka kasutuspiirkonna järgi. Singapuri puhul on loetletud hinnad järgmised:
| Kasutus | Hind 1 miljoni tokeni kohta |
|---|---|
| Tekstisisend | $0.80 |
| Helisisend | $6.40 |
| Tekstiväljund | $6.40 |
| Heliväljund | $24.00 |
Hiina (Pekingi) piirkonna puhul on loetletud hinnad 0,688 dollarit miljoni tekstisisendi tokeni kohta, 5,501 dollarit miljoni helisisendi tokeni kohta, 5,501 dollarit miljoni tekstiväljundi tokeni kohta ja 20,628 dollarit miljoni heliväljundi tokeni kohta. Need on kasutuspõhised hinnad, mitte tarbijale mõeldud tellimustasu. Tegelik kulu sõltub sellest, kui palju heli ja teksti rakendus saadab ja vastu võtab, kui palju ajalugu säilitab ning millist piirkonda kasutab.
Dokumenteeritud kasutuspiirang on 60 päringut minutis ja 100 000 tokenit minutis. Enne tootmiskasutust tuleks vastavas Alibaba Cloudi piirkonnas üle kontrollida kättesaadavus, kvoodid, konto nõuded ja piirkondlik juurdepääs.
Kiiruse, kulude ja võimaluste kompromissid
Mudeli peamine eelis on reaalajas toimiv kõnetöövoog. See on loodud alustama vastuse koostamist juba suhtluse voogedastuse ajal, mistõttu sobib see otsevestluseks paremini kui tavapärane pakettpõhine keelemudel. Mudel ühendab ühes reaalajaliideses ka kõnesisendi, kõneväljundi, voorutuvastuse, hääled ja tööriistafunktsioonid.
Singapuri hinnakirja järgi on helitokenid teksttokenitest kallimad. Heliväljund on eriti kulukas: 24 dollarit miljoni tokeni kohta, võrreldes tekstiväljundi 6,40 dollariga. See loob selge kulukompromissi: kõnepõhiseid vastuseid vajavad rakendused peaksid arvestama heliväljundi kasutusega, samas kui ainult transkriptsiooni või tekstivastuseid vajavad rakendused võivad kulusid vähendada, piirates heli genereerimist. Voogedastus võib parandada tajutavat reageerimiskiirust, kuid iseenesest ei muuda see iga suhtlust odavamaks.
Esitatud uurimismaterjal ei sisalda selle mudeli võrdlustulemusi ega teenusepakkuja avaldatud arutlusvõime skoori. Dokumenteeritud tugevused keskenduvad kõnesuhtlusele ja latentsusele, mitte üldotstarbelisele arutlemisele või programmeerimisvõimele. Funktsioonikutsed võivad laiendada rakendust väliste toimingutega, kuid seda ei tohiks tõlgendada tõendina, et mudel on optimeeritud keerukaks tarkvaraarenduseks või üldotstarbelisteks analüütilisteks töökoormusteks.
Parimad kasutusjuhud
- Hääleassistendid: Mudel võib kuulata suulisi päringuid, vastata sünteesitud kõnega ja säilitada sujuva reaalajas vestluse.
- Klienditeenindus: Täisduplekssuhtlus, voorutuvastus, transkriptsioonid ja funktsioonikutsed võivad rakenduse tööriistadega ühendatuna toetada konto-, tellimuse- või tugiteenuste töövooge.
- Kõnekeskuse- ja häälliidesesüsteemid: Heli voogedastus ja serveripoolne voorude haldus on kasulikud olukordades, kus vastuse viivitus mõjutab kasutajakogemust.
- Käed-vabad-rakendused: Mudel võib toetada kõneliideseid olukordades, kus kasutajad ei saa või ei soovi ekraaniga suhelda.
- Tehisintellekti kaaslased ja interaktiivsed tegelased: Mitu häält ja kloonitud hääled võivad toetada tegelaskujupõhiseid kogemusi, kui järgitud on nõusoleku- ja kasutuskontrolli nõudeid.
- Värsket teavet kasutavad häälerakendused: Valikuline veebiotsing võib olla kasulik siis, kui vestlus vajab hangitud teavet, mitte ainult mudeli sisseehitatud teadmisi.
Millal valida Qwen-Audio 3.1 Realtime Plus?
Vali see mudel siis, kui keskne vajadus on väikese tajutava latentsusega reaalajas kõnevestlus. See sobib eriti hästi juhul, kui rakendus vajab samas seansis nii helisisendit kui ka heliväljundit, serveripoolset voorutuvastust, seadistatavaid hääli või reaalajas juurdepääsu tööriistadele. WebSocketi, WebRTC ja AOQ tugi pakub meeskondadele mitut integreerimisvõimalust, sõltuvalt kliendi- ja serveriarhitektuurist.
See võib olla hea valik siis, kui ühtne kõnest kõnesse töövoog on kasulikum kui eraldi kõnetuvastus-, tekstigenereerimis- ja kõnesünteesikomponentide kokkupanek. See on atraktiivne ka juhul, kui häälerakendus vajab nii transkriptsioone kui ka kõneväljundit, sest mudel suudab tagastada nii teksti kui ka heli.
Millal võib mõni muu lahendus olla sobivam?
Pildi- või videomõistmise, pildigenereerimise, videogenereerimise, manustuste, pakettinference'i või peenhäälestuse jaoks võib eelistada teistsugust mudelit või arhitektuuri. Qwen-Audio 3.1 Realtime Plus on spetsialiseerunud reaalajas helisuhtlusele ning seda ei ole dokumenteeritud nende töökoormuste jaoks mõeldud üldise multimodaalse mudelina.
Tekstipõhine mudel võib olla säästlikum siis, kui kasutajad ei vaja kõnevastuseid, sest loetletud helisisendi- ja heliväljundihinnad on vastavatest tekstihindadest kõrgemad. Eraldi kõnetuvastus- ja kõnesünteesitoru võib olla ka paremini kohandatav, kui rakendus vajab väga spetsiifilist helitöötlust, sõltumatut teenusepakkuja valikut või eri etappides erinevaid hääli ja latentsuskontrolle.
Rakendused, mis vajavad samas seansis nii veebiotsingut kui ka kohandatud funktsioonikõnesid, peaksid lahenduse hoolikalt läbi vaatama, sest neid kahte funktsiooni ei saa korraga lubada. Kui töövoog sõltub mitmest välisest süsteemist, võib rakendus vajada oma otsingu- või orkestreerimiskihti, selle asemel et toetuda mudeli valikulisele otsingufunktsioonile.
Piirangud ja rakendusmärkused
Kõige olulisem rakenduslik piirang on see, et reaalajas kõne kvaliteet sõltub ümbritsevast kliendist. Arendajad peavad saatma heli oodatud vormingus, töötlema voogedastatavaid vastuseosi, alustama taasesitust kiiresti ning käsitlema katkestusi ja voorude muutusi. Sisend ja väljund kasutavad erinevaid diskreetimissagedusi, mistõttu võib heliseade või klient vajada teisendamist.
Mudeli 50 vooru või 300 sekundi pikkune säilitatava heli piirang nõuab pikkade seansside puhul ka vestlusajaloo haldamist. Suur tekstikonteksti maht ei kaota vajadust kogunenud heliajalugu kontrollida. Lisaks nõuavad hääle kloonimine ja häälepõhised rakendused hoolikat nõusoleku, privaatsuse ja kasutajate ootuste käsitlemist.
Kokkuvõttes tuleks Qwen-Audio 3.1 Realtime Plusi käsitleda Alibaba Cloud Model Studio spetsialiseeritud reaalajas kõnemootorina. Selle väärtus seisneb voogedastatava dupleksheli, teksttranskriptsioonide, seadistatavate häälte, voorutuvastuse ja valikuliste tööriistade ühendamises. See ei ole vaikimisi parim valik iga tehisintellekti töökoormuse jaoks, kuid on sihipärane lahendus rakendustele, mille peamine liides on reaalajas toimuv kõnevestlus.