Mis on MiMo-V2.5-TTS-VoiceDesign?
MiMo-V2.5-TTS-VoiceDesign on Xiaomi kõnesünteesimudel, mis genereerib kõnet loomulikus keeles kirjeldatud hääle põhjal. Selle eripära on hääle kujundamine: eelseadistatud hääle valimise või jäljendamiseks helisalvestise esitamise asemel kirjeldab arendaja soovitud kõnelejat ja esituse viisi.
Kirjelduses võib paluda näiteks rahulikku eakat jutuvestjat, karedahäälset keskealist piirkondliku aktsendiga jutustajat või pehmet ja aeglast ASMR-esitajat. Seejärel sünteesib mudel soovitud kõne nende omaduste põhjal. Kaanoniline API mudelitunnus on mimo-v2.5-tts-voicedesign.
Mudel kuulub Xiaomi MiMo-V2.5-TTS-i seeriasse. Selles seerias on VoiceDesign mõeldud rakendustele, mis vajavad spetsiaalselt kirjeldatud uut häält. See erineb tavalisest MiMo-V2.5-TTS-i mudelist, mis kasutab sisseehitatud hääli, ning mudelist MiMo-V2.5-TTS-VoiceClone, mis on mõeldud hääle kloonimiseks heliviite põhjal.
Kuidas hääle kujundamise töövoog toimib
API kasutab OpenAI-ga ühilduvat Chat Completionsi liidest koos mudelipõhise sõnumistruktuuriga. Kasutaja sõnum sisaldab hääle kirjeldust ja assistendi sõnum teksti, mis tuleb ette lugeda. Praktilises mõttes selgitab üks sõnum, milline kõneleja peab kõlama ja mismoodi, teine aga annab mida see kõneleja ütlema peab.
Hea häälekirjeldus peaks keskenduma kuuldavatele omadustele ja esituse juhistele. Xiaomi juhistes toetatakse muu hulgas järgmisi atribuute:
- Vanus ja sugu
- Aktsent või piirkondlikud kõneomadused
- Hääle tekstuur, sealhulgas pehmus, karedus, hingeldavus või selgus
- Emotsioon ja meeleolu
- Kõnetempo ja rütm
- Roll, olukord ja esituse stiil
Kirjeldus peaks üldjuhul koosnema ühest kuni neljast selgest lausest ning vältima vastukäivaid juhiseid. Näiteks on aeglaselt ja meditatiivselt rääkiv unejutuvestja sidusam soov kui vastandlike juhiste, nagu „väga kiiresti“, „pikad pausid“ ja „äärmiselt rahulikult“, kombineerimine. Xiaomi soovitab kirjeldada ka häält ennast, mitte järeltöötlusefekte, nagu kaja, reverberatsioon, ekvaliseerimine või kompressioon.
Praktilise häälekirjelduse näide
Sobiv juhis võiks olla: „Sooja häälega eakas naine Põhja-Inglismaalt, kes räägib aeglaselt ja selgelt, hääles õrn naeratus, nagu vanaema, kes jutustab lapsele lohutavat unejuttu.“ Kaasnev kõnetekst peaks selle suunaga sobima. Vaikne unejutu monoloog sobib paremini kui energiline spordireportaaž.
Xiaomi dokumentatsiooni kohaselt toetatakse hiina- ja ingliskeelseid häälekirjeldusi. Valikuline parameeter optimize_text_preview võimaldab teenusel sihtteksti viimistleda; kui see on sisse lülitatud, võib Xiaomi dokumentatsiooni kohaselt assistendi sõnumi ära jätta.
Võimalused ja heliväljund
VoiceDesign on loodud sünteeskõne juhtimiseks loomulikus keeles, mitte üldotstarbeliseks teksti genereerimiseks. See võimaldab muuta tajutavat kõnelejat ja esituse viisi vanuse, soo, aktsendi, hääle tekstuuri, emotsionaalse tooni, tempo, rütmi ja konteksti toetatud kombinatsioonides.
Mudel genereerib heliväljundit. Xiaomi näidetes on voogedastusega ühilduvate päringute puhul dokumenteeritud levinud helivormingud, näiteks WAV ja PCM16. Dokumenteeritud PCM16 näide kasutab 24 kHz mono-PCM16LE-heli, mis võib olla kasulik rakendustes, mis vajavad tavapärast töötlemata heliesitust.
Mudeli dokumenteeritud konteksti pikkus on 8 192 tokenit ja väljundi maksimaalne pikkus 8 192 tokenit. Need piirangud puudutavad API-päringut ja genereeritud vastust, kuigi tegelik praktiline kõne pikkus võib sõltuda ka valitud helivormingust, päringu struktuurist ja teenuse käitumisest.
| Spetsifikatsioon | Dokumenteeritud väärtus |
|---|---|
| Teenusepakkuja | Xiaomi |
| Mudeli ID | mimo-v2.5-tts-voicedesign |
| Peamine sisend | Tekstiline häälekirjeldus ja sünteesitav tekst |
| Peamine väljund | Genereeritud kõneheli |
| Konteksti pikkus | 8 192 tokenit |
| Väljundi maksimum | 8 192 tokenit |
| Pildi-, video- või helisisend | Selle mudeli puhul dokumenteerimata; hääle kujundamine ei nõua heliviidet |
| Tekstiväljund | Ei ole mudeli peamine väljund; tegemist on kõnesünteesimudeliga |
API kasutamine ja voogedastuse käitumine
MiMo-V2.5-TTS-VoiceDesign on saadaval Xiaomi MiMo API kaudu, mitte eraldiseisva tarbijatele mõeldud häälekujundusrakendusena. API-d kirjeldatakse OpenAI-ga ühilduvana, kuid rakendused peavad siiski järgima Xiaomi mudelipõhist sõnumivormingut ja heliparameetreid.
Mudel pakub voogedastusega ühilduvat liidest, kuid seda ei tohiks segi ajada tõelise väikese latentsusega voogedastusega. Xiaomi praeguse kõnesünteesi dokumentatsiooni kohaselt võivad VoiceDesigni voogedastuspäringud töötada ühilduvusrežiimis ja tagastada tulemuse alles pärast järeldamise lõpetamist. Seetõttu peaks rakendus, mis vajab heliosi kohe kõne genereerimise ajal, käsitlema seda mudelit selle nõude jaoks sobimatuna.
See erinevus on oluline interaktiivsete assistentide, reaalajas dialoogi ja telefonilaadsete vestluste puhul. Liides võib küll voogedastusseadet aktsepteerida, kuid kasutuskogemus võib tegelikult ikkagi seisneda päringu esitamisele järgnevas ootamises, mitte järkjärgulises taasesituses.
Peamised tugevused ja piirangud
Milles mudel on tugev
- Tekstipõhine kohandamine: Arendajad saavad hääle määratleda ilma kõnelejat salvestamata või kindlast kataloogist otsimata.
- Lai väljenduslik kontroll: Häälekirjeldused võivad sisaldada aktsenti, vanust, emotsiooni, hääle tekstuuri, tempot, rütmi ja rolli.
- Sobib väljamõeldud häältele: See sobib hästi tegelaste, jutustamise, mängude, heliprototüüpide ja muude olukordade jaoks, kus originaalne hääl on täpsele koopiale eelistatav.
- Juurdepääsetav API töövoog: OpenAI-ga ühilduvat liidest võib olla lihtsam integreerida rakendustesse, mis kasutavad juba Chat Completionsi laadseid päringuid.
- Soodushind: Xiaomi kirjeldab TTS-i seeriat praegu piiratud aja jooksul tasuta kasutatavaks, kuid seda pakkumist ei tohiks pidada püsivaks hinnaks.
Olulised piirangud
- Heliviite põhist häälekloonimist ei ole: VoiceDesign ei klooni päris kõnelejat helinäidise põhjal. Xiaomi nimetab selle kasutusjuhtumi jaoks sobivaks sõsarmudeliks VoiceClone'i.
- Sisseehitatud häälevalikut ei ole: Mudel ei ole mõeldud stabiilse eelseadistatud häälte kataloogi pakkumiseks. Kui vaja on eelseadistatud hääli, on sobivam võrdlusmudel standardne MiMo-V2.5-TTS.
- Laulurežiimi ei ole dokumenteeritud: Standardse MiMo-V2.5-TTS-i puhul dokumenteeritud laulmisvõimalust siin ei toetata.
- Tegemist ei ole tõelise väikese latentsusega voogedastusega: Ühilduvusrežiimis voogedastus võib oodata järeldamise lõpetatud tulemust.
- Juhiste sidusus on oluline: Vastukäivad või ebamäärased kirjeldused võivad muuta soovitud hääle vähem etteaimatavaks.
- Piiratud modaalsuste ulatus: See on heli genereerimise mudel, mitte pildi-, video-, programmeerimis- või üldine tööriistade kasutamise mudel.
Järeldamine, programmeerimine ja tööriistade tugi
MiMo-V2.5-TTS-VoiceDesigni ei esitleta järeldamis- ega programmeerimismudelina. Selle eesmärk on teisendada tekst ja hääle esituse juhised kõneheliks. Xiaomi esitatud mudeliteave ei dokumenteeri selle mudeli puhul järeldamisvõimet, koodi genereerimist, funktsioonikutseid, veebiotsingut ega muid tööriistade kasutamise võimalusi.
See ei takista rakendusel kasutada skriptide või häälekirjelduste ettevalmistamiseks eraldi keelemudelit, enne kui need VoiceDesignile saadetakse. See tähendab siiski, et kavandamist, programmeerimist ja tööriistade kasutamist tuleks käsitleda väliste rakenduse komponentidena, mitte kõnemudeli enda võimalustena.
Hind, kiirus ja kulud
Xiaomi loetleb mudeli praegu piiratud aja jooksul tasuta kasutatavaks. Esitatud dokumentatsioonis ei ole kehtestatud püsivat tasulist tokenipõhist hinda, seega peaksid arendajad pikaajalise kulumudeli kavandamisel kontrollima MiMo praegust hinnalehte.
Dokumenteeritud teenusepiirangud on 100 päringut minutis ja 10 miljonit tokenit minutis. Need on päringumäärade piirangud, mitte genereerimiskiiruse garantii. Toimetuslikus mõttes on mudeli peamine kulueelis selle praegune sooduspakkumine, samal ajal kui peamine töökorralduslik kompromiss seisneb selles, et ühilduvusrežiimis voogedastus võib takistada reaalajas häälesüsteemilt oodatavat väikese latentsusega kasutuskogemust.
Partiinarratsiooni, tegelaste heli ja loovkatsetuste puhul võib täieliku tulemuse ootamine olla vastuvõetav. Reaalajas vestluse puhul võivad kasutajad eelistada kõnesüsteemi, mis tagab heli järkjärgulise edastamise väikese latentsusega, isegi kui selle häälekujundus on vähem paindlik või hinnastruktuur teistsugune.
Parimad kasutusjuhud
MiMo-V2.5-TTS-VoiceDesign sobib hästi olukordadesse, kus rakendus vajab originaalset häält, mida saab kirjeldada sõnadega, mitte valida kindlast loendist. Sobivad kasutusjuhud on järgmised:
- Mängude ja interaktiivse ilukirjanduse tegelased
- Audioraamatute, taskuhäälingute ja dokumentaalfilmide laadne jutustamine
- Lühivideote pealelugemine
- Brändi- või väljamõeldud assistendid
- ASMR-i ja atmosfäärilise heli eksperimendid
- Õppe- ja ligipääsetavussisu
- Rollimängu- ja jutuvestmiskogemused
- Kiired loovprototüübid, mille puhul häälnäitleja salvestamine ei ole otstarbekas
See sobib vähem päris inimese täpseks jäljendamiseks, etteaimatavaks eelseadistatud häälte kataloogiks, laulmiseks või rakendusteks, mis nõuavad heli saabumist väikese latentsusega järkjärguliste osadena.
Millal see mudel valida
Vali MiMo-V2.5-TTS-VoiceDesign, kui peamine nõue on kohandatud hääle loomine kirjaliku kirjelduse põhjal. See on eriti atraktiivne juhul, kui projekt vajab mitut väljamõeldud häält, ebatavalisi aktsente või hääletekstuure või kiiret eksperimenteerimist ilma viitesalvestisi kogumata.
Vali selle asemel standardne MiMo-V2.5-TTS, kui olulisemad on sisseehitatud hääled või selle dokumenteeritud laulurežiim. Kaalu MiMo-V2.5-TTS-VoiceClone'i, kui eesmärk on reprodutseerida häält helinäidise põhjal. Reaalajas vestlustoote puhul hinda enne mudeli kasutuselevõttu, kas selle ühilduvusrežiimis voogedastuse käitumine vastab nõutavale reageerimiskogemusele.
Üldhinnang
MiMo-V2.5-TTS-VoiceDesignil on Xiaomi kõnemudelite valikus kindel roll: see seab esikohale äsja kujundatud hääle juhtimise loomulikus keeles, mitte hääle kloonimise, eelseadistatud hääle valimise või laulmise. Selle praktiline suurim eelis on võimalus liikuda kirjalikust loovkirjeldusest genereeritud kõneni ilma viitesalvestiseta. Kõige olulisem piirang on see, et API voogedastuse ühilduvus ei paku praegu sama väikese latentsusega käitumist nagu tõeline järkjärguline heli genereerimine.
Jutustamise, väljamõeldud tegelaste, taskuhäälingute, ASMR-i ja eksperimentaalse heliloomingu puhul võib see kompromiss olla õigustatud, eriti seni, kuni Xiaomi piiratud aja tasuta pakkumine kehtib. Reaalajas dialoogi, täpse kõneleja identiteedi või eelseadistatud hääle järjepidevuse korral võib teist tüüpi mudel paremini sobida.