Mis on Microsoft MAI-Voice-2?
MAI-Voice-2 on Microsofti väljendusrikas tekst-kõneks mudel. See teisendab kirjaliku teksti kõneks, pöörates tähelepanu loomulikule tempole, toonile, helikõrgusele, rõhuasetustele, emotsionaalsele esitusele ja kõneleja identiteedi järjepidevusele. Praktilises mõttes on see loodud valmis või peaaegu valmis jutustuse tootmiseks, mitte lihtsalt teksti lugemiseks neutraalse arvutihäälega.
Mudel on saadaval Microsoft Foundry ja Azure Speechi kaudu. Microsoft positsioneerib seda pikkade jutustuste, audioraamatute, taskuhäälingusaadete, õppesisu, dokumentaalfilmide, pealelugemise, juurdepääsetavuslahenduste, assistentide ja bränditud heli jaoks. Selle peamine kompromiss on lihtne: MAI-Voice-2 seab täpsuse ja väljendusrikka juhtimise madalaima võimaliku latentsuse ette.
MAI-Voice-2 koht Microsofti häälemudelite valikus
MAI-Voice-2 kuulub Microsofti MAI-Voice'i perekonda ja on positsioneeritud suurema täpsusega valikuna väljendusrikka kõne genereerimiseks. Microsofti esitatud materjalides võrreldakse seda mudeliga MAI-Voice-2-Flash, mis sobib paremini olukordadesse, kus peamised prioriteedid on kiire reageerimine ja suure mahuga interaktiivsed vestlused.
See positsioneerimine muudab MAI-Voice-2 pigem professionaalse jutustuse ja pealelugemise süsteemiks kui kergekaaluliseks vestlushääle lõpp-punktiks. Sisulooja võib leppida ligikaudu ühesekundilise järeldusajaga 45 sekundi pikkuse genereeritud heli kohta, sest väljund peab kogu pika salvestise vältel kõlama ühtlaselt ja emotsionaalselt sobivalt. Reaalajas töötav assistent või kõnekeskuse süsteem võib selle asemel eelistada kiiremat mudelit, isegi kui see tähendab teistsuguseid kvaliteedi- või juhtimiskompromisse.
Peamised võimalused
- Väljendusrikka kõne genereerimine: Mudel genereerib kõnet loomuliku tempo, helikõrguse, rõhuasetuste, tooni ja emotsionaalse ulatusega.
- Esituse detailne juhtimine: Toetatud stiilide hulka kuuluvad erutus, kurbus, viha, hirm, sosistamine, karjumine, vaikne hääl ja üllatus. Dokumenteeritud stiilikomplekt sisaldab ka vihast, segaduses, sihikindlat, vastikust väljendavat, piinlikku, kartlikku, õnnelikku, lootusrikast, armukadedat, rõõmsat, kahetsevat, kergendunud ja muid väljendusrikkaid variatsioone.
- Pikkade tekstide järjepidevus: Microsofti sõnul säilitab mudel kõneleja identiteedi ja stabiilse häälekvaliteedi audioraamatutes, loengutes, taskuhäälingusaadetes, kursustel ja muus pikemas sisus.
- Mitmekeelne süntees: See toetab enam kui 15 keelt ja 18 lokaati, sealhulgas inglise, saksa, prantsuse, itaalia, hindi, hispaania, portugali, korea, hiina, türgi, vene, tai, hollandi, rumeenia ja ungari keelt.
- Keelte vahetamine: Microsoft teatab valitud segakeelsete stsenaariumide toest, sealhulgas hindi-inglise ja hispaania-inglise keele kombinatsioonidele.
- Hääle suunamine: Lühikest võrdlussalvestist saab kasutada genereeritud hääle suunamiseks ilma tavapärase mudeli peenhäälestuseta. See võimalus on piiratud juurdepääsuga ning sellele kehtivad nõusoleku- ja autoriseerimisnõuded.
Sisendid, väljundid ja mudeli puuduvad funktsioonid
Peamine sisend on tekst. Piiratud juurdepääsuga hääle suunamise töövoos saab kasutada ka lühikest heli võrdlusklippi. Microsofti dokumentatsioon soovitab kohandatud hääle protsessi jaoks ligikaudu 5–60 sekundi pikkust võrdlussalvestist.
Otsene väljund on genereeritud kõneheli. MAI-Voice-2 ei ole üldotstarbeline keelemudel ning selle peamine mudeliväljund ei ole tekst, pildid, video, vektorrepresentatsioonid ega muusika. Samuti ei paku see üldist arutlusvõimet, programmeerimist, veebotsingut ega tööriistade või funktsioonide käivitamist. Rakendused, mis vajavad skriptide kirjutamist, dialoogi genereerimist, sisu kavandamist või muid keelemudeli ülesandeid, peavad need funktsioonid eraldi pakkuma eelneva mudeli või rakenduse töövoo kaudu.
Esitatud dokumentatsioonis ei ole avaldatud kontekstiakna ega maksimaalse väljundmärgendite arvu piirangut. Need keelemudelite mõõdikud ei kirjelda kuigi hästi ka kõnegeneratsiooni süsteemi. Olulisemad tootmispiirangud on hoopis esitatava teksti maht, heli kestus, toetatud keeled ja hääled, teenusepiirangud ning vajaliku Azure'i või Foundry ressursi olemasolu.
Keeled, lokaadid ja hääle stiilid
Microsoft kirjeldab MAI-Voice-2 kui mudelit, mis toetab vähemalt 15 keelt ja 18 lokaati. Dokumenteeritud tugi hõlmab Ameerika Ühendriikide ja Austraalia inglise keelt, saksa, prantsuse, itaalia ja hindi keelt, Euroopa ja Mehhiko hispaania keelt, Brasiilia ja Euroopa portugali keelt, korea, lihtsustatud hiina, türgi, vene, tai, hollandi, rumeenia ja ungari keelt.
Lokaatide tugi ei tähenda, et kõik hääled käituvad väljendusrikkuse poolest ühtemoodi. Saadaolevad hääled ja stiilid varieeruvad keele ja lokaadi järgi. Enne tootmises kasutatava hääle valimist peaksid meeskonnad sihtkeeles testima hääldust, nimesid, lühendeid, keelte vahetamist, emotsionaalset esitust ja pikkade tekstide järjepidevust. See on eriti oluline bränditud jutustuse puhul, kus tehniliselt toetatud lokaat võib siiski vajada toimetuslikku ülevaatust aktsendi ja häälduse kvaliteedi osas.
Hääle suunamine, nõusolek ja turvakontrollid
MAI-Voice-2 saab kasutada lühikest võrdlussalvestist, et luua heli, mis sarnaneb salvestisel oleva kõnelejaga. Seda kirjeldatakse sageli null-laskmisega hääle suunamisena, sest rakendus ei pea iga uue hääle jaoks mudelit eraldi peenhäälestama. See funktsioon võib olla kasulik heakskiidetud isiklike häälte, tegelaste, jutustamisstiilide või brändi hallatavate heliidentiteetide puhul.
Samas ei esitleta seda võimalust piiramatu hääle kloonimisena. Microsoft märgib, et isikliku hääle ja hääle suunamise kasutusõigus on piiratud ning nõutud on nõusoleku kaitsemeetmed. Tootmises tohib sünteesida ainult autoriseeritud ja litsentsitud hääli. Seetõttu peaksid organisatsioonid kavandama kõneleja autoriseerimise, nõusolekute dokumenteerimise, sisu ülevaatuse ja juurdepääsukontrolli, mitte käsitlema võrdlussalvestist iseenesest piisava loana.
Jõudlus ja hinnakujundus
Microsofti andmetel kulub 45 sekundi pikkuse heli genereerimiseks mudeli järeldusele ligikaudu üks sekund. See on kasulik tootmisele suunatud mõõdik: see näitab, et süsteem suudab pikki lõike genereerida taasesitusest märksa kiiremini, kuid seda ei positsioneerita MAI-Voice'i perekonna väikseima latentsusega mudelina. Tegelikule koguotsast lõpuni kuluvale ajale võivad lisanduda päringu töötlemine, järjekorras ootamine, heli töötlemine ja rakenduse töötlus.
Loetletud hind on 22 dollarit 1 miljoni märgi kohta. See on märgipõhine, mitte märgendipõhine hinnakujundus. Esitatud uuring ei sisalda eraldi kuutellimuse hinda, väljundi kestusel põhinevat tasu, konteksti piirangut ega garanteeritud teenusekvooti. Tegelik arveldus, piirkondlik kättesaadavus, konto nõuded ja Azure'i teenuse tingimused võivad erineda, seega tuleks kuvatud mudelihinda käsitleda dokumenteeritud hinnakirjahinnana, mitte kindla projekti kogumaksumuse lubadusena.
Peamised tugevused ja piirangud
Tugevused
- Väljendusrikkuse juhtimine: Emotsionaalsed ja esituse stiilid muudavad selle jutustamiseks ja isikupäraseks pealelugemiseks sobivamaks kui lihtsa neutraalse kõnesünteesi süsteemi.
- Sobivus pikkadele tekstidele: Kõneleja järjepidevus on oluline audioraamatute, kursuste, taskuhäälingusaadete ja dokumentaalfilmide puhul, kus märgatav hääle muutumine võib muuta muidu kasutuskõlbliku salvestise raskesti monteeritavaks.
- Lai mitmekeelne tugi: Dokumenteeritud keelte ja lokaalide valik toetab rahvusvahelisi sisutöövooge.
- Hääleidentiteedi võimalused: Piiratud juurdepääsuga võrdlussalvestisel põhinev suunamine võib toetada autoriseeritud hääli ilma tavapärase kõnelejapõhise peenhäälestuseta.
- Tootmisele suunatud väljund: Mudel on loodud suure täpsusega heli, mitte üldotstarbelise teksti genereerimise jaoks.
Piirangud
- See ei ole üldotstarbeline tehisintellektiassistent: See ei arutle ülesannete üle, ei kirjuta iseseisvalt skripte, ei genereeri koodi, ei sirvi veebi ega kasuta tööriistu.
- See ei sobi kõige paremini minimaalse latentsuse jaoks: Interaktiivsed rakendused, mis vajavad kohest suhtlusvoorude vahetust, võivad saada kasu mudelist MAI-Voice-2-Flash või mõnest muust väikese latentsusega kõnemudelist.
- Piiratud hääle suunamine: Kohandatud või isikliku hääle võimalused eeldavad toetatud juurdepääsu, Microsofti heakskiitu ja nõusoleku kaitsemeetmeid.
- Muutuv kättesaadavus: Hääled, keeled, kontonõuded ja Azure'i ressurssidele juurdepääs võivad sõltuda Microsofti kehtivast dokumentatsioonist ja piirkondlikust teenuse kättesaadavusest.
- Vajab kontrollimist: Enne avaldamist tuleks üle vaadata hääldus, emotsioonide tõlgendus, mitmekeelne esitus ja genereeritud sisu.
Parimad kasutusjuhud
MAI-Voice-2 sobib hästi olukordadesse, kus heli on kasutajakogemuse keskne osa ja kvaliteet on tähtsam kui kohene reageerimine. Sobivad rakendused on järgmised:
- Audioraamatute ja taskuhäälingusaadete jutustamine
- Dokumentaalfilmide, kursuste, loengute ja koolitussisu pealelugemine
- Brändi hallatav turunduslik pealelugemine
- Juurdepääsetavuse jutustus ja abistavad häälekogemused
- Õppe- ja meelelahutustegelased
- Pikk mitmekeelne sisu korduvate kõnelejatega
- Bränditud assistendid, kelle puhul on hääleidentiteet ja väljendusrikas esitus minimaalsest latentsusest tähtsamad
Näiteks võiks kursuse avaldaja kasutada paljudes õppetundides heakskiidetud jutustaja häält ning rakendada sissejuhatuste, hoiatuste, näidete või loosegmentide puhul erinevaid emotsionaalseid stiile. Taskuhäälingu töövoog võiks genereerida mustandjutustuse mitmes toetatud lokaadis ja suunata heli enne avaldamist inimliku ülevaatuse kaudu.
Millal valida MAI-Voice-2?
Vali MAI-Voice-2, kui vajad väljendusrikast ja suure täpsusega kõnet sisu jaoks, mis võib kesta minuteid või tunde, eriti juhul, kui oluline on kõneleja identiteedi järjepidevus ja mitmekeelne esitus. Selle märgipõhine hinnakujundus ja teatatud genereerimiskiirus võivad muuta selle partiitootmiseks praktiliseks, eeldusel et väljund vaadatakse üle ja vajalikud häälekasutusõigused on olemas.
Vali kiirem kõnevariant, sealhulgas Microsofti positsioneerimises nimetatud sõsarmudel MAI-Voice-2-Flash, kui rakendus sõltub kiirest vestlusvoorude vahetusest, suure mahuga kõnekeskuse suhtlusest või väga lühikesest reageerimisajast. Vali eraldi keelemudel, kui süsteem peab arutlema, teksti kirjutama või muutma, koodi genereerima, tööriistu kasutama või keerukat dialoogitöövoogu haldama. Paljudes rakendustes on kõige mõistlikum kasutada MAI-Voice-2 kõnekihina pärast seda, kui mõni teine süsteem on teksti loonud ja heaks kiitnud.
Kokkuvõte
Microsoft MAI-Voice-2 on spetsialiseeritud väljendusrikas tekst-kõneks mudel professionaalse kvaliteediga jutustuse ja bränditud heli jaoks. Selle eristuvad omadused on emotsionaalse esituse juhtimine, mitmekeelne tugi, kõneleja järjepidevus pikkades tekstides ja võrdlussalvestisel põhinev, piiratud juurdepääsuga hääle suunamine. See sobib vähem universaalseks vestlusmudeliks või valikuks, kus kõige olulisem on minimaalne latentsus. Kõige olulisemad kontrollid rakendamisel on keelte ja häälte kättesaadavus, nõusolek võrdlushääle kasutamiseks, märgipõhine kulu ning heli ülevaatamine enne avalikku või ärilist kasutust.