Mis on Magpie TTS Multilingual?
NVIDIA Magpie TTS Multilingual on NVIDIA 357 miljoni parameetriga tekst-kõneks-mudel. See võtab sisendiks kirjaliku teksti ja genereerib kõneldavat heli, võimaldades tarkvaral lisada jutustust, häälliideseid, ligipääsetavusfunktsioone, dubleerimist või interaktiivseid tegelasi, ilma et iga toetatud keele jaoks tuleks eraldi kõnemudeleid hallata.
Praegu dokumenteeritud kontrollpunkt on v2607. NVIDIA levitab seda oma mudelite ökosüsteemi kaudu, sealhulgas NVIDIA Hugging Face'i organisatsioonis, NeMo Speechi töövoogudes, NVIDIA NIM-i juurutustes ja NVIDIA Buildi majutatud arendusliidese kaudu. NVIDIA kataloogis on selle roll spetsialiseeritud: erinevalt vestluslikust keelemudelist on Magpie TTS mõeldud kõne genereerimiseks pärast seda, kui rakendus on juba kindlaks määranud, mida öelda.
Näiteks võib hääleassistent kasutada vastuse kirjutamiseks eraldi keelemudelit ja edastada vastuse seejärel taasesituseks Magpie TTS Multilingualile. TTS-mudel ise ei paku üldist arutlusvõimet, veebotsingut, teksti genereerimist ega teadmiste hankimist.
Toetatud keeled ja häälevalikud
Magpie TTS Multilingual toetab araabia, hiina, inglise, prantsuse, saksa, hindi, itaalia, jaapani, korea, portugali, hispaania ja vietnami keelt. See muudab mudeli kasulikuks toodetele, mis peavad pakkuma mitmel turul samalaadset kõnekogemust.
NVIDIA NIM-i juurutus pakub lokaatidele vastavaid hääli ja mitut sisseehitatud kõnelejat. Dokumenteeritud kõnelejanimed on Aria, Jason, Leo, Sofia, Mia, Ray, Diego, Pascal, Isabela, Louise, HouZhen, Long, Siwei ja Phung. Täpne häälte saadavus sõltub keelest ja juurutuse versioonist; kõik kõnelejad ei ole iga lokaadi puhul saadaval.
Mudel suudab toetatud keelte vahel säilitada kõneleja identiteedi. Samuti toetab see valitud emotsionaalseid häälevariante ning võib ühendada ühe lokaadiga seotud hääle teises toetatud keeles oleva tekstiga, et luua aktsendiga kõnet. Need funktsioonid võivad olla abiks siis, kui rakendus vajab mitmekeelses kasutuskogemuses üht äratuntavat tegelast või jutustajat.
Kuidas mudel kõnet genereerib
Magpie TTS Multilingual kasutab kodeerija-dekodeerija-transformeri arhitektuuri. Praktilises mõttes töötleb kodeerija sisestatud teksti ning dekodeerija ennustab autoregressiivselt diskreetseid helikoodeki tokeneid, mis on kõne kompaktsed esitused. Seejärel muudab eeltreenitud närviline helikoodek need tokenid esitatavaks või salvestatavaks lainekujuliseks heliks.
Mudel kasutab kaheastmelist dekodeerimiskujundust. Kaadrite rühmitamine võimaldab põhidekodeerijal töödelda järjestikuste helikaadrite gruppe, samal ajal kui kerge lokaalne transformer täpsustab kaadritaseme ennustusi. Selline lahendus eraldab laiema järjestuse genereerimise üksikasjalikust kaadritaseme kõne taastamisest.
NVIDIA dokumenteerib tähelepanuprioriteedid, mis parandavad teksti ja kõne vahelist joondamist ning vähendavad keerukate sisendite puhul vahelejäänud, korduva või muul viisil ebatäpse sisu riski. Klassifikaatorivaba juhendamine pakub veel üht juhtimisvõimalust, millega tasakaalustada tingimuste järgimist ja genereerimise mitmekesisust.
Praeguse mudeli dokumentatsioon kirjeldab ka eelistusoptimeerimist ning IPA-põhist grafeemist-foneemiks-teisendust. IPA ehk rahvusvaheline foneetiline tähestik annab arendajatele võimaluse hääldust täpsemalt esitada. Kohandatud hääldusressursid võivad seega aidata nimede, erialaterminite või koodivahetuse puhul, kui tavaline teksti normaliseerimine ei pruugi anda soovitud hääldust.
Sisendid, väljundid ja genereerimise piirangud
Mudel võtab sisendiks teksti ja genereerib kõneldavat heli. Esitatud mudelispetsifikatsioonide kohaselt ei võta see vastu pildi-, heli- ega videosisendit ning selle peamine väljund ei ole tekst, pildid, video, muusika, manused ega struktureeritud andmed.
| Võimekus | Dokumenteeritud käitumine |
|---|---|
| Sisend | Tekst |
| Väljund | Kõneldav heli |
| keeled | 12 dokumenteeritud keelt |
| Standardne genereerimispikkus | Kuni 20 sekundit kõnet ühe genereerimise kohta |
| Pikk kõne | Liikuva akna režiim, dokumenteeritud beetaversioonina |
| Voogedastus | Toetatud NVIDIA TTS NIM-i kaudu |
| Võrguühenduseta järeldamine | Toetatud NVIDIA TTS NIM-i ja kohalike NeMo Speechi töövoogude kaudu |
| Hääle kloonimine | Nullnäitega hääle kloonimine ei kuulu praeguse kontrollpunkti juurde |
Teksti tuleb normaliseerida. Numbrid, lühendid, kirjavahemärgid ja muud kirjalikud vormid tuleb võib-olla enne sünteesi muuta kõnesõbralikumaks tekstiks. Pikkade lõikude puhul soovitab NVIDIA kasutada selget kirjavahemärgistust ja lausepiire. Liikuva akna lahendus võib pikendada genereerimist tavapärasest ühe genereerimise piirangust kaugemale, kuid beetaversiooni staatuse tõttu peaksid rakendused järjepidevust, hääldust ja üleminekuid hoolikalt testima.
Juurutamine NeMo, NIM-i ja majutatud juurdepääsu kaudu
Esitatud NVIDIA dokumentatsiooni järgi on Magpie TTS Multilingualiga töötamiseks kolm peamist võimalust.
- NeMo Speech: kohalik või ise hallatav töövoog järeldamiseks, treenimiseks ja kohandamiseks NVIDIA kõneraamistiku sees.
- NVIDIA NIM: juurutatav järeldamisteenus, mis toetab voogedastust ja võrguühenduseta kasutust, lokaadipõhiseid hääli ning pakisuuruste profiile.
- NVIDIA Build: majutatud arendusliides katsetamiseks. Esitatud uuringus kirjeldatakse seda arendusliidest tasuta kasutatavana, kuigi sellel võivad olla päringupiirangud.
NIM-i juurutamiseks on vaja ühilduvat NVIDIA GPU-d, mille Compute Capability on vähemalt 8.0. Seetõttu sobib mudel paremini NVIDIA riistvaraga serveritesse, tööjaamadesse ja kontrollitud rakenduskeskkondadesse kui suvalisele tarbijariistvarale. Konkreetse juurutuse puhul tuleb riistvara-, draiveri-, konteineri-, litsentsi- ja käitusnõudeid eraldi kontrollida.
Selle täpse mudeli avalikku tootmiskasutuse ühikupõhist hinda ei ole esitatud uuringus kinnitatud. Tasuta majutatud arendusjuurdepääsu ei tohiks tõlgendada kinnitatud piiramatu kasutuse või tootmishinnaplaanina. Organisatsioonid, kes kavandavad mahukat tootmiskasutust, peaksid kehtivad NVIDIA tingimused otse üle kontrollima.
Peamised tugevused ja kompromissid
Magpie TTS Multilinguali kõige selgem tugevus on keelevaliku ja ühtse häälekogemuse kombinatsioon. Toode saab toetada araabia, hiina, inglise, prantsuse, saksa, hindi, itaalia, jaapani, korea, portugali, hispaania ja vietnami keelt, ilma et iga keele jaoks tuleks valida täiesti erinev TTS-süsteem. Keeleülene kõneleja tugi võib samuti aidata säilitada ühtset brändi, jutustajat või väljamõeldud tegelast.
Voogedastus- ja võrguühenduseta režiimid pakuvad erinevaid integratsioonivõimalusi. Voogedastus võib interaktiivse assistendi puhul vähendada aega kõne alguseni, samas kui võrguühenduseta järeldamine on kasulik siis, kui rakendus vajab kohalikku töötlust, kontrollitud taristut või pakigeneerimist. Teksti normaliseerimine, hääldusressursid ja IPA-tugi annavad arendajatele rohkem kontrolli kui lihtne teksti-sisse, heli-välja liides.
Samas on mudel teadlikult kitsam kui üldine AI-süsteem. See ei arutle päringu üle, ei kirjuta vastust, ei kasuta tööriistu, ei sirvi veebi ega analüüsi faile. Kui toode vajab dialoogihaldust, sisu genereerimist, teabe hankimist või toiminguid, tuleks seda tavaliselt kasutada koos rakenduskihi või mõne teise mudeliga.
Ka 12 keele loend on piirang, mitte pelgalt soovituslik alguspunkt. Esitatud uuringu järgi ei toetata dokumenteeritud keelte hulgast välja jäävat teksti. Tavapärane 20-sekundiline genereerimispiir nõuab pikema kõne puhul täiendavat käsitlemist ning beetaversiooni pikkade kõnede genereerimist võib olla vaja testida loomuliku järjepidevuse tagamiseks. Lisaks ei paku praegune kontrollpunkt nullnäitega hääle kloonimist, mistõttu ei sobi see valikuks, kui kasutajad peavad looma kõnet suvalise võrdlussalvestise põhjal.
Võimekuse ülevaade
Magpie TTS Multilingualit tuleks hinnata kõne genereerimise komponendina, mitte suurte keelemudelite hindamiseks kasutatavate kriteeriumide järgi.
- Arutlusvõime: ei ole arutlusmudel. See sünteesib etteantud teksti ega lahenda iseseisvalt probleeme ega koosta plaane.
- Programmeerimine: ei ole mõeldud koodi genereerimiseks ega koodist arusaamiseks.
- Tööriistade kasutamine: loomulikku tööriista- ega funktsioonikutsete võimekust ei ole dokumenteeritud.
- Struktureeritud väljund: ei ole esmase mudeliväljundina rakendatav; väljund on heli.
- Voogedastus: toetatud NVIDIA TTS NIM-i kaudu.
- Kohandamine: NVIDIA dokumenteerib treenimist ja kohandamist NeMo Speechi kaudu, sealhulgas eelistusoptimeerimist ja kohandatud hääldusressursse.
- Kiirus ja hind: mudel on optimeeritud spetsiaalselt NVIDIA järeldamisvoogude jaoks ning selle kiirusele suunatust hinnatakse toimetuslikult, kuid esitatud uuringus ei ole toodud võrdlustesti ega kinnitatud tootmishinda märgi, sekundi või päringu kohta.
Need erinevused on olulised Magpie TTS-i mõne teise võimalusega võrdlemisel. Üldine keelemudel võib olla sobivam kõneldava sisu genereerimiseks, samas kui häälekloonimissüsteem võib olla parem juhul, kui rakendus vajab salvestise põhjal loodud kohandatud häält. Laiem kõneplatvorm võib olla sobivam ka siis, kui projekt vajab lisaks kõnesünteesile toetamata keeli või heli mõistmist.
Parimad kasutusjuhtumid
- Mitmekeelsed hääleagendid: genereerivad kõneldavaid vastuseid pärast seda, kui dialoogisüsteem on vastuse teksti loonud.
- Ligipääsetavus ja ekraanilugemine: muudavad liidese sisu või kirjalikud dokumendid toetatud keeltes kõneks.
- Audioraamatud ja jutustamine: loovad lühikeste osade, eelvaadete või mitmekeelsete väljaannete jaoks ühtse jutustuse.
- Dubleerimine ja lokaliseerimine: loovad lokaliseeritud kõneribasid, säilitades samal ajal valitud sisseehitatud kõneleja identiteedi.
- Digitaalsed inimesed ja interaktiivsed tegelased: annavad tegelasele korratava hääle mitmes toetatud lokaadis.
- Interaktiivne meedia: kasutavad voogedastuspõhist järeldamist rakendustes, kus kõne peaks algama enne kogu vastuse töötlemise lõppu.
Millal valida Magpie TTS Multilingual?
Vali Magpie TTS Multilingual siis, kui peamine vajadus on väljendusrikas mitmekeelne tekst-kõneks-süntees ning toetatud NVIDIA juurutuskeskkond sobib sinu taristuga. See sobib eriti hästi projektidele, kus väärtustatakse 12 keele tuge, sisseehitatud hääli, järjepidevat kõneleja identiteeti, voogedastust või võimalust kohandada hääldust NeMo Speechi kaudu.
Vali teist tüüpi mudel siis, kui peamine ülesanne on avatud vestlus, arutlemine, programmeerimine, pildi- või videogeneratsioon, kõnetuvastus või suvalise võrdluskõneleja põhjal hääle loomine. Magpie TTS võib olla selliste süsteemide üks komponent, kuid see ei asenda neid.
Samuti tasub kaaluda mõnda muud kõnelahendust siis, kui vajalik keel jääb NVIDIA dokumenteeritud keelte hulgast välja, tootmishind peab enne juurutamist olema prognoositav või kui pika kõne genereerimine ja hääle kloonimine on põhivajadused. Toetatud keelte ja NVIDIA GPU-taristu korral pakub Magpie TTS Multilingual siiski sihipärast lahendust ettevalmistatud tekstist väljendusrikka kõneni.