Parakeet 1.1B RNNT Multilingual ASR

Mis on NVIDIA Parakeet 1.1B RNNT Multilingual?

NVIDIA Parakeet 1.1B RNNT Multilingual on automaatse kõnetuvastuse (ASR) mudel. ASR-süsteemid teisendavad kõneheli kirjalikuks tekstiks; need ei genereeri vestluslikke vastuseid, tõlgi teksti, sünteesi kõnet ega loo pilte. See mudel on mõeldud transkribeerimisülesanneteks, kus sisendiks on heli ja peamiseks tulemuseks tekst.

Mudel sisaldab ligikaudu 1,1 miljardit parameetrit ja kuulub NVIDIA Parakeet-RNNT mudelite perekonda. Selle arhitektuur põhineb FastConformeril ja rekurrentse närvivõrgu transduktoril (RNNT). Praktilises mõttes on see ülesehitus mõeldud kõne järkjärguliseks tuvastamiseks, mis toetab reaalajas või voogedastusega transkribeerimist, ilma et kogu salvestis tuleks enne töötlemise alustamist üles laadida.

NVIDIA sõnul treeniti mudelit enam kui 90 000 tunni kõneandmetega. See on teenusepakkuja väide treeningu kohta ning seda ei tohiks tõlgendada täpsuse garantiina iga aktsendi, salvestuskeskkonna, kõneleja või keele puhul.

Keeled, keele tuvastamine ja transkripti väljund

Mudel toetab 25 dokumenteeritud keelt ja lokaadivarianti. Loetellu kuuluvad inglise, hispaania, saksa, prantsuse, itaalia, araabia, jaapani, korea, portugali, vene, hindi, heebrea, hollandi, taani, norra bokmåli, norra nynorski, tšehhi, poola, rootsi, tai ja türgi keel. Piirkondlike variantide hulka kuuluvad näiteks koodid en-US, en-GB, es-US, es-ES, fr-FR, fr-CA, pt-BR ja pt-PT.

Parakeet kasutab universaalset tokeniseerijat, mis ühendab keelepõhised tokeniseerijad ühiseks sõnavaraks. See võimaldab ühel mitmekeelsel mudelil toetatud keeltega toime tulla, selle asemel et vajada iga keele jaoks täiesti eraldi mudelit. Mudeli vaikimisi NIM-profiil suudab kõneldava keele automaatselt tuvastada. Prompt-profiil võimaldab kliendil edastada keelekoodi, mis võib toetatud olukordades tuvastamist parandada, kuid eeldab, et rakendus teab keelt ette või valib selle eelnevalt.

Dokumenteeritud transkripti väljund on tõstutundlik tekst. See võib sisaldada kirjavahemärke, tühikuid ja apostroofe. NVIDIA NIM-i teostus toetab automaatset kirjavahemärkide lisamist ja suurtähtede kasutamist, kuigi mõnes juurutuskonfiguratsioonis tuleb kirjavahemärgid võib-olla eraldi lubada. Mudel ei loo heli, videot, pilte, manuseid ega üldotstarbelisi struktureeritud vastuseid.

NVIDIA NIM-i ja Riva juurutamine

Parakeet 1.1B RNNT Multilingual on saadaval allalaaditava NVIDIA NIM-i ja Riva kõnemudelina. NIM pakub toetatud NVIDIA GPU-de jaoks konteineripõhist juurutusviisi, samal ajal kui Riva pakub kõne- ja tehisintellektiteenuseid ning liideseid, mida kasutatakse kõnetuvastusrakendustes. NIM-i juurutus võimaldab kõnetuvastust Riva gRPC API-de kaudu.

See on taristukeskne mudel, mitte tüüpiline majutatud tekstigeneratsiooni lõpp-punkt. Esitatud uurimismaterjal ei kinnita mudeli jaoks kindlat minuti-, päringu- ega tellimuspõhist hinda. NVIDIA kirjeldab seda NIM-i kaudu allalaaditavana, kusjuures juurdepääsu- ja teenusekulud sõltuvad kohaldatavatest NVIDIA tingimustest, taristust ja kasutuskorraldusest. Seetõttu peaksid organisatsioonid arvestama sobiva GPU-võimsuse ja juurutustoimingute kuludega, mitte eeldama, et mudelil on lihtne avalik API-hind.

Dokumenteeritud NIM-i profiilide hulka kuuluvad vaikimisi profiil automaatse keeletuvastusega, prompt-profiil kliendi määratud keele jaoks ja Indic-profiil, mis on optimeeritud indikeelsete kasutusjuhtude jaoks. Indic-profiil toetab bengali, hindi ja tamili keelt. Esitatud dokumentatsioon märgib, et NIM-i juurutus võib dokumenteeritud profiilide puhul vajada ligikaudu 50 GB GPU-mälu. Täpsed ressursinõuded võivad väljalaske, profiili, pakettöötluse konfiguratsiooni ja juurutuskeskkonna järgi erineda.

Voogedastus ja jõudluse kompromissid

Voogedastus on mudeli üks olulisemaid praktilisi omadusi. Voogedastusega ASR-süsteem võib tagastada osalist või jätkuvat transkriptsiooni juba kõnelemise ajal. See on kasulik reaalajas subtiitrite, häälliideste, kõnede jälgimise ja interaktiivsete rakenduste puhul. See erineb valmis helifaili töötlemisest pärast salvestamise lõppu.

1,1 miljardi parameetriga mudel nõuab rohkem ressursse kui väga kerged kõnetuvastuslahendused. Selle suurem maht võib pakkuda mitmekeelsete tootmiskoormuste puhul kasulikku kvaliteedikompromissi, kuid suurendab võrreldes väiksemate mudelitega ka riistvara- ja käituskulusid. Esitatud uurimismaterjal ei paku universaalset latentsus- ega sõnaveamäära võrdlust, seega tuleks täpsuse ja kiiruse väiteid hinnata sihtkeelte, helitingimuste, GPU ja juurutusprofiili põhjal.

Toimetuslik hinnang annab mudeli kiirusele tulemuseks 8 punkti 10-st. See on voogedastuse toe ja optimeeritud NIM-i juurutuse põhjal antud toimetuslik hinnang, mitte NVIDIA avaldatud võrdlustulemus. Seda ei tohiks käsitleda mõõdetud latentsuse garantiina.

Peamised tugevused

• Lai mitmekeelne tugi: üks mudel toetab 25 dokumenteeritud keelt ja lokaadivarianti.
• Voogedastusega transkribeerimine: sobib rakendustele, mis vajavad tulemusi heli saabumise ajal.
• Automaatne keeletuvastus: vaikeprofiil suudab kõneldava keele tuvastada, ilma et klient peaks keelekoodi edastama.
• Loetav transkripti vormindus: väljund võib sisaldada suurtähti, kirjavahemärke, tühikuid ja apostroofe.
• Allalaaditav juurutus: organisatsioonid saavad mudeli toetatud NVIDIA GPU-taristul NVIDIA NIM-i ja Riva kaudu juurutada.
• Juurutusprofiilid: vaike-, prompt- ja Indic-konfiguratsioonid toetavad erinevaid keelevaliku ja optimeerimise vajadusi.

Piirangud ja toetamata võimalused

Parakeet on spetsialiseerunud kõnetuvastusele. See ei ole arutlusmudel, koodimudel, vestluslik keelemudel, tõlk, kõne tekstiks muutmise süsteem ega meedialoome mudel. Selle peamine sisend on tavalise teksti asemel heli ning see tagastab kõne transkriptsioonina teksti, mitte helina.

Esitatud mudeliteave ei täpsusta kontekstiakna pikkust ega väljundi maksimaalset tokenipiiri. Seetõttu ei ole need selle mudeli puhul kontrollitud ja sisukad spetsifikatsioonid samal viisil nagu tekstigeneratsioonimudeli puhul. Transkripti pikkus sõltub edastatud heli kestusest ja töötlemisest ning juurutuskonfiguratsioonist.

Riva 2.19 väljalaske dokumentatsioon märgib, et mitmekeelne RNNT-mudel ei toeta sõnade võimendamist ega pöördteksti normaliseerimist (ITN). Sõnade võimendamist kasutatakse tavaliselt selleks, et anda valitud sõnadele või nimedele tuvastamisel suurem prioriteet. ITN teisendab kõneldud vormid normaliseeritud kirjalikeks vormideks, näiteks vormindades kindlal viisil arve või kuupäevi. Rakendused, mis vajavad kumbagi funktsiooni, võivad vajada täiendavat järeltöötlust või teistsugust kõnetuvastuslahendust.

Juurutus nõuab ka märkimisväärset taristut. Vajalik on ühilduv NVIDIA GPU ning dokumenteeritud NIM-i profiilid võivad vajada ligikaudu 50 GB GPU-mälu. Seetõttu ei pruugi mudel sobida väikestele kohalikele süsteemidele, odavatele ainult protsessoril töötavatele juurutustele või rakendustele, kus taristu minimeerimine on olulisem kui mitmekeelse voogedastuse kvaliteet.

Kõige sobivamad kasutusjuhud

Parakeet 1.1B RNNT Multilingual sobib hästi mitmekeelsetele kõnest tekstiks teenustele, mis vajavad pidevat transkribeerimist ja juurutuse üle kontrolli. Sobivad näited on järgmised:

• koosolekute, sündmuste ja saadete reaalajas subtiitrid;
• mitmekeelsed häälagendid, mis vajavad heli tekstiks teisendavat esiotsa;
• klienditoe ja kontaktkeskuste kõnede transkribeerimine;
• koosolekute, intervjuude ja meedia transkribeerimine;
• kõneanalüüs ja otsitavad suulise sisu arhiivid;
• tootmisrakendused, mis vajavad NVIDIA riistvaral keeletuvastust ja voogedastusega kõnetuvastust.

Näiteks võib klienditoerakendus saata sissetuleva kõne heli voogedastusega Riva liidesele, lasta vaikeprofiilil keele tuvastada ja kuvada saadud tõstutundliku transkripti teenindajale. Teadaolevas keeles töötav kontrollitud juurutus võiks selle asemel kasutada prompt-profiili ja edastada keelekoodi selgesõnaliselt.

Millal seda mudelit valida?

Vali Parakeet 1.1B RNNT Multilingual siis, kui peamine vajadus on mitmekeelne voogedastusega transkribeerimine ja organisatsioon suudab hallata ühilduvat NVIDIA GPU-taristut. Mudel on eriti asjakohane juhul, kui automaatne keeletuvastus, allalaaditav juurutus ning NIM-i või Rivaga integreerimine on olulisemad kui minimaalne riistvaravajadus.

Väiksem ASR-mudel võib olla sobivam, kui rakendusel on ranged latentsuse-, mälu- või eelarvepiirangud ning vaja on ainult kitsamat keeltevalikut. Majutatud kõne-API võib olla eelistatav juhul, kui meeskond ei soovi hallata GPU-konteinereid, mudelite teenindamist ega võimsuse planeerimist. Sisseehitatud sõnade võimendamise või pöördteksti normaliseerimisega süsteem võib sobida paremini terminoloogiarikastele kõnekeskustele, nimede, numbrite ja struktureeritud ärikirjete töötlemiseks.

Parakeeti ei tohiks valida ka lihtsalt seetõttu, et tegemist on 1,1 miljardi parameetriga mudeliga. Parameetrite arv üksi ei näita transkriptsiooni täpsust ega kogukulu. Enne tootmises kasutuselevõttu testige tüüpilisi salvestisi iga sihtkeele, mikrofoniolude, aktsendi, taustamüra taseme ja kõnestiili puhul. Esitatud uurimismaterjal ei paku kindlat avalikku hinda ega universaalset täpsusvõrdlust, mistõttu tuleb need hindamised teha kavandatud keskkonnas.

Kontrollitud spetsifikatsioonid lühidalt

Kokkuvõttes tuleks NVIDIA Parakeet 1.1B RNNT Multilingualit käsitleda eelkõige juurutatava mitmekeelse kõnetuvastuskomponendina. Selle väärtus seisneb voogedastusega kõnetuvastuse, laia dokumenteeritud keeletoe, automaatse keeletuvastuse ning NVIDIA hallatavate juurutusvõimaluste ühendamises. Peamised kompromissid on GPU-nõuded, dokumenteeritud avaliku mudelihinna puudumine ning piirangud, nagu sõnade võimendamise ja pöördteksti normaliseerimise puudumine dokumenteeritud Riva teostuses.