Mida Parakeet CTC 0.6B Vietnamese-English ASR teeb
Parakeet CTC 0.6B Vietnamese-English ASR on NVIDIA pakutav kõnest tekstiks teisendamise mudel. Selle peamine ülesanne on transkribeerida vietnami keeles kõneldut, sealhulgas heli, milles kõnelejad kasutavad ingliskeelseid sõnu või fraase. Seetõttu on see üldisest mitmekeelsest kõnetuvastussüsteemist sihitum: mudel on mõeldud eelkõige vietnami keelsele helile, milles esineb vietnami ja inglise keele koodivahetust, mitte kõigile keeltele või igat tüüpi kõneülesannetele.
Mudel võtab vastu heli ja tagastab teksti. See ei ole vestluslik keelemudel, kõnesünteesisüsteem, pildi- ega videomudel. Mudel ei loo algupäraselt heli, pilte, videot ega täidetavaid toiminguid. Praktiline tulemus on transkriptsioon, mida saab kasutada subtiitrites, otsitavates kõnesalvestustes, hääljuhtimisega liidestes, koosolekumärkmetes ja kõneanalüüsis.
NVIDIA avaldab kontrollpunkti oma Hugging Face'i organisatsiooni kaudu identifikaatoriga nvidia/parakeet-ctc-0.6b-Vietnamese. Vastav NVIDIA Speech NIM-i juurutuse identifikaator on parakeet-ctc-0.6b-vi. NVIDIA praeguses kataloogis kuulub see mudel juurutatavate automaatse kõnetuvastuse mudelite hulka, mitte üldotstarbeliste generatiivse tehisintellekti mudelite hulka.
Arhitektuur ja mudeli suurus
Mudel kasutab FastConformer-CTC arhitektuuri. FastConformer on tõhusa kõnetöötluse jaoks kohandatud kodeerija arhitektuur, samas kui CTC ehk connectionist temporal classification on treenimis- ja dekodeerimismeetod, mis teisendab akustilise info väljundmärkide või -tokenite jadaks, ilma et iga helikaadri jaoks oleks vaja eraldi joondatud transkriptsiooni.
NVIDIA andmetel on kontrollpunktil ligikaudu 600 miljonit parameetrit. Spetsialiseeritud kõnetuvastusmudeli kohta on seda palju, kuid parameetrite arvu ei tohiks tõlgendada tekstimudeli kontekstiakna ega näitajana selle kohta, kui palju heli saab alati ühe päringuga töödelda. Esitatud dokumentatsioonis ei ole määratud universaalset konteksti pikkust ega kindlat väljundtokenite ülempiiri. Dokumenteeritud NeMo töövoos sõltub heli maksimaalne kestus saadaolevast GPU-mälust.
Hugging Face'i mudelikaardi järgi sisaldab treeningmaterjal rohkem kui 2000 tundi vietnami keelt kõnelevat heli. NVIDIA NIM-i mudelikaardil esitatud hinnang on teistsugune: rohkem kui 4000 tundi. Neid arve esitatud allikates ei ühtlustata, mistõttu tuleks neid käsitleda pigem dokumentatsiooni või treeningandmete arvestuse erinevustena, mitte ühe lõpliku kogusummana.
Toetatud sisendid ja väljundid
Kohaliku NeMo järelduse dokumentatsioon toetab levinud helivorminguid, sealhulgas WAV-i, MP3-e, FLAC-i, OGG-d ja M4A-d. Dokumenteeritud NeMo töövoog nõuab monofonilist heli. Seetõttu peaksid arendajad enne tootmises kasutatavate salvestiste mudelile saatmist kontrollima kanalipaigutust ja heli eeltöötlust.
Väljund on tekstitranskriptsioon. NVIDIA dokumenteeritud juurutuses on kirjavahemärgid toetatud ning NeMo järeldus võib pakkuda märgi-, sõna- ja segmenditaseme ajatempleid. Ajatemplid on kasulikud subtiitrite loomiseks, helis navigeerimiseks ja transkriptsioonide salvestistega sünkroonimiseks, kuid nende täpne käitumine sõltub järelduse teest ja konfiguratsioonist.
NVIDIA Speech NIM toetab nii võrguühenduseta kui ka voogedastusega transkriptsiooni. Võrguühenduseta järeldus sobib juhul, kui täielik salvestis on juba olemas ning oluline on läbilaskevõime või paketttöötlus. Voogedastus on mõeldud rakendustele, mis vajavad osalisi tulemusi inimese kõne ajal, näiteks häälabilistele, otse subtiitritele või vestlusliidestele. NIM-i dokumentatsioon loetleb ka väikese latentsusega voogedastuse ja voogedastuse läbilaskevõime profiilid.
| Võimekus | Toetatud või dokumenteeritud käitumine |
|---|---|
| Peamine sisend | Heli |
| Dokumenteeritud kohalikud vormingud | WAV, MP3, FLAC, OGG ja M4A |
| Peamine väljund | Tekstitranskriptsioon |
| keeled | Vietnami ja inglise keel, sealhulgas koodivahetusega kõne |
| Kirjavahemärgid | Toetatud dokumenteeritud NIM-i juurutuses |
| Ajatemplid | Märgi-, sõna- ja segmenditaseme ajatemplid on saadaval toetatud NeMo järeldusteede kaudu |
| Järeldusrežiimid | Võrguühenduseta ja voogedastus NVIDIA Speech NIM-i kaudu |
Kohalik NeMo ja NVIDIA Speech NIM-i juurutus
Mudelit saab kasutada peamiselt kahel viisil. Arendaja võib kontrollpunkti alla laadida ja käitada seda kohapeal NVIDIA NeMo abil või juurutada selle NVIDIA Speech NIM-i kaudu. Kohalik lahendus annab organisatsioonile otsesema kontrolli järelduskeskkonna üle ning sobib meeskondadele, kes loovad enda hallatavaid transkriptsioonitöövooge. NVIDIA loetleb NeMo integratsiooni jaoks Linuxi ja NVIDIA GPU-de ühilduvuse.
NIM pakendab mudeli operatiivseks juurutamiseks sobivamasse vormi ning toetab nii võrguühenduseta kui ka voogedastusega teenindusprofiile. NVIDIA pakub mudelit ka oma mudeliplatvormil hostitud API kaudu, kuid hostitud päringutele võivad kehtida kiiruspiirangud. Uuringus ei esitata mudelipõhist tasulise API hinda ega garanteeritud teenusekvooti.
Valikulised NIM-i profiilid võivad lisada Silero kõneaktiivsuse tuvastuse ja Sortformeri kõnelejate diariseerimise. Kõneaktiivsuse tuvastus aitab kindlaks teha helivoo osad, mis sisaldavad kõnet, samas kui kõnelejate diariseerimine püüab kõnelejaid üksteisest eristada. Need on ASR-teenuse ümber kasutatavad juurutusvalikud, mitte Parakeeti kontrollpunkti enda täiendavad algupärased väljundmodaalsused. Neid ei tohiks käsitleda tõendina, et baasmudel mõistab iseseisvalt kõnelejaid täielikult.
Jõudlus, kiirus ja kuluga seotud kaalutlused
NVIDIA ASR NIM-i jõudlusdokumentatsioonis esitatud keskmine sõnavigade määr FLEURS-i vietnami keele testikomplektil on 8,58. See on teenusepakkuja esitatud tulemus kindla hindamise ja juurutuskonteksti kohta, mitte garantii iga salvestise jaoks. Tuvastuskvaliteet võib varieeruda aktsendi, mikrofoni, taustamüra, kõnestiili, nimede, tehnilise sõnavara ja ingliskeelse koodivahetuse hulga tõttu.
Juurutuse seisukohast on mudeli peamine kompromiss spetsialiseerituse ja ulatuse vahel. Vietnami ja inglise keele ASR-i kontrollpunkt võib sobida paremini kui lai mitmekeelne või üldotstarbeline mudel, kui töökoormus keskendub nendele keeltele. Selle sihitud otstarve ja ligikaudu 600 miljoni parameetri suurus võivad muuta kohaliku juurutuse praktilisemaks kui palju suurema üldmudeli kasutamise, kuigi tegelik kiirus ja kulu sõltuvad GPU-st, heli kestusest, pakettide suurusest ja teeninduse konfiguratsioonist.
Esitatud uuringus ei avaldata selle mudeli tavapärast minuti-, tokeni- ega päringupõhist hinda. Peamine levitamisviis on allalaaditav kontrollpunkt, kuid saadaval on ka NVIDIA NIM-i juurutus ja hostitud proovikasutus. Seetõttu võivad isemajutatud kasutuse hindamisel olla GPU-de, salvestusruumi, käitamise ja ribalaiuse kulud olulisemad kui mudelitaseme tokenihind. Hostitud kasutusele võivad kehtida kiiruspiirangud.
Peamised tugevused ja piirangud
Tugevused
- Spetsialiseerumine vietnami ja inglise keelele: Mudel on mõeldud konkreetselt vietnami keelse kõne jaoks, milles esineb inglise keele koodivahetust — see on levinud vajadus, millele lai mitmekeelne süsteem ei pruugi keskenduda.
- Paindlik juurutus: Kontrollpunkti saab kasutada kohapeal NeMo abil, samal ajal kui Speech NIM toetab võrguühenduseta ja voogedastusega teenindust.
- Kasulik transkriptsiooni metaandmestik: Toetatud järeldusteed võivad pakkuda märgi-, sõna- ja segmenditaseme ajatempleid ning dokumenteeritud NIM-i juurutus toetab kirjavahemärke.
- Tootmiskasutusele suunatud teenindusvalikud: NIM-i profiilide hulka kuuluvad võrguühenduseta, väikese latentsusega voogedastuse ja voogedastuse läbilaskevõime režiimid koos valikuliste kõneaktiivsuse tuvastuse ja diariseerimise komponentidega.
- Allalaaditavus: Organisatsioonid saavad hinnata enda hallatavat töövoogu, selle asemel et sõltuda täielikult kaugjuhitavast keele-API-st.
Piirangud
- Piiratud keeleulatus: See on optimeeritud vietnami keele ja inglise keele koodivahetuse jaoks, mitte laiaulatuslikuks mitmekeelseks transkriptsiooniks.
- Ainult helisisend: Dokumenteeritud mudelisisendina ei aktsepteeri see teksti, pilte ega videot ega genereeri kõnet ega muud mittetekstilist meediat.
- Riistvarast sõltuv kestus: NeMo maksimaalne helikestus sõltub saadaolevast GPU-mälust. Esitatud uuringus ei ole määratud üht universaalset maksimaalset kestust.
- Sisendi ettevalmistamise nõuded: Dokumenteeritud NeMo töövoog nõuab monofonilist heli, mistõttu võivad stereosalvestised vajada eeltöötlust.
- Erimärkide käsitlemine: Mudelikaardil märgitakse, et erimärke ei käsitleta.
- Üldise arutlemise või programmeerimise jaoks sobimatu: See transkribeerib kõnet ning seda ei tohiks valida koodi genereerimiseks, arutlusülesanneteks, tööriistade kutsumiseks ega tekstipõhise töövoo automatiseerimiseks.
- Dokumentatsiooni erinevus: Hugging Face'i ja NIM-i mudelikaartidel avaldatud treeningtundide hinnangud erinevad, mistõttu tuleks hindamisel kasutatava täpse kontrollpunkti ja juurutuse versioon üle kontrollida.
Millal seda mudelit valida
Vali Parakeet CTC 0.6B Vietnamese-English ASR siis, kui peamine vajadus on vietnami keelse kõne transkribeerimine, eriti juhul, kui salvestised sisaldavad ingliskeelseid tootenimesid, tehnilisi termineid või vestluslikku koodivahetust. See sobib hästi Vietnami häälabilistele, subtiitrite töövoogudele, kõneanalüüsile, otsitavatele salvestistele ja enda hallatavatele transkriptsiooniteenustele.
See on eriti sobiv siis, kui oluline on juurutuse paindlikkus. Meeskond saab allalaaditavat kontrollpunkti NeMo abil kohapeal katsetada või kasutada NIM-i, kui vaja on NVIDIA hallatavas vormingus teenindust koos voogedastus- ja võrguühenduseta profiilidega. Ajatemplite tugi on väärtuslik, kui transkriptsioon peab jääma lähteheliga sünkroonituks.
Teine kõnetuvastusvõimalus võib olla sobivam juhul, kui rakendus vajab paljusid keeli, mõnda muud keelt peale vietnami ja inglise keele, dokumenteeritud kindlat maksimaalset kestust või paremat tuge ebatavalistele helitingimustele. Üldine keelemudel sobib paremini transkriptsiooni kokkuvõtmiseks või teisendamiseks pärast tuvastamist, kuid see on eraldi töötlemisetapp, mitte Parakeet CTC enda võimekus. Kui vajalik väljund on tekstist kõne, on vaja kõnesünteesimudelit.
Litsents ja hinnastamine
NVIDIA märgib, et mudel on kasutatav ärilistel ja mitteärilistel eesmärkidel NVIDIA mudelilitsentsi tingimuste alusel. Enne toote levitamist või hostitud teenuse pakkumist peaksid kasutajad tutvuma konkreetse kontrollpunkti ja juurutuskorralduse suhtes kohaldatava litsentsiga.
Esitatud uuringus ei pakuta mudelipõhist avalikku korduv- ega tokenipõhist hinda. Mudelit pakutakse peamiselt allalaaditava juurutusvarana, samal ajal kui NVIDIA hostitud API võimaldab teenust proovida ja sellele võivad kehtida kiiruspiirangud. Kulude võrdlemisel tuleks avaldatud keelemudeli tokenihinna otsimise asemel hinnata GPU-nõudeid, eeldatavat helitundide arvu, samaaegsust, voogedastuse latentsust ja käitamise üldkulusid.
Kokkuvõte
Parakeet CTC 0.6B Vietnamese-English ASR on NVIDIA sihitud kõnetuvastuse kontrollpunkt vietnami keele esmatähtsusega heli jaoks, milles esineb inglise keele koodivahetust. Selle olulisemad praktilised eelised on kohalik allalaaditav kasutus, NVIDIA Speech NIM-i tugi võrguühenduseta ja voogedastusega järelduseks, kirjavahemärgid ning ajatemplite võimalused toetatud NeMo töövoogudes. Piirangud on sama selged: see ei ole üldotstarbeline tehisintellektimudel, selle helikestuse piir sõltub GPU-mälust ning see ei ole mõeldud laia mitmekeelse katvuse ega mittetekstilise sisu genereerimiseks.