Mis on NVIDIA Conformer-CTC Large (es)?
NVIDIA Conformer-CTC Large (es) on spetsiaalselt hispaania keele jaoks loodud kõnest tekstiks teisendamise mudel. NVIDIA NeMo keskkonnas on selle kanooniline kontrollpunkt nvidia/stt_es_conformer_ctc_large. NVIDIA pakub mudelit ka oma praeguste Riva ja NIM-i kõnetöötluslahenduste kaudu mudeliidentifikaatoriga conformer-ctc-asr; hispaaniakeelse Riva profiili tunnus on conformer-ctc-riva-es-us.
Mudel võtab sisendiks salvestatud või voogedastatava kõne ja koostab sellest tekstilise transkriptsiooni. See ei ole üldotstarbeline keelemudel, vestlusassistent, tõlk, tekstigeneraator ega kõnesünteesisüsteem. Selle ülesanne on kitsam: hispaania keeles räägitud kõne tuvastamine ja selle kirjalikuks tekstiks teisendamine.
Arhitektuur ja treenimise taust
Mudel kasutab Conformeri arhitektuuri koos ühendusist ajalise klassifitseerimisega (connectionist temporal classification, CTC). Conformer ühendab mehhanismid, mis tuvastavad nii heli lokaalseid mustreid kui ka pikema kõnelõigu vältel esinevaid seoseid. CTC võimaldab süsteemil siduda kõnekaadrid tekstiga, ilma et oleks vaja autoregressiivset dekoodrit, mis genereerib žetoone ükshaaval.
NVIDIA kirjeldab seda kontrollpunkti suure mudelina, millel on ligikaudu 120 miljonit parameetrit. Treenimisel kasutati umbes 1340 tunni mahuga hispaaniakeelset kõnekorpust, mis hõlmas andmeid kogumikest Common Voice 7.0, Multilingual LibriSpeech, VoxPopuli ja Fisher. Need arvud ja andmekogumite üksikasjad pärinevad teenusepakkuja või mudelikaardi spetsifikatsioonidest, mitte sõltumatutest toimetuslikest hinnangutest.
Sisendid, väljundid ja toetatud modaalsused
Dokumenteeritud NeMo töövoog kasutab 16 kHz monoheli, sealhulgas WAV-vormingus sisendit. Mudeli väljund on väiketähtedega hispaaniakeelne transkriptsioon, mille sõnade vahel on tühikud. Esitatud spetsifikatsioonid ei kirjelda kirjavahemärkide ja suurtähtede loomulikku lisamist baas-kontrollpunkti väljundisse, mistõttu võib viimistletud toimetusliku teksti jaoks olla vaja täiendavat töötlust.
| Võimekus | Toetatud käitumine |
|---|---|
| Peamine sisend | Kõne heli |
| Dokumenteeritud helivorming | 16 kHz monoheli, NeMo töövoos ka WAV-vorming |
| Peamine väljund | Väiketähtedega hispaaniakeelne tekstiline transkriptsioon |
| Voogedastus | Toetatud Riva/NIM-i juurutusprofiilide kaudu |
| Pildi-, video- või tekstigeneratsiooni sisend | Mudeli dokumenteeritud otstarbena ei ole toetatud |
| Heli genereerimine | Ei ole toetatud |
See on kõnetuvastusmudel, mitte multimodaalse arutlusvõimega mudel. Sellel on helisisend ja tekstiväljund, kuid see ei genereeri heli, pilte ega videot. NVIDIA esitatud materjalides ei ole määratud kontekstiakna suurust ega tekstiväljundi maksimaalset žetoonipiirangut; sellised keelemudelite piirangud ei ole selle akustilise kõnetuvastusmudeli puhul otseselt kohaldatavad.
Täpsus ja praktilised piirangud
Mudelikaardi järgi on loetletud 1.8.0 mudeliversiooni ahne dekodeerimise korral sõnaveamäärad järgmised: Common Voice 7.0 testkogumis 6,9%, Multilingual LibriSpeechi testkogumis 4,2%, VoxPopuli testkogumis 7,5% ja Fisheri testkogumis 18,5%. Sõnaveamäär mõõdab transkriptsioonivigu ning väiksem väärtus on parem. Need tulemused pärinevad NVIDIA dokumenteeritud hindamistest ja neid ei tohiks käsitleda konkreetse salvestuskeskkonna garantiina.
NVIDIA teatab ka mitme hindamiskogumi parematest tulemustest, kui kasutatakse Riva keelemudeli ümberhindamist. Ümberhindamine võib kasutada keelelist konteksti, et valida võimalike transkriptsioonide hulgast sobivaim, kuid see ei kaota vajadust hinnata süsteemi tegelikus juurutuses kasutatavate aktsentide, mikrofonide, sõnavara ja taustamüra põhjal.
Jõudlus võib halveneda tehnilise terminoloogia, kõnekeele ja selliste aktsentide puhul, mis on treeningandmetes alaesindatud. Fisheri hindamistulemus on teiste loetletud testkogumite tulemustest märgatavalt kõrgem, näidates, miks ühe kõnevaldkonna võrdlustulemust ei tohiks üldistada kõigile hispaania keelt kõnelevatele sihtrühmadele.
NVIDIA Riva dokumentatsioon näitab, et hispaaniakeelsete Conformer-CTC-L akustiliste mudelite läbilaskevõime on mõne muu keelemudeliga võrreldes suhteliselt väike ja latentsus suurem. See on oluline praktiline kompromiss: mudel võib sobida juhul, kui hispaaniakeelse transkriptsiooni kvaliteet ja NeMo/Riva töövoog on olulisemad kui maksimaalne töötlemiskiirus, kuid suure mahuga või latentsustundlikud juurutused peaksid mõõtma läbilaskevõimet sihtriistvaral.
Koht NVIDIA praeguses tootekataloogis
Mudelil on kaks tihedalt seotud kasutusviisi. NeMo pakub kontrollpunkti kohalikuks järeldamiseks, katsetamiseks ja peenhäälestuseks. Riva ja NIM pakuvad tootmiskõne tuvastuseks juurutusele suunatud pakendamist ja liideseid. NVIDIA dokumentatsioon loetleb hispaaniakeelse Conformer-CTC mudeli jaoks võrguühenduseta, voogedastuse ja voogedastuse läbilaskevõime juurutusprofiilid.
Hugging Face'i kontrollpunkt on mudelikaardi olekus märgitud pärandmudeliks, samal ajal kui NVIDIA NIM/Riva materjalides on vastav Conformer-CTC juurutus endiselt kättesaadavana loetletud. See eristus on oluline: praeguse tootmisviisi valimisel peaksid kasutajad kontrollima toetatud NIM-i või Riva versiooni ja profiili, mitte eeldama, et eraldiseisva kontrollpunkti olek kirjeldab kõiki juurutusvõimalusi.
NIM-i näited kasutavad NVIDIA Riva Pythoni klienti ja keelekoodi es-US. Täpsed töötingimused, toetatud profiilid ja ressursivajadus sõltuvad valitud juurutusrežiimist ja NVIDIA tarkvaraversioonist. Esitatud uuringus ei ole toodud universaalset riistvara miinimumnõuet, mis kehtiks iga paigalduse puhul.
NeMo peenhäälestus ja kohandamine
NeMo ühilduvus muudab kontrollpunkti kasulikuks ka väljaspool valmis transkriptsiooni. Meeskond saab seda kasutada kohalikuks järeldamiseks ja peenhäälestuseks, kui sihtaudios esineb treeningandmetest erinevat sõnavara, aktsente, kõnestiile või salvestustingimusi.
Peenhäälestus on kõige asjakohasem siis, kui üldine hispaania keele tuvastaja teeb teadaolevas valdkonnas korduvalt vigu, näiteks erialaterminite või organisatsioonisiseste salvestiste puhul. See ei lahenda automaatselt kõiki tuvastusprobleeme: kohandamisandmete kvaliteet ja esinduslikkus on endiselt olulised ning tootmiskeskkonna hindamisel tuleks kohandatud mudelit võrrelda algse mudeliga realistlike näidiste põhjal.
Hind ja juurdepääs
NVIDIA Conformer-CTC Large (es) kohta ei ole kontrollitud avalikku märgi-, minuti- ega korduvtasu põhist mudelihinda. Mudelit saab kasutada NeMo kontrollpunktina ning juurutada NVIDIA Riva või NIM-i kaudu, kuid NIM-i juurutusele ja majutatud API-juurdepääsule võivad kehtida eraldi NVIDIA tingimused, taristunõuded või litsentsikokkulepped.
Seetõttu ei tohiks seda mudelit hinnata väljamõeldud transkriptsioonihinna põhjal. Tegelik kulu sõltub valitud juurdepääsuteest, arvutusressurssidest, juurutuse mahust ning sellest, kas kasutatakse hallatud või ise hallatavat NVIDIA teenust. Kogukulu hindamisel peaksid meeskonnad kontrollima konkreetse juurutuse jaoks kehtivat NVIDIA pakkumist.
Võimekused ja kompromissid
Conformer-CTC Large (es) kohta ei ole dokumenteeritud üldist arutlusvõimet, programmeerimist, funktsioonikutseid, tööriistade kasutamist, JSON-režiimi ega struktureeritud väljundit. Selle tekstiväljund on transkriptsioonitulemus, mitte keelelise arutluse abil genereeritud vastus. Samuti ei ole dokumenteeritud kõne genereerimise ega tõlkimise funktsiooni.
Selle peamine kompromiss on spetsialiseeritus võrrelduna laiaulatuslikkusega. Spetsiaalne hispaaniakeelne kõnetuvastusmudel sobib kõne hispaaniakeelseks tekstiks teisendamise ülesandeks paremini kui üldine tekstimudel. Seevastu võib laiem kõne- või keeleprotsess olla sobivam juhul, kui rakendus vajab tõlkimist, kirjavahemärkide ja suurtähtede taastamist, kokkuvõtete koostamist, küsimustele vastamist või pärast transkriptsiooni vestluslikke vastuseid.
Riva/NIM-i profiilid lisavad juurutusvõimalusi, sealhulgas võrguühenduseta ja voogedastusrežiimi, kuid hispaaniakeelse Conformer-CTC-L profiili dokumentatsiooni järgi on selle läbilaskevõime väiksem ja latentsus suurem kui mõnel alternatiivil. Seetõttu on kõnekeskuste, reaalajas subtiitrite või suurte pakettkoormuste puhul hädavajalik võrdlustestimine. Mudeli sobivust tuleks hinnata nii sõnaveamäära kui ka tööparameetrite, näiteks latentsuse, läbilaskevõime, mälukasutuse ja kohandamiseks vajaliku töömahu põhjal.
Millal valida NVIDIA Conformer-CTC Large (es)?
- Vali see hispaaniakeelse kõne tekstiks teisendamiseks: See on spetsiaalselt hispaania keele jaoks treenitud ja toodab kõnest väiketähtedega hispaaniakeelset transkriptsiooni.
- Vali see NeMo töövoo jaoks: Kontrollpunkt toetab kohalikku järeldamist ja peenhäälestust, mis on kasulik uurimistöös ja valdkonnaspetsiifiliseks kohandamiseks.
- Vali see NVIDIA tootmisjuurutuseks: Riva ja NIM pakuvad võrguühenduseta, voogedastuse ja voogedastuse läbilaskevõime juurutusviise.
- Vali see siis, kui eelistad fookustatud akustilist mudelit: See on loodud transkriptsiooniks, mitte üldotstarbeliseks genereerimiseks, mistõttu sobib see paremini otsese kõnetuvastusülesandega.
Mõni teine lahendus võib olla sobivam, kui rakendus vajab väga väikest latentsust või suurt läbilaskevõimet, oluliselt teisi keeli, sisseehitatud kirjavahemärke ja suurtähti, tõlkimist või transkriptsioonijärgset arutlust. Laiem kõnetöötlus võib olla eelistatav ka siis, kui transkriptsioon on suurema assistendi- või dokumenditöötluse töövoo alles esimene etapp.
Kokkuvõte
NVIDIA Conformer-CTC Large (es) on fookustatud hispaaniakeelne kõnetuvastusmudel, mille dokumenteeritud töövoog kasutab 16 kHz monoheli, millel on ligikaudu 120 miljonit parameetrit ning mis toetab NeMo peenhäälestust ja Riva/NIM-i juurutusvõimalusi. Kõige paremini sobib see hispaaniakeelseks transkriptsiooniks NVIDIA-põhistes keskkondades, eriti siis, kui olulised on võrguühenduseta või voogedastusjuurutus ja mudeli kohandamine. Peamised tähelepanekud on väiketähtedega transkriptsiooniväljund, tundlikkus valdkonna ja aktsendi suhtes, kontrollimata avalik hinnastamine ning hispaaniakeelse Conformer-CTC-L juurutusprofiili puhul teatatud suurem latentsus või väiksem läbilaskevõime.