Mis on NVIDIA Background Noise Removal?
NVIDIA Background Noise Removal (BNR) on heli täiustav mudel, mis on loodud soovimatu keskkonnamüra vähendamiseks kõnesalvestistes ja otseülekannetes. Selle väljund on puhastatud heli, mitte transkriptsioon ega sünteesitud hääl. Seetõttu võib mudelit kõige paremini käsitleda kõnemüra vähendamise komponendina, mille saab paigutada enne järgmist heli- või kõnetöötlusetappi.
NVIDIA nimetab praeguseks mudeliks BNR v2.1. See on saadaval NVIDIA NIM-i kaudu, mis pakendab järeldamise juurutatavaks mikroteenuseks, ning on integreeritud ka NVIDIA Maxine Audio Effectsiga. Mudel põhineb SEASR-i arhitektuuriga seotud jääk-konvolutsioonilisel rekurentsel närvivõrgul. Praktilises mõttes eraldavad selle konvolutsioonilised komponendid kasulikke helimustreid, samal ajal kui rekurentne töötlus aitab modelleerida kõne ja müra muutumist ajas.
BNR on mõeldud kõne arusaadavuse parandamiseks mürarikastes tingimustes. See võib aidata kuulajatel vestlust paremini mõista ning pakkuda automaatse kõnetuvastuse süsteemidele puhtamat sisendit. Tuvastustäpsuse võimalik paranemine sõltub salvestisest ja järgmisest tuvastussüsteemist, mistõttu tuleks seda kontrollida rakendusepõhiste testidega, mitte eeldada.
Toetatud heli- ja töötlusrežiimid
Kontrollitud NIM-i sisendi- ja väljundvorming on ühemõõtmeline PCM F32 heli. BNR toetab kahte diskreetimissagedust: 16 kHz ja 48 kHz. Väljund jääb sisendi diskreetimissagedusel PCM F32 heliks.
| Spetsifikatsioon | Toetatud käitumine |
|---|---|
| Sisendi tüüp | Ujukomaarvuline PCM-heli, täpsemalt F32 |
| Väljundi tüüp | Mürast puhastatud PCM F32 heli |
| Diskreetimissagedused | 16 kHz ja 48 kHz |
| Töötlusrežiimid | Voogedastus ja tehingupõhine töötlus |
| Väljundi modaalsus | Ainult heli |
Voogedastusrežiim töötleb heli pidevalt väikeste tükkidena. See sobib rakendustele, kus puhastatud signaali on vaja ajal, mil vestlus, ülekanne või salvestus alles toimub. Tehingupõhine režiim töötleb terviklikku helifaili ning sobib paremini võrguühenduseta täiustamiseks või failipõhisteks töövoogudeks.
Toetatud diskreetimissagedus ja PCM-vorming on rakendamise nõuded, mitte valikulised soovitused. Heli, mis valitud profiiliga ei ühti, tuleb enne järeldamist võib-olla teisendada. Arendajad peaksid voogedastuspõhise müravähenduse otserakendusse integreerimisel arvestama ka puhverdamise ja latentsusega.
Millist müra saab BNR vähendada?
NVIDIA dokumentatsioon loetleb laia valiku toetatud taustamüra kategooriaid. Näited hõlmavad kliimaseadmeid, ventilaatoreid, klaviatuure, hiireklõpse, liiklust, vihma, ehitustegevust, rahvahulki, teisi kõnelejaid, lemmikloomi, kodumasinaid, sireene ja veemüra.
Need näited kirjeldavad müra, mille töötlemiseks mudel on loodud, kuid ei taga selle täielikku eemaldamist igast salvestisest. Tulemus võib varieeruda sõltuvalt helitugevusest, kaugusest mikrofonini, kõne ja müra kattumisest, ruumi akustikast ning algse signaali kvaliteedist. Eriti vali või sageduselt kõnega sarnane müraallikas võib osaliselt kuuldavaks jääda ning liiga agressiivne töötlus võib mõjutada mõningaid kõne omadusi.
Kõnetuvastuse töövoogudes saab BNR-i kasutada eeltöötlusetapina enne transkribeerimist või hääleanalüütikat. Inimkuulamise puhul võib see muuta konverentsikõne, otseülekande, intervjuu või välisalvestise hõlpsamini jälgitavaks. Kui loomulik atmosfäär on oluline, näiteks dokumentaalfilmide tootmisel või asukohas salvestamisel, tuleks müravähenduse taset hoolikalt hinnata, mitte automaatselt maksimeerida.
Arhitektuur ja GPU-põhine juurutamine
NVIDIA kirjeldab BNR-i jääk-konvolutsioonilise rekurentse närvivõrguna, milles järjestikust modelleerimist rakendatakse kodeeritud latentsele esitusele. Mudel sisaldab ligikaudu 60 miljonit parameetrit. See on üldotstarbelise keele- või multimodaalse mudeli asemel spetsiaalselt heli täiustamiseks loodud arhitektuur.
NIM-i teostus on mõeldud NVIDIA GPU-de kiirendatud järeldamiseks, kasutades CUDA-t, TensorRT-d ja Tritonit. NVIDIA loetleb Turingi, Ampere'i, Lovelace'i, Hopperi ja Blackwelli GPU-mikroarhitektuuride toe. NIM-i juurutamise dokumentatsioon keskendub Linuxile koos Dockeriga. NVIDIA Maxine Audio Effectsi dokumentatsioon kirjeldab ka Windowsi tuge ühilduvate GPU-arhitektuuride korral, kuid täpsed nõuded sõltuvad valitud integratsioonist.
BNR-i mudeliprofiilid
NVIDIA NIM-i profiilidokumentatsioon eristab 16 kHz ja 48 kHz heli profiile. Profiilitabel sisaldab toetatud diskreetimissageduste jaoks kergekaalulisi v1- ja täiustatud v2-valikuid, samal ajal kui praegune mudelikaart nimetab mudeliversiooniks BNR v2.1. Need profiilisildid tähistavad juurutusvalikuid, mitte eraldi üldotstarbelisi tooteid.
Praktiliselt tähendab see, et juurutamise kavandamisel tuleb valida õige diskreetimissageduse profiil ning tasakaalustada ressursikulu soovitud mudelikonfiguratsiooniga. Esitatud uurimismaterjal ei paku üht universaalset latentsusnäitajat, GPU-mälunõuet ega läbilaskevõime võrdlustulemust, seega tuleks need väärtused mõõta sihtriistvaral ja tegeliku töökoormusega.
Piirangud, hinnastamine ja saadavus
NVIDIA esitleb BNR-i allalaaditava tasuta lõpp-punktina, millele kohaldub NVIDIA Open Model License. See tähendab, et esitatud teabe põhjal on mudel ise saadaval ilma märgitud mudelitasuta. Majutatud järeldamise juurdepääs, API nõuded, pilvetaristu ja käituskulud on eraldi küsimused. Majutatud töövoog võib nõuda NVIDIA API-võtit ning sellele kohalduvad NVIDIA asjakohased teenusetingimused.
Majutatud Try API dokumentatsioon määrab näidiskliendi töövoo sisendi suuruse piiriks 35 MB ja kestuse piiriks kuus minutit. Neid piiranguid ei tohiks automaatselt käsitleda kõigi isemajutatud juurutuste üldiste piirangutena. Isemajutatud NIM-i paigaldusel võivad konfiguratsioonist, salvestusruumist, päringute töötlemisest ja olemasolevatest GPU-ressurssidest sõltuvalt olla teistsugused praktilised piirangud.
Esitatud uurimismaterjalis ei ole määratud avalikku majutatud järeldamise päringu-, minuti- ega korduvtasu. Seetõttu ei saa olemasoleva teabe põhjal BNR-ile kinnitatud majutatud hinda määrata. Selle peamine kulude jaotuse küsimus on hoopis arhitektuuriline: isemajutus väldib märgitud mudelitasu, kuid nõuab ühilduvat NVIDIA GPU-taristut ja sellega seotud käitusressursse.
Mida BNR ei paku
BNR ei ole keelemudel ega paku arutlemist, kodeerimist, teksti genereerimist, transkribeerimist ega funktsioonide ja tööriistade kutsumist. Esitatud spetsifikatsiooni kohaselt ei võta see toetatud mudelisisendina vastu teksti, pilte ega videot. Selle väljund on mürast puhastatud heli, mitte tekst, pildid, video, muusika ega sünteesitud kõne.
Kontekstiakent ega maksimaalset väljundtokenite piirangut ei ole, sest mudel ei genereeri tokeneid. Samuti ei ole toetatud võimalustena nimetatud JSON-režiimi, struktureeritud tekstiväljundit, peenhäälestust, vahemällu salvestamist ega tavapärast pakkide API-t. Tehingupõhine töötlus võib käsitleda terviklikke helifaile, kuid seda ei tohiks segi ajada eraldi pakktöötluse API-ga.
Need erinevused on süsteemi valimisel olulised. BNR saab puhastada kõnetuvastile saadetavat heli, kuid ei teosta ise tuvastust. See võib vähendada kõnelejat ümbritsevat müra, kuid ei asenda kõnesüntesaatorit, häälemuundussüsteemi, muusikageneratsiooni mudelit ega üldotstarbelist heliredaktorit.
Peamised tugevused ja kompromissid
- Selgelt piiritletud eesmärk: BNR on spetsialiseerunud kõne müravähendusele, mistõttu on selle liides ja väljundkäitumine üldise heli- või multimodaalse süsteemiga võrreldes otsesemad.
- Sobivus reaalajas kasutamiseks: Voogedastuse tugi on oluline konverentside, ringhäälingu ja muude väikese latentsusega suhtlusvoogude puhul.
- Juurutamise paindlikkus: Mudelile pääseb ligi NVIDIA majutatud lahenduse kaudu või selle saab NIM-i abil juurutada ühilduvatele NVIDIA GPU-dele; Maxine pakub veel üht integratsioonivõimalust.
- Lai sihtmürade valik: NVIDIA dokumenteerib tavaliste sise-, välis-, mehaaniliste ja inimtekkeliste müraallikate toe.
- Sõltuvus riistvarast: NIM-i juurutamine nõuab ühilduvat NVIDIA GPU-taristut. Esitatud nõuete põhjal ei sobi BNR hästi ainult protsessoril põhinevaks juurutuseks.
- Piiratud ulatus: See toodab ainult puhastatud heli, mistõttu on transkribeerimiseks, analüütikaks, sünteesiks ja muudeks järgnevateks ülesanneteks vaja täiendavaid süsteeme.
- Kvaliteedi varieeruvus: Tugev müra, väga madal signaali-müra suhe ja ebatavalised akustilised tingimused võivad tulemust halvendada. Liiga agressiivne müravähendus võib muuta ka kõnet või atmosfääri.
Toimetuslikust vaatenurgast on BNR-i suurim väärtus selle kitsas fookuses ja otsetöötluse toes. Esitatud uurimismaterjali põhjal ei saa selle kiirust ega kulupositsiooni väljendada universaalse võrdlustulemusega. Andmebaasi hinnang annab kiirusele 9 punkti 10-st ja kulule 8 punkti 10-st, kuid need on toimetuslikud hinded, mitte NVIDIA avaldatud võrdlustulemused ega hinnad. Tegelik majanduslik tasuvus sõltub sellest, kas mudelit majutatakse või hallatakse ise, ning valitud GPU-st.
Millal valida NVIDIA Background Noise Removal?
Valige BNR siis, kui põhiprobleem on kõnet ümbritsev soovimatu taustheli ja rakendus saab kasutada NVIDIA GPU-taristut. See sobib hästi järgmisteks kasutusjuhtudeks:
- Reaalajas videokonverentsi- ja kõnesidesüsteemid
- Otseülekannete ja voogedastuse töövood
- Kõnetuvastuse eeltöötlus
- Hääleanalüütika mürarikastes keskkondades
- Intervjuude, koosolekute või välisalvestiste puhastamine
- Toetatud PCM-helifailide võrguühenduseta täiustamine
BNR sobib eriti hästi siis, kui eelistatakse ettearvatava käitumisega heli-heliks komponenti üldotstarbelisele mudelile. Voogedastuse tugi muudab selle interaktiivsete rakenduste jaoks asjakohasemaks kui ainult faile töötleva müravähendaja, samal ajal kui tehingupõhine režiim toetab järeltöötluse töövooge.
Millal võib mõni teine lahendus paremini sobida?
Kasutage koos BNR-iga kõnetuvastusmudelit, kui soovitud tulemus on transkriptsioon. Valige kõnesünteesi- või häälemuundussüsteem, kui vaja on genereeritud või muundatud kõnet. Üldine helitöötluslahendus võib olla sobivam juhul, kui rakendus peab säilitama või töötlema muusikat, atmosfääriheli või muud mittekõnelist materjali, mitte eelkõige parandama kõne selgust.
Protsessorikeskne või riistvarast sõltumatu müravähenduslahendus võib olla operatiivselt parem valik siis, kui ühilduvad NVIDIA GPU-d pole saadaval või kui töökoormus on GPU juurutamise õigustamiseks liiga väike. Samuti võib mõni teine müravähendaja olla eelistatav, kui testimine näitab, et sihtmüra ei käsitleta hästi või kui algse ruumiatmosfääri säilitamine on maksimaalsest kõne eraldamisest olulisem.
Enne tootmises kasutamist testige esinduslikke salvestisi mõlema toetatud diskreetimissagedusega, võrrelge vajaduse korral voogedastus- ja tehingupõhist käitumist ning mõõtke mõju järgmisena kasutatavale kõnetuvastile. See on eriti oluline kattuvate kõnelejate, tugeva taustamüra või ebatavalise akustikaga keskkondades salvestatud vestluste puhul.