Mida Nemotron 3 Diarization teeb
Kõnelejate diariseerimine vastab küsimusele „kes millal rääkis?“ helisalvestises. NVIDIA Nemotron 3 Diarization täidab seda ülesannet, liigitades helikaadreid kuni kaheksa kõnelejak kanali aktiivsuse alusel. Seejärel saavad rakendused teisendada need arvulised ennustused segmentideks, näiteks speaker_0 räägib ajavahemikus 0,51–12,62 sekundit.
Mudel kuulub NVIDIA Nemotroni mudelite perekonda ja on saadaval avatud kaaludega mudelina kohalikuks või ise hallatavaks kasutuseks. See põhineb Sortformeri lähenemisel, mille puhul järjestatakse kõnelejakanalid selle järgi, millises järjekorras kõnelejad esimest korda ilmuvad. Selline ilmumisjärjekorral põhinev käitumine aitab säilitada kogu salvestise vältel järjepidevaid üldisi kõnelejasilte, ilma et oleks vaja eraldi kõnelejate permutatsioonide lahendamise etappi.
Mudeli väljund ei ole transkriptsioon ega tuvasta inimesi nime järgi. Kõnelejatega seostatud transkriptsioonide loomiseks peab süsteem ühendama diariseerimise ennustused automaatse kõnetuvastuse (ASR) mudeliga. NVIDIA kirjeldab ka lõimimist voogedastus-ASR-iga, et tuvastatud sõnadele saaks käimasoleva vestluse ajal määrata kõnelejasildid.
Põhispetsifikatsioonid
| Spetsifikatsioon | Kinnitatud üksikasjad |
|---|---|
| Pakkuja | NVIDIA |
| Mudelite perekond | Nemotron 3 |
| Mudeli tüüp | Helikaadrite klassifitseerimisele põhinev kõnelejate diariseerimise mudel |
| Parameetrid | Ligikaudu 100 miljonit |
| Sisend | 16 kHz, ühe kanaliga heli |
| Toetatud vormingud | WAV, FLAC, Opus ja MP3 |
| Jälgitavate kõnelejate maksimumarv | Kaheksa |
| Loomulik väljund | Kõnelejate aktiivsuse tõenäosused tensori kujuga [T, 8] |
| Väljundi vaikeeraldusvõime | 10 millisekundit |
| Litsents | OpenMDW 1.1 |
Mudel toetab seadistatavat väljundi eraldusvõimet 10 millisekundi kordsetena. See annab rakendustele kontrolli kõneleja aktiivsuse ennustuste ajalise detailsuse üle, kuigi suurem eraldusvõime ei tähenda automaatselt kõigis salvestistes täpsemaid kõnelejapiiride tuvastusi.
Voogedastuse järeldamine ja latentsus
Nemotron 3 Diarization suudab töödelda terveid salvestisi võrguühenduseta või töötada järk-järgult heli saabumise ajal. Selle voogedastuskujundus kasutab kõneleja saabumisjärjekorra vahemälu (Arrival-Order Speaker Cache), et säilitada varasematest lõikudest pärinevat kõnelejateavet. FIFO-järjekord edastab igale töötlemisetapile hiljutiste kaadrite konteksti, aidates süsteemil vestluse jätkudes kõnelejakanalite määranguid säilitada.
NVIDIA dokumenteerib sisendpuhvri konfiguratsioonid pikkusega 1,04 sekundit, 0,64 sekundit ja 0,32 sekundit järjest väiksema latentsusega töötluseks. Need näitajad kirjeldavad sisendpuhvri seadistust ega hõlma arvutusaega, mistõttu ei tohiks neid käsitleda täielike otsast lõpuni reageerimisaja võrdlusnäitajatena. Võrguühenduseta laadseks töötluseks, kus vahetute uuenduste asemel eelistatakse suuremat konteksti, on dokumenteeritud ka 30,4-sekundiline konfiguratsioon.
Juppidena järeldamine toetab salvestisi, millel puudub kindel maksimaalne kestus. Tegelikult sõltub kasutatav salvestise pikkus siiski rakenduse salvestus-, töötlemis- ja järeltöötluslahendusest. Mudeli kaheksa kõneleja piirang on endiselt oluline, kui kohtumisel või salvestisel osaleb korraga rohkem inimesi.
Arhitektuur ja väljundi käitumine
Dokumenteeritud arhitektuur sisaldab 31 kihiga Transformeri kodeerijat koos pöörlevate positsioonikodeeringutega, tunnuste kuhjamist, Conv1D ülesamplimist, kõneleja saabumisjärjekorra vahemälu ja FIFO-järjekorda. Need komponendid toetavad kaadritaseme klassifitseerimist, säilitades samal ajal teabe voogedastuslõikude vahel.
Loomulik tulemus on arvuline, mitte vestluslik. Iga ajaetapp sisaldab kaheksa kõnelejakanali aktiivsuse tõenäosusi. Järelkomponent saab rakendada lävesid ja segmentide ühendamise loogikat, et luua üldised sildid ja ajatemplid. Mudel ei tuvasta iseseisvalt, kas speaker_0 on Alice, klient või konkreetne töötaja.
Samuti ei paku see loomupäraselt automaatset kõnetuvastust, teksti genereerimist, kõnesünteesi, hääle teisendamist, heli genereerimist, kõneleja verifitseerimist ega biomeetrilist kõneleja tuvastamist. Need võimalused eeldavad eraldi mudeleid või rakendusteenuseid. See eristus on oluline: Nemotron 3 Diarization struktureerib kõne kõnelejate järgi, kuid ei selgita ega tuvasta kõne sisu.
Juurutamine ja integratsioonid
NVIDIA pakub mudelit Hugging Face'i hoidla kaudu NeMo, Safetensorsi ja GGUF-iga seotud vormingutes. Dokumenteeritud laadimis- ja integratsiooniteed hõlmavad NVIDIA NeMo Speechi, Transformersi ja NeMo-Speech.cpp-d. NeMo-Speech.cpp on mõeldud pakkuma kerget algupärast C++ käituskeskkonda kohalikeks diariseerimise ja transkriptsiooni töövoogudeks.
Dokumenteeritud juurutuse fookuses on NVIDIA GPU-kiirendusega Linuxi süsteemid, sealhulgas toetatud Ampere'i, Ada Lovelace'i, Hopperi ja Blackwelli GPU-d. Kasutajad peaksid oma riistvara ühilduvust ja jõudlust ise kontrollima. Esitatud uurimismaterjal ei sisalda sõltumatuid läbilaskevõime, reaalaja teguri, mälukasutuse ega täpsuse võrdlusnäitajaid, mistõttu ei tohiks neid näitajaid mudeli parameetrite arvu põhjal tuletada.
Esitatud mudeliteabe kohaselt toetatakse peenhäälestamist NeMo töövoo kaudu. See võib olla kasulik juhul, kui helitingimused erinevad oluliselt alusmudeli andmetes esindatud tingimustest, kuid uurimismaterjal ei täpsusta universaalset peenhäälestusretsepti, andmestikunõudeid ega eeldatavat paranemist.
Hinnakujundus ja kasutuskulud
Nemotron 3 Diarizationi ei kirjeldata mõõdetud kasutusega NVIDIA hallatava API-tootena, millel oleks märgipõhine hind. Esitatud teave määratleb selle avatud kaaludega mudelina, mis on mõeldud kohalikuks või ise hallatavaks juurutuseks, seega ei ole teatamiseks kinnitatud NVIDIA hallatava teenuse sisend- ega väljundhinda.
Selline hinnamudel võib olla atraktiivne töökoormuste puhul, mille jaoks on sobiv GPU-taristu juba olemas või mis vajavad kohalikku töötlust. „Avatud kaaludega“ ei tähenda siiski nullilähedasi kogukulusid. Käitajad peavad võib-olla tagama GPU-d, salvestusruumi, inseneritöö, seire ja heli töötlemise taristu. Tegelik kulueelis hallatava kõneteenusega võrreldes sõltub mahust, riistvara kasutusastmest ja käitamisnõuetest. Pakkuja avaldatud kulu tunni või salvestise kohta ei ole esitatud.
Tugevused ja piirangud
Millistes valdkondades on see tugev
- Voogedastuse tugi: Mudel sisaldab dokumenteeritud väikeseid sisendpuhvri seadistusi ja olekuhalduse komponente käimasolevate vestluste jaoks.
- Võrguühenduseta ja voogedastuse paindlikkus: Üks kontrollpunkt toetab nii terve salvestise töötlemist kui ka järkjärgulisi töövooge.
- Avatud kaaludega juurutus: Meeskonnad saavad kasutada toetatud kohalikke käituskeskkondi, selle asemel et sõltuda dokumenteeritud NVIDIA hostitud järeldamise lõpp-punktist.
- Kõnelejate järjestus: Saabumisjärjekorral põhinev kanalite määramine aitab säilitada üldiste kõnelejasiltide järjepidevust lõikude vahel.
- Praktiline helivormingute tugi: Dokumenteeritud on WAV-, FLAC-, Opus- ja MP3-sisendid, kus eeldatavaks sisendvorminguks on 16 kHz monoheli.
- Koostalitlus ASR-iga: Diariseerimise väljundit saab kombineerida voogedastustuvastusega, et luua sõnataseme kõnelejasilte.
Olulised piirangud
- Kaheksa kõneleja ülempiir: Dokumenteeritud väljundil on kaheksa kõnelejakanalit, mistõttu sobib mudel halvemini keskkondadesse, kus korraga osaleb palju inimesi.
- Transkriptsioon puudub: See tuvastab kõneleja aktiivsuse, kuid ei esita öeldud sõnu.
- Nimepõhine tuvastamine puudub: Üldised kõnelejasildid ei ole sama mis inimese identiteedi tuvastamine või pärisnime määramine.
- Loodud heli puudub: Mudel ei sünteesi kõnet ega muud heli.
- Riistvara eest vastutab kasutaja: Kohalik juurutus eeldab ühilduvat taristut ja rakendusega integreerimist.
- Tundlikkus kasutusvaldkonna suhtes: Kaugelt salvestatud heli, tugev taustamüra, kattuv kõne ja salvestised, kus kõnelejate arv läheneb piirangule, vajavad hindamist esinduslike andmetega.
- Tavapärane keelemudeli kontekstiaken puudub: Tekstipõhine konteksti pikkus ja väljundi maksimaalne märgipiirang ei ole selle kaadrite klassifitseerimise mudeli puhul kohaldatavad.
Millal seda mudelit valida
Valige Nemotron 3 Diarization siis, kui keskne vajadus on kõnelejatega seostatud heli, mitte teksti genereerimine. See sobib hästi koosolekute ja kõnede transkriptsioonitöövoogudesse, taskuhäälingute segmentimiseks, reaalajas subtiitriteks, vestlusagentidele, kõnekeskuste analüütikaks ja kohalikesse kõnesüsteemidesse, mis vajavad kõnelejasilte juba heli saabumise ajal.
See on eriti asjakohane siis, kui meeskond soovib ühendada avatud kaalud NVIDIA-põhise juurutusega ning tal on tehniline võimekus siduda diariseerimine ASR-i, ajatemplite töötlemise ja vajaliku identiteedi- või rakendusloogikaga. Selle voogedastuse konfiguratsioonid on kasulikud, kui terve salvestise saabumise ootamine enne kõneleja segmentide määramist tekitaks vastuvõetamatu viivituse.
Hallatav kõneteenus võib olla sobivam, kui organisatsioon soovib valmis transkriptsiooni- ja diariseerimistöövoogu, ei halda ühilduvat GPU-taristut või eelistab kasutuspõhist arveldamist ise hallatavale juurutusele. Spetsiaalne kõneleja tuvastamise või verifitseerimise süsteem on parem valik siis, kui nõutav on tuntud inimeste äratundmine, mitte anonüümsete kõnelejate sildistamine. Üldine keelemudel sobib paremini transkriptsioonijärgseks kokkuvõtete tegemiseks, küsimustele vastamiseks või teksti genereerimiseks, kuid see ei saa asendada selle mudeli spetsialiseeritud kaadritaseme kõnelejate jälgimist.
Üldhinnang
NVIDIA Nemotron 3 Diarization on spetsialiseeritud avatud kaaludega komponent kõneleja aktiivsuse määramiseks ajas. Selle peamine eripära on Sortformeri laadse saabumisjärjekorrapõhise kõnelejate käsitluse, võrguühenduseta ja voogedastuse töörežiimide, kuni kaheksa kõneleja toe ning dokumenteeritud väikeste sisendpuhvri seadistuste kombinatsioon. Seda tuleks hinnata suurema helitöötlusvoo osana, mitte täieliku transkriptsioonitootena.
Meeskondadele, kellel on sobiv NVIDIA riistvara ja vajadus kohaliku, kontrollitava kõnelejate diariseerimise järele, pakub mudel selget juurutusviisi NeMo Speechi, Transformersi või NeMo-Speech.cpp kaudu. Kasutajad, kes otsivad valmislahendusena transkriptsioone, kõnelejate nimesid või hostitud teenuse hinnastust, vajavad täiendavaid süsteeme.