Mis on NVIDIA Canary-1B?
NVIDIA Canary-1B on NVIDIA NeMo meeskonna loodud mitmekeelne automaatse kõnetuvastuse (ASR) ja kõnetõlke mudel. Selle kanooniline avalik identifikaator on nvidia/canary-1b. Mudel sisaldab ligikaudu 1 miljardit parameetrit ja kasutab kodeerija-dekodeerija arhitektuuri: helikodeerija töötleb kõne tunnuseid ning dekodeerija genereerib tulemuseks oleva teksti.
Praktilises mõttes muudab Canary-1B kõneaudio kirjalikuks tekstiks. Olenevalt ülesandest ja juurutuse konfiguratsioonist võib väljund olla lähtekeelne transkriptsioon või tõlge mõnda teise toetatud keelde. See ei ole üldotstarbeline vestlusmudel ning seda ei tohiks hinnata tekstile keskendunud suure keelemudeli alternatiivina.
Mudel avaldati 18. aprillil 2024 ning see on jätkuvalt saadaval avatud kaaludega kontrollpunktina koos NVIDIA juurutusvõimalustega. NVIDIA praegune dokumentatsioon paigutab Canary kõnemudelite ja Speech NIM-i juurutuskataloogi.
Peamine otstarve ja positsioneerimine
Canary-1B on mõeldud rakendustele, kus sisendiks on kõne ja oodatav tulemus on tekst. Tüüpilised näited on mitmekeelsete koosolekute transkribeerimine, salvestatud audio indekseerimine, kõnetuvastuse uurimine ja kõnesisu paketttõlge.
Selle peamine eripära on mitmekeelse ASR-i ja kõnetõlke ühendamine ühes kodeerija-dekodeerija mudelis. Algses väljalaskes kirjeldati transkribeerimist inglise, saksa, hispaania ja prantsuse keeles ning kahesuunalist tõlget, milles osaleb inglise keel. NVIDIA uuem Speech NIM-i dokumentatsioon loetleb mudeli Canary 1b Multilingual puhul 26 toetatud transkriptsioonikeele varianti. Kuna keeletugi sõltub konkreetsest väljalaskest ja juurutusviisist, peaksid kasutajad enne tootmisprotsessi loomist kontrollima ajakohast tugimaatriksit.
Seega on Canaryd kõige parem mõista spetsialiseeritud kõnemudelina, mitte väiksema üldotstarbelise keelemudelina. See ei genereeri algupäraselt heli, pilte, videot, manuseid ega täidetavaid toiminguid.
Arhitektuur ning toetatud sisendid ja väljundid
Mudel kasutab Fast-Conformeri kodeerijat, et analüüsida kõnehelidest tuletatud log-mel-spektrogrammi tunnuseid. Log-mel-spektrogramm on kompaktne esitus sellest, kuidas heliintensiivsus ajas eri sagedustel muutub. Seejärel genereerib dekodeerija tekstimärke autoregressiivselt ehk väljundjada samm-sammult.
Spetsiaalsed ülesande- ja keelemärgid näitavad, kas süsteem peaks teostama automaatset kõnetuvastust või automaatset kõnetõlget. Tulemuseks on tekst, mis toetab kirjavahemärke ja suurtähti.
| Võimekus | Canary-1B tugi |
|---|---|
| Helisisend | Jah; kõneaudio on mudeli peamine sisend |
| Tekstisisend | Seda ei ole toetatud mudelisisendina määratletud |
| Tekstiväljund | Jah; transkriptsioon või tõlge |
| Heliväljund | Ei |
| Pildi- või videosisend | Ei |
| Tööriista- või funktsioonikutsed | Ei |
| Struktureeritud JSON-väljund | Dokumenteeritud loomulik tugi puudub |
Esitatud NVIDIA materjalides ei ole selle kontrollpunkti kontekstiakna suurust ega väljundmärkide maksimaalset arvu dokumenteeritud. Neid piiranguid ei tohiks tuletada mudeli parameetrite arvust. Töötavas süsteemis võivad praktilised audio kestuse piirangud sõltuda hoopis valitud raamistikust, GPU-mälust, paketttöötluse konfiguratsioonist ja juurutuskonteinerist.
Juurutamine NeMo ja Speech NIM-i kaudu
Kohalikud kasutajad saavad nvidia/canary-1b kontrollpunkti laadida NVIDIA NeMo kaudu uurimistööks, katsetamiseks ja kohandatud kõnetöötlusprotsesside jaoks. NVIDIA dokumenteerib ka Canary-1B juurutamise NVIDIA Speech NIM-i kaudu – see on GPU-kiirendusega pakendamis- ja teeninduslahendus kõnemudelitele.
Dokumenteeritud Canary NIM-i juurutust kirjeldatakse ainult võrguühenduseta kasutuseks. See eristus on oluline: võrguühenduseta töötlemine võib sobida salvestatud kõnede, üles laaditud meedia, arhiivide või paketttõlke jaoks, kuid seda ei tohiks automaatselt käsitleda väikese latentsusega voogedastustranskriptsiooniteenusena. Mudeli autoregressiivne dekodeerija võib samuti nõuda rohkem arvutusressursse kui lihtsamad CTC- või transduktoripõhised ASR-süsteemid, eriti siis, kui peamine nõue on väike vastuseaeg.
Tõhus järeldamine nõuab üldjuhul sobivat NVIDIA GPU-taristut. Esitatud uurimismaterjalid ei määra kõigi NeMo või NIM-i konfiguratsioonide jaoks ühtset minimaalset GPU-d, mälunõuet, läbilaskevõimet ega juurutuskulu. Seetõttu tuleb need näitajad valideerida sihtriistvara ja NVIDIA ajakohase dokumentatsiooni põhjal.
Peamised tugevused
- Mitmekeelne kõnetöötlus: Canary-1B toetab praeguse Speech NIM-i dokumentatsiooni kohaselt transkribeerimist paljudes keelevariantides; algne väljalase hõlmas ka inglise keelega seotud kõnetõlget.
- ASR-i ja tõlkeülesannete ühendamine: Kodeerija-dekodeerija arhitektuur toetab nii transkribeerimist kui ka kõne teisendamist tekstiks teises keeles, mitte ainult lähtekeelset transkribeerimist.
- Juurdepääs avatud kaaludele: Kontrollpunkti saab kasutada koos NVIDIA NeMoga, mis annab teadlastele ja arendajatele rohkem kontrolli kui ainult majutatud transkriptsiooniteenus.
- Loetav transkriptsiooniväljund: Kirjavahemärkide ja suurtähtede tugi muudab väljundi transkriptsioonide ning järgneva tekstitöötluse jaoks kasulikumaks.
- Integratsioon NVIDIA juurutusvõimalustega: NeMo ja Speech NIM pakuvad dokumenteeritud viise kohalikuks või GPU-kiirendusega juurutamiseks NVIDIA kõneökosüsteemis.
NVIDIA esitleb Canary-1B-d ühe täpsema mudelina sarnase suurusega avatud kõnemudelite seas. See on teenusepakkuja positsioneerimisväide, mitte sõltumatu järeldus. Tegelik täpsus sõltub keelest, aktsendist, salvestustingimustest, taustamürast, mikrofoni kvaliteedist ja kasutatavast juurutusversioonist.
Piirangud ja kompromissid
Mudeli spetsialiseeritus on ühtlasi selle peamine piirang. Canary-1B ei paku üldist teksti mõistmist, koodi genereerimist, vestlust, dokumentide analüüsi, veebiotsingut, otsingupõhist teabe hankimist, kõnesünteesi ega kõnest kõneks genereerimist. Selliseid võimekusi vajav süsteem eeldaks lisamudeleid või teistsugust mudelitüüpi.
Teine oluline tegur on latentsus. Canary-1B autoregressiivne dekodeerija võib pakkuda head transkriptsiooni- ja tõlkekvaliteeti, kuid üldjuhul hõlmab see rohkem järjestikuseid arvutusi kui mõned väikese latentsusega ASR-arhitektuurid. Dokumenteeritud Canary NIM-i lahendus töötab ainult võrguühenduseta, mistõttu võib voogedastusele keskendunud rakendusele sobida paremini mudel ja teeninduskiht, mis on spetsiaalselt loodud reaalajas järkjärguliseks transkribeerimiseks.
Keeletugi ei ole kõigis väljalasetes ühesugune. Algse kontrollpunkti dokumentatsioon ja praegune Speech NIM-i tugimaatriks kirjeldavad erineva ulatusega keeli, mistõttu peaksid arendajad kontrollima, kas täpselt kasutusele võetav versioon toetab nii vajalikku lähtekeelt kui ka tõlkesuunda.
Samuti kasutab avaldatud Hugging Face'i kontrollpunkt litsentsi CC BY-NC 4.0. See lubab litsentsitingimuste kohaselt teaduslikku ja mitteärilist kasutust, kuid seda ei tohiks tõlgendada loana äriliseks edasilevitamiseks või äriliseks tootmiskasutuseks. Organisatsioonid peaksid enne kasutuselevõttu läbi vaatama litsentsi ja kõik NVIDIA eraldi juurutustingimused.
Hind, litsents ja saadavus
Esitatud uurimismaterjalides ei ole Canary-1B kontrollpunkti kohta määratud minuti-, päringu- ega tellimusepõhist hinda. Avatud kaaludega mudel ise on NVIDIA mudelijotuskanalite kaudu saadaval, kuid selle kohapealne kasutamine toob endaga siiski kaasa taristu-, salvestus-, arendus- ja GPU käituskulud.
NVIDIA Speech NIM-iga võivad kaasneda eraldi tarkvara-, taristu-, kasutusõiguse või ettevõtetele mõeldud tingimused. Universaalset Canary-1B NIM-i hinda siin kindlaks määratud ei ole, seega tuleb kavandatava juurutuse hind NVIDIA-lt üle kontrollida. Mudeli hinna puudumine ei tähenda, et tootmislik NIM-i juurutus oleks tasuta.
Kõige olulisem saadavusega seotud tingimus on litsents: avaldatud kontrollpunkti CC BY-NC 4.0 tingimused muudavad selle sobivamaks uurimistööks, hindamiseks ja mitteäriliseks prototüüpimiseks, välja arvatud juhul, kui organisatsioon kinnitab sobiva ärilise kokkuleppe olemasolu.
Mõtlemine, programmeerimine ja tööriistavõimekused
Canary-1B ei ole loodud arutlemiseks ega koodi genereerimiseks. See teisendab audio kõnetuvastus- või tõlkeülesande alusel tekstiks ega paku üldist juhiste järgimise liidest mitmeastmeliseks analüüsiks.
Dokumenteeritud loomulikku tööriista- ega funktsioonikutsete, veebisirvimise, koodi käivitamise, failianalüüsi või struktureeritud väljundi režiimi ei ole. Arendajad võivad paigutada mudeli suurema rakenduse sisse – näiteks transkribeerida salvestise enne teksti saatmist teise süsteemi –, kuid need ümbritsevad võimekused ei kuulu Canary-1B enda juurde.
Parimad kasutusjuhud
- Mitmekeelsete salvestiste võrguühenduseta transkribeerimine.
- Kõne tõlkimine inglise keele ja toetatud keelte vahel.
- Uurimistöö ja prototüüpimine NVIDIA NeMo ASR-mudelitega.
- Intervjuude, koosolekute, loengute või meediaarhiivide GPU-kiirendusega pakettöötlus.
- Ettevõtete kõnetöötlusprotsessid, kus kohalik või kontrollitud juurutus on olulisem kui majutatud API-põhine töövoog.
Millal valida Canary-1B?
Vali Canary-1B siis, kui põhiprobleem on mitmekeelse kõne teisendamine tekstiks, eriti juhul, kui soovid avatud kaaludega kontrollpunkti ja oled valmis haldama NVIDIA-põhist GPU-taristut. See sobib eriti hästi olukordades, kus võrguühenduseta töötlemine on vastuvõetav ning transkriptsiooni- või tõlkekvaliteet on väikseimast võimalikust latentsusest olulisem.
Kaalu mõnda muud lahendust, kui vajad reaalajas voogedastust, lihtsat majutatud minutipõhist teenust, äriliseks kasutuseks sobivamat litsentsi, loomulikku kõnesünteesi või üldotstarbelist assistenti. Voogedastusele spetsialiseerunud ASR-mudel võib pakkuda paremat latentsuse kompromissi, samas kui pärast transkribeerimist võib rakenduse kokkuvõtete, arutlemise, programmeerimise või tööriistakasutuse vajaduste korral sobida paremini tekstipõhine keelemudel. Need alternatiivid lahendavad teistsuguseid probleeme ega asenda otseselt Canary-1B rolli mitmekeelse audio tekstiks teisendamisel.
Kokkuvõte
NVIDIA Canary-1B on keskendunud avatud kaaludega mudel mitmekeelseks kõnetuvastuseks ja kõnetõlkeks. Selle Fast-Conformeri kodeerija, teksti genereeriv dekodeerija, NeMo-integratsioon ja Speech NIM-i juurutusvõimalus muudavad selle kasulikuks kvaliteedile suunatud võrguühenduseta kõnetöötlusprotsessides. See sobib vähem voogedastusrakendustesse, üldotstarbeliste keeleülesannete jaoks või ärilisteks juurutusteks, mille puhul CC BY-NC 4.0 litsents ei ole vastuvõetav. Kõige olulisemad hindamisküsimused on, kas vajalik keel ja tõlkesuund on toetatud, kas võrguühenduseta GPU-järeldamine sobib rakendusega ning kas litsentsitingimused vastavad kavandatavale kasutusele.