Granite Speech 4.1 2B NAR

Mis on Granite Speech 4.1 2B NAR?

Granite Speech 4.1 2B NAR on IBMi Granite Speech 4.1 mudeliperekonda kuuluv automaatse kõnetuvastuse (ASR) mudel. Selle peamine ülesanne on transkribeerimine: mudel võtab vastu kõneheli ja tagastab teksti. See ei ole üldotstarbeline keelemudel, vestlusrobot, kõnesüntesaator ega heli genereerimise süsteem.

Mudelit kirjeldatakse avatud kaaludega mudelina ning see on saadaval Apache 2.0 litsentsi alusel. Mudeli dokumentatsioonis on väljalaskekuupäevana märgitud aprill 2026 ja mudel on loetletud ajakohasena. Kuna kaalud on mõeldud isehostimiseks, saavad organisatsioonid tuvastaja oma taristusse juurutada, selle asemel et kasutada eraldi hinnastatud majutatud järeldusotsapunkti.

Nimes olev „NAR” tähendab mitteautoregressiivset (non-autoregressive). Tavapärane autoregressiivne teksti genereerimine toodab märke ükshaaval, kusjuures iga uus märk sõltub eelmisest. Granite Speech 4.1 2B NAR kasutab selle asemel kahesuunalise keelemudeli abil tingimuslikku transkriptsiooni redigeerimist, nii et transkriptsioonijadasid saab töödelda paralleelselt. Praktikas on selle lahenduse eesmärk suur läbilaskevõime ja väike latentsus, eriti juhul, kui korraga tuleb töödelda paljusid helinäidiseid.

Kuidas mudel töötab

Dokumenteeritud arhitektuur ühendab CTC-kõneenkooderi, Q-Formeri projektori ja kahesuunalise suure keelemudeli, mida kasutatakse transkriptsiooni redigeerijana. CTC ehk Connectionist Temporal Classification on tehnika, mida kasutatakse sageli akustiliste tunnuste sidumiseks tekstijadadega, ilma et iga helikaader peaks olema käsitsi seotud kindla tähe või sõnaga.

Granite Speech 4.1 2B NAR kasutab esmalt kõnetöötluskomponente transkriptsioonisignaali loomiseks ja rakendab seejärel paralleelset tingimuslikku redigeerimist. Erinevalt üldisest teksti genereerimise mudelist ei ole see mõeldud avatud vestluse jätkamiseks ega suvalise proosa kirjutamiseks. Genereeritud tekst on sisestatud heli transkriptsioon.

Mudeli dokumentatsioon märgib ka, et järelduseks on praegu nõutav FlashAttention 2 ning dokumenteeritud Transformersi töövoos kasutatakse kohandatud mudelikoodi. See tähendab, et juurutamine on keerukam kui valmislahendusena pakutava kõnest tekstiks veebiteenuse kasutamine: kasutajatel on vaja ühilduvat riist- ja tarkvarakeskkonda, mudelifailide ning nõutavate järeldussõltuvustega.

Toetatud keeled ning sisend ja väljund

Mudel toetab kõnetuvastust viies keeles:

• inglise
• prantsuse
• saksa
• hispaania
• portugali

Selle toetatud sisend on heli ja väljund on tekst. Mudel ei genereeri heli, muusikat, pilte ega videot. Seega on see multimodaalne vaid kitsas tähenduses: see teisendab ühe modaalsuse ehk kõneheli teiseks ehk kirjalikuks tekstiks. Seda ei tohiks käsitleda üldise multimodaalse assistendina, mis suudab mõtestada suvalisi faile, pilte või videoid.

IBMi dokumentatsioon märgib, et jõudlus võib olla väiksem vähesema treeningandmete hulgaga või keerukates akustilistes tingimustes, sealhulgas portugali keele, kaugväljaheli, kattuvate kõnelejate ja mürarikka keskkonna korral. Neid tingimusi tuleb mudeli hindamisel arvesse võtta koosolekuruumides, kõnekeskustes, avalikes kohtades või kaugelt paiknevate mikrofonidega tehtud salvestiste puhul.

Jõudluse ja kiiruse kompromissid

Selle mudeli kaalumise peamine põhjus on mitteautoregressiivne järeldusstrateegia. Mudelikaardi kohaselt on ühe H100-ga partii suurusel 128 ligikaudne reaalaja tegur 1 820. See on teenusepakkuja või mudelikaardi esitatud näitaja kindla riistvara- ja pakk-töötluse seadistuse kohta, mitte universaalne kiirusegarantii. Tulemused sõltuvad heli pikkusest, partii suurusest, riistvarast, teostusest ja süsteemi üldkuludest.

See tulemus viitab, et mudel on optimeeritud pigem läbilaskevõime kui ühekaupa interaktiivse dekodeerimise jaoks. Pakk-töötlus võib olla kasulik suurte arhiivide, meedia indekseerimise, asünkroonse kõnede transkribeerimise või muude töökoormuste puhul, kus paljud salvestised on korraga saadaval. See ei tõesta iseenesest, et iga juurutus saavutab sama latentsuse, eriti väikeste partiide või piiratud ressurssidega süsteemide korral.

Toimetuslikus hinnangus on mudeli kiirusele antud 10 punkti 10-st ja kulutõhususele 9 punkti 10-st. Need on kataloogi hinnangud, mitte IBMi avaldatud skoorid, seega tuleks neid käsitleda võrdlusjuhisena, mitte võrdlustesti tulemustena. Kulueelis tuleneb peamiselt avatud kaalude saadavusest ja isehostimise võimalusest; tegelik kasutuskulu sõltub riistvarast, kasutuskoormusest, arendustööst ja hooldusest.

Tehnilised näitajad ja piirangud

Loetletud konteksti pikkus on 4 096, kuid esitatud allikad ei määratle, kuidas see piirang seostub iga helipikkuse, transkriptsiooni pikkuse või eeltöötluse seadistusega. Seetõttu tuleks seda käsitleda dokumenteeritud mudeli metaandmeväärtusena, mitte lubadusena, et iga 4 096 ühikut sisendit vastab kindlale kõneminutite arvule.

Maksimaalset väljundmärkide arvu ei ole täpsustatud. Samuti ei ole mudelit dokumenteeritud voogedastusega järelduse, tööriistakasutuse, JSON-režiimi, vahemällu salvestamise, pakk-API-de ega peenhäälestuse toega. Eelkõige ei tohiks mudeli pakk-töötlusel põhinevaid kiirusomadusi segi ajada hallatud pakk-töötluse API toe olemasoluga.

Arutlemine, programmeerimine ja üldotstarbeline kasutus

Granite Speech 4.1 2B NAR ei ole loodud iseseisvaks arutlemiseks, programmeerimiseks ega tööriistapõhisteks ülesanneteks. Selle tekstiväljund on piiratud kõnetuvastusülesandega, mistõttu võib transkriptsioon sisaldada valjusti öeldud koodi, kuid mudel ei ole koodi genereerimise süsteem ning seda ei tohiks valida tarkvara kirjutamiseks, silumiseks ega selgitamiseks.

Esitatud kataloogihinnang annab mudeli arutlemisoskusele 2 punkti 10-st ja programmeerimisoskusele 1 punkti 10-st. Need on toimetuslikud skoorid, mitte IBMi avaldatud võimekushinnangud. Need kajastavad mudeli kitsast ASR-otstarvet, mitte suutmatust täita talle mõeldud ülesannet. Transkriptsioonijärgseks kokkuvõtete tegemiseks, küsimustele vastamiseks, andmete eraldamiseks või agenditöövoogudeks on üldjuhul vaja eraldi keelemudelit.

Hinnastamine ja juurutamine

Granite Speech 4.1 2B NAR-i ametlikku majutatud API hinda ei ole esitatud. Dokumenteeritud kasutusviis on avatud kaaludega isehostimine, seega maksavad kasutajad avaldatud minutipõhise transkriptsioonitasu asemel mudeli käitamiseks vajaliku taristu ja operatiivressursside eest.

Isehostimine võib olla atraktiivne organisatsioonidele, kes vajavad kontrolli heli ja transkriptsioonide üle, prognoositavaid juurutuspiire või suurt kasutuskoormust ulatusliku töömahu puhul. Samuti toob see kaasa vastutuse valdkondades, millega hallatud kõne-API tegeleks ise, sealhulgas GPU-de hankimine, sõltuvuste haldamine, mudeli teenindamine, skaleerimine, seire, turvauuendused ja jõudluse testimine. Esitatud H100 tulemus näitab, et võrdlusjõudluse mõõtmisel kasutati märkimisväärset kiirendiriistvara; seda ei tohiks käsitleda minimaalse riistvaranõudena, välja arvatud juhul, kui mudeli dokumentatsioon seda selgelt ütleb.

Esitatud märkmete kohaselt nõuab järeldus praegu kohandatud mudelikoodi ja FlashAttention 2. Enne tootmiskasutusele üleminekut peaksid meeskonnad kontrollima ühilduvust valitud Transformersi versiooni, kiirendi ja juurutuskeskkonnaga.

Parimad kasutusjuhud

Granite Speech 4.1 2B NAR sobib kõige paremini töökoormustele, mille puhul tuleb kõnet kiiresti ja korduvalt transkribeerida, eriti siis, kui organisatsioon saab kasutada oma taristut. Sobivad näited on järgmised:

• salvestatud kõnede mahukas transkribeerimine
• meedia- või kõnearhiivid, mida saab töödelda partiidena
• mitmekeelsed kõnest tekstiks töövood, mis hõlmavad viit toetatud keelt
• ettevõttesisesed transkriptsiooniteenused, kus eelistatakse avatud kaaludega juurutust
• latentsustundlikud rakendused, mis saavad kasutada paralleelset transkriptsiooni redigeerimist

See võib olla vähem sobiv otserakendustele, mis vajavad voogedastusena väljundit, sest esitatud metaandmetes ei ole voogedastuse tuge loetletud. Samuti sobib see halvasti juhul, kui peamine nõue on kõnelejate tuvastamine, sõnataseme ajatemplid, vastupidav töö kattuva kõne korral või jaapanikeelse kõne transkribeerimine – kõik need on esitatud uuringus märgitud väljapoole mudeli toetatud või eelistatud kasutusala.

Millal seda mudelit valida

Vali Granite Speech 4.1 2B NAR, kui vajad avatud kaaludega mitmekeelset ASR-mudelit ning saad kasu isehostimisest, paralleeltöötlusest ja suurest läbilaskevõimest. See on eriti ahvatlev siis, kui suurte helipartiide töötlemine on tähtsam kui lihtne hallatud API või lai valik kõneanalüüsi funktsioone.

Vali selle asemel hallatud kõnetuvastusteenus, kui vajad kohe kasutatavat voogedastust, automaatset skaleerimist, integreeritud ajatempleid, kõnelejate märgendamist või selgelt avaldatud minutipõhist hinda ja teenusetaseme pakkumist. Kui töövoog vajab pärast transkriptsiooni kokkuvõtete tegemist, arutlemist, struktureeritud andmete eraldamist, programmeerimist või tööriistakutseid, vali laiem keelemudel. Keerulise heli, kattuvate kõnelejate, kaugvälja mikrofonide või tugeva taustamüra korral testi seda mudelit enne juurutamist esinduslike salvestiste abil alternatiividega.

Üldhinnang

Granite Speech 4.1 2B NAR on spetsiaalne IBMi Granite'i mudel, mis põhineb selgel kompromissil: see seab üldotstarbeliste keeleoskuste ja hallatud teenuse mugavusest ettepoole kiire paralleelse transkribeerimise ning isehostitava juurutuse. Apache 2.0 litsents, viie keele tugi ja esitatud suur läbilaskevõime muudavad selle asjakohaseks organisatsioonidele, kes töötlevad suuri helimahte. Otsuse tegemisel, kas mudel sobib tootmistöövoogu, on sama olulised ka selle piirangud: dokumenteeritud majutatud hinnastuse puudumine, loetletud voogedastuse toe puudumine, kitsas ülesannete ulatus, kohandatud juurutusnõuded ning eeldatavalt nõrgem jõudlus mõnes keerukas olukorras.