Granite-Speech-4.1-2B-Plus

Mis on Granite-Speech-4.1-2B-Plus?

Granite-Speech-4.1-2B-Plus on IBM-i Granite’i mudeliperre kuuluv avatud kaaludega kõnekeelemudel. Selle peamine ülesanne on automaatne kõnetuvastus (ASR): kõneheli teisendamine kirjalikuks tekstiks. Seda ei ole mõeldud üldotstarbeliseks vestlusmudeliks, programmeerimisabiliseks, pildimudeliks ega kõnesünteesisüsteemiks.

Mudel ühendab kõneenkooderi keelemudeli komponendi ja multimodaalsed projektsioonikihid, mis seovad audiofunktsioonid teksti genereerimisega. Konfiguratsioonis on ligikaudu 2 miljardit parameetrit, BF16-vorming ning 4096 märgi pikkune teksti kontekstiaken. IBM teeb mudeli kättesaadavaks Granite’i mudelikogus ja IBM Granite’i ametlikus Hugging Face’i organisatsioonis identifikaatoriga ibm-granite/granite-speech-4.1-2b-plus.

Mudel on Granite-Speech-4.1-2B laiendatud versioon. Oluline erinevus seisneb selles, et Plus-variant lisab rikkalikumad transkriptsioonirežiimid, sealhulgas kõnelejate tuvastamise ja sõnataseme ajatemplid, samuti märksõnade kallutamise ning inkrementaalse dekodeerimise.

Mida suudab mudel transkribeerida?

Tavaline kõnest tekstiks teisendamine

Tavalises ASR-režiimis teisendab Granite-Speech-4.1-2B-Plus helisalvestise tekstiliseks transkriptiks. Dokumenteeritud keelevalikus on inglise, prantsuse, saksa, hispaania ja portugali keel. See muudab mudeli sobivaks mitmekeelsete ettevõtte salvestiste jaoks, kuigi olemasolev uurimismaterjal ei kinnita võrdset täpsust kõigis viies keeles ega eri aktsentide, salvestustingimuste ja valdkondade puhul.

Rakendused edastavad mudelile heli koos tekstilise juhisega. Mudeli väljund on tekst, mistõttu saab tüüpiline integratsioon salvestada tulemuse transkriptide andmebaasi, kuvada selle redaktoris või edastada järgmise etapi otsingu- ja analüüsitarkvarale.

Kõnelejate järgi märgistatud transkriptsioon

Kõnelejate järgi märgistatud ASR lisab kõnevoorude ette sellised sildid nagu [Speaker 1]: ja [Speaker 2]:. Kõnelejate numbrid järgivad järjekorda, milles inimesed salvestisel esimest korda kõnelevad. See on kasulik koosolekute, intervjuude, kliendikõnede, istungite ja muude salvestiste puhul, kus teadmine, kes rääkis, on sama oluline kui öeldu mõistmine.

See funktsioon on loodud kõnelejate järgi märgistatud väljundi andmiseks transkriptsioonitöövoos, vähendades toetatud kasutusjuhtudel vajadust eraldi lihtsa kõnelejate diariseerimise etapi järele. Kuna sildid tagastatakse siiski tekstimärgenditena, peaksid rakendused neid parsima ja valideerima, mitte käsitlema neid täielikult eraldiseisva kõnelejate haldamise andmebaasina.

Sõnataseme ajatemplid

Ajatemplirežiim lisab iga sõna järele ajamärgendi, kasutades näiteks vormingut [T:N]. Väärtused on esitatud sajandiksekundites ja jäägiga modulo 1000. Praktikas tähendab see, et ajatemplite väärtused alustavad iga 10 sekundi järel uuesti algusest, mistõttu peab pikema salvestise töötlemisel väärtused lahti rullima, et taastada pidev ajajoon.

Sõnade ajastamine võib toetada subtiitreid, transkripti joondamist, otsitavat heli, lõikude valimist ja sünkroonitud ülevaatusliideseid. IBM-i dokumenteeritud hindamised käsitlevad ajatemplite genereerimist lühemate segmentide puhul kui tavalist ASR-i ning ajatemplite testid ulatuvad ligikaudu 3,5 minutini. Seetõttu on pikemate salvestiste puhul olulised nii segmenteerimine kui ka ajatemplite ümberkeeramise käsitlemine.

Märksõnaloendi kallutamine

Märksõnaloendi kallutamine võimaldab rakendusel edastada termineid, millele tuvastamisel tuleks pöörata erilist tähelepanu. Näiteks võivad need olla klientide nimed, tootenimed, akronüümid, meditsiini- või õigusterminid ning ettevõttesiseste projektide nimed. See on eriti kasulik siis, kui tavaline kõnetuvastus võib haruldasi sõnu sagedamini kasutatavate alternatiividega segi ajada.

Esitatud dokumentatsiooni kohaselt põhineb märksõnade kallutamine viipamisel, mitte eraldi peenhäälestatud mudelil. Seetõttu tuleks tulemusi hinnata esindusliku heli põhjal, eriti siis, kui märksõnaloend on pikk või sisaldab sarnase kõlaga termineid.

Inkrementaalne dekodeerimine prefikstekstiga

Segmenteeritud või jätkuva heli puhul saavad rakendused edastada varasema transkriptsioonimaterjali välja prefix_text kaudu. See võib säilitada kogunenud konteksti ja kõnelejate nummerduse, vältides samal ajal juba töödeldud teksti tarbetut uuesti dekodeerimist.

Inkrementaalne dekodeerimine on kasulik pikkade salvestiste ja järjestikustest helisegmentidest koostatud voogedastuse-laadsete töövoogude puhul. Uurimismaterjal ei kinnita eraldi majutatud reaalaja API-t ega garanteeritud latentsuse sihttaset, mistõttu peaksid arendajad eristama seda segmenteeritud töövoogu teenusepakkuja hallatavast otse-transkriptsiooniteenusest.

Tehnilised näitajad ja toetatud modaalsused

Granite-Speech-4.1-2B-Plusil on multimodaalne sisend, sest see töötleb heli koos tekstiga. Selle otsene väljund on ainult tekst: see ei genereeri kõnet, muusikat, pilte ega videot. Uurimismaterjalis ei täpsustata maksimaalset väljundmärkide arvu, eraldi helipikkuse piirangut tootmiskasutuseks ega ametlikku voogedastuse garantiid. IBM-i dokumenteeritud hindamisandmed hõlmavad tavalise ja kõnelejate järgi märgistatud ASR-i puhul ligikaudu üheksat minutit ning ajatemplite genereerimise puhul ligikaudu 3,5 minutit; neid näite ei tohiks automaatselt käsitleda rangete toote piirangutena.

Vormindamise ja järeltöötluse kaalutlused

Rikkaliku transkriptsiooni režiimid tagastavad viimistletud dokumendi asemel struktureeritud tekstimärgiseid. Kõnelejasildid ja ajamärgendid on väärtuslikud metaandmed, kuid vajavad rakendusepoolset parsimist. Tootmiskasutuse töövoos võib olla vaja teisendada märgendid struktureeritud kirjeteks, mis sisaldavad kõnelejat, sõna, algusaega ja lõpuaega.

Erinevalt Granite-Speech-4.1-2B baasmudelist ei paku Plus-variandi rikkaliku transkriptsiooni režiimid kirjavahemärke ja suurtähti samal viisil. Seetõttu võivad avaldamisvalmis teksti, subtiitreid või loetavaid koosolekumärkmeid vajavad rakendused vajada eraldi vormindamisetappi. See etapp peaks säilitama algsed sõnad ja ajastusteabe, mitte transkripti kogemata muutma.

Teine oluline tehniline küsimus on ajatemplite ümberkeeramine. Kuna sajandiksekundiline märgend on väärtusega modulo 1000, võib jada pärast iga 10-sekundilist intervalli näida liikuvat tagasi. Tarkvara peab ümberkeeramise tuvastama ja lisama sobiva nihke, enne kui kasutajatele kuvatakse pidevad ajatemplid.

Juurutamine, litsents ja hind

IBM dokumenteerib laadimise lokaalselt Transformersiga ja teenindamise vLLM-i kaudu. Mudelikaart näitab, et vajalik võib olla Transformersi praegune tugi ning mõnes keskkonnas võib enne Plus-variandi funktsioonide kasutamist vaja minna hiljutist või lähtekoodist paigaldust. Käitajad peaksid testima juurutamisel kasutatava täpse mudeliversiooni ja teekide versioone.

Apache 2.0 litsents lubab teadus- ja ärikasutust vastavalt litsentsitingimustele. Avatud kaalud ei tähenda, et kasutamine oleks tasuta: juurutav organisatsioon vastutab endiselt GPU-de või muu järeldustaristu, salvestusruumi, heli töötlemise, seire, turbe ja nõuetele vastavuse eest.

Selle mudeli ametlikku IBM-i märgipõhist hinda ei ole avaldatud. Seda esitletakse isemajutatava avatud kaaludega mudelina, mitte mõõdetava IBM-i hallatava API-mudelina, millel oleks avaldatud märgipõhine hinnakiri. Tegelik kulu sõltub riistvarast, kasutusastmest, salvestiste mahust, inseneritööst ja käitamisnõuetest. See võib olla atraktiivne organisatsioonidele, kes juba haldavad järeldustaristut või vajavad heliandmete üle lokaalset kontrolli, kuid vähem mugav kasutajatele, kes otsivad lihtsat kasutuspõhist transkriptsiooni lõpp-punkti.

Tugevused ja piirangud

Peamised tugevused

• Rikkalik transkriptsioon: kõnelejasildid ja sõnataseme ajatemplid laiendavad mudeli võimalusi võrreldes tavalise ASR-iga.
• Valdkonnaspetsiifilise sõnavara tugi: märksõnaloendi kallutamine võib aidata nimede, akronüümide, toodete ja tehniliste terminite puhul.
• Mitmekeelne tugi: dokumenteeritud keeled on inglise, prantsuse, saksa, hispaania ja portugali keel.
• Lokaalne juurutamine: avatud kaalud ja Apache 2.0 litsents toetavad iseseisvalt hallatavaid teadus- ja ärirakendusi.
• Inkrementaalne töötlemine: prefix_text võib aidata säilitada konteksti ja kõnelejate nummerdust helisegmentide vahel.

Olulised piirangud

• See on spetsialiseerunud transkriptsioonile ning seda ei tohiks valida üldiseks vestlus-, arutlus-, programmeerimis-, pildi-, video- ega kõnegeneratsiooni mudeliks.
• Rikkalik väljund on märgendatud tekst, mitte valmis struktureeritud transkriptide andmebaas. Vajalikud on parsimine ja valideerimine.
• Ajatemplite väärtused alustavad iga 10 sekundi järel uuesti algusest ning rakenduse loogika peab need korrigeerima.
• Rikkalikes režiimides võib olla vaja hilisemat kirjavahemärkide ja suurtähtede taastamist.
• Esitatud uurimismaterjal ei kinnita majutatud API-t, garanteeritud reaalaja latentsust, peenhäälestuse tuge, tööriistade kutsumist, JSON-režiimi ega maksimaalset väljundmärkide arvu.
• Ise majutamine annab taristu, skaleerimise, seire ja nõuetele vastavuse kohustused käitaja kanda.

Millal valida Granite-Speech-4.1-2B-Plus?

Vali see mudel siis, kui peamine vajadus on mitmekeelne kõnetranskriptsioon ja väljund peab pakkuma enamat kui lihtne tekst. See sobib hästi koosolekute protokollide, intervjuude, kõneanalüüsi, otsitavate heliarhiivide, kõnelejate järgi märgistatud märkmete, subtiitrite ettevalmistamise ja sõnataseme joondamist vajavate meediatöövoogude jaoks. Mudel on eriti asjakohane siis, kui heli peab jääma organisatsiooni kontrollitud juurutuskeskkonda.

Selle kuluprofiil võib suure mahu puhul olla soodsam kui majutatud transkriptsiooniteenuse kasutamine, kuid ainult juhul, kui organisatsioon suudab oma taristut tõhusalt kasutada. Mudel on väiksem ja spetsialiseeritum kui suured üldotstarbelised multimodaalsed mudelid, mis võib muuta lokaalse järelduse praktilisemaks, kuid esitatud uurimismaterjal ei paku kiiruse ega täpsuse võrdlusmõõtmisi. Mudeli toimetuskiiruse hinnang 7 ja kuluhinnang 9 on võrdlevad hinnangud, mitte IBM-i avaldatud võrdlustestide tulemused.

Mõni teine kõnetuvastusvõimalus võib olla sobivam, kui projekt vajab valmislahendusena majutatud API-t, garanteeritud otsevoogesituse latentsust, automaatset kirjavahemärkide ja vorminduse lisamist, suuremat keeltevalikut või hallatavat skaleerimist. Üldotstarbeline keele- või multimodaalne mudel võib olla eelistatum avatud arutluse, programmeerimise, tööriistade kasutamise või pärast transkriptsiooni tehtava dokumendiloome puhul. Seevastu lihtsam ASR-mudel võib olla parem valik siis, kui vaja on ainult lihtsaid transkripte ning kõnelejasildid, ajatemplid või märksõnade kallutamine lisaks tarbetut töötlemise keerukust.

Kokkuvõte

Granite-Speech-4.1-2B-Plusi on kõige õigem käsitleda isemajutatava transkriptsioonimootorina, millel on rikkalikumad metaandmete võimalused. Selle peamised eelised on kõnelejate järgi märgistatud väljund, sõnade ajastamine, märksõnade kallutamine, mitmekeelne tugi ja inkrementaalne dekodeerimine. Sama selged on ka kompromissid: avaldatud IBM-i märgipõhise hinnakirja puudumine, kontrollitud majutatud teenuse garantiide puudumine, piiratud väljundivormingud, vajadus ajatemplite ümberkeeramist käsitleda ning hilisema vormindamise vajadus. Meeskondade jaoks, kes vajavad kontrollitud juurutust ja struktureeritud kõnetranskripte, võivad need kompromissid olla õigustatud; kasutajatele, kes otsivad valmis transkriptsiooni-API-t või üldist AI-assistenti, sobib tõenäoliselt paremini teistsugune lahendus.