Granite Speech 3.3 2B

Mis on Granite Speech 3.3 2B?

Granite Speech 3.3 2B on IBM-i Granite'i mudeliperre kuuluv avatud kaaludega kõnekeelemudel. Selle peamised funktsioonid on automaatne kõnetuvastus (ASR), mis tähendab kõneheli teisendamist kirjalikuks tekstiks, ning automaatne kõnetõlge (AST), mis tähendab kõnesisu tõlkimist teise keelde.

Mudel võtab vastu nii heli- kui ka tekstisisendit, kuid väljastab teksti. See erinevus on oluline: Granite Speech 3.3 2B ei ole kõnesünteesisüsteem ega genereeri algupäraselt heli. See on mõeldud töövoogudeks, kus salvestatud või voogedastatud kõne tuleb muuta otsitavaks, tõlgitavaks või hilisemaks tekstianalüüsiks kättesaadavaks.

IBM levitab mudelit oma ametliku Granite'i organisatsiooni kaudu Hugging Face'is Apache 2.0 litsentsi alusel. Kanooniline hoidla identifikaator on ibm-granite/granite-speech-3.3-2b. Kuna mudelit pakutakse mudelikaaludena, mitte IBM-i majutatud mudelispetsiifilise API-tootena, peavad kasutajad üldjuhul tagama oma arvutusinfrastruktuuri või valima sobiva kolmanda osapoole majutusteenuse.

Koht IBM-i Granite'i mudeliperes

Granite Speech 3.3 2B laiendab Granite 3.3 2B Instructi keelemudelit kõnevõimekusega. IBM kirjeldab mudelit kui lahendust, mis loodi keelemudeli kohandamisel automaatse kõnetuvastuse ja automaatse kõnetõlke korpustest pärit kõneandmetega, mida täiendati sünteetiliste andmetega.

See päritolu annab Granite Speech 3.3 2B-le kaks omavahel seotud rolli. Esimene on kõnetöötlus: mudel suudab heli transkribeerida või tõlkida. Teine on transkriptsioonijärgne tekstitöötlus: aluskeelemudelit saab kasutada transkriptsiooni kohta küsimustele vastamiseks, selle kokkuvõtmiseks või muude toetatud teksti genereerimise ülesannete täitmiseks.

Mudeli versioon 3.3.2 lisas mitmekeelse kõnesisendi toe inglise, prantsuse, saksa, hispaania ja portugali keelele. IBM teatab ka ingliskeelse transkriptsiooni täpsuse paranemisest tänu sügavamale akustilisele kodeerijale ja täiendavatele treeningandmetele. Need on teenusepakkuja esitatud mudelikaardi ja väljalaske üksikasjad, mitte sõltumatute võrdlustestide järeldused.

Kahe töötlusetapi arhitektuur

Granite Speech 3.3 2B eraldab kõnetuvastuse hilisemast keelemudelitöötlusest. Esimeses etapis töödeldakse helisisendit ja teisendatakse see transkriptsiooniks. Teises etapis saab saadud teksti anda keelemudelile näiteks kokkuvõtte koostamiseks või küsimustele vastamiseks.

Seda ülesehitust on lihtsam mõista kui süsteemi, mis peidab kõik etapid ühe genereerimisprotsessi sisse. Samuti muudab see transkriptsiooni selgelt eristatavaks vahetulemuseks. Rakendus saab selle salvestada, üle vaadata, otsida, saata teisele tekstitöötluskomponendile või pärast vajaliku ülesande täitmist kustutada.

Tehniliselt ühendab mudel konformerpõhist kõnekodeerijat, ajalise alladiskreetimisega kõneprojektorit ning Granite 3.3 2B Instructi keelemudelit. Kõnekodeerija teisendab heli akustilisteks esitusteks. Projektor teisendab need esitused vormi, mida keelemudel saab kasutada, samal ajal kui ajaline alladiskreetimine vähendab keelemudeliosasse edastatava heliga seotud teabe hulka.

Keeled, sisendid ja väljundid

Dokumenteeritud kõnesisendi keeled on inglise, prantsuse, saksa, hispaania ja portugali keel. IBM-i dokumentatsioon kirjeldab nende keelte ja inglise keele vahelist kõnetõlget mõlemas suunas. Samuti on dokumenteeritud kasutusjuhud inglise keelest jaapani ning mandariini keelde tõlkimiseks.

Väljundi piirang mõjutab toote disaini. Granite Speech 3.3 2B suudab pakkuda tõlgitud transkriptsiooni, kuid rakendus, mis vajab tõlgitud kõneheli, vajab eraldi kõnesünteesisüsteemi. Samuti vajaks rakendus, mis peab toetama reaalajas toimuvat kõnevestlust, täiendavaid komponente heli salvestamiseks, kõnevoorude haldamiseks, teksti genereerimiseks ja kõnesünteesiks.

Kontekstiaken ja heli pikkus

Esitatud mudeliteabes on aluskeelemudeli konteksti pikkuseks märgitud 131 072 tokenit ehk ligikaudu 128K tokenit. Ametlikus järeldusnäites on aluskeelemudeli teadmiste lõppkuupäevaks märgitud aprill 2024. Kontekstiakent ei tohiks segi ajada garanteeritud helikestusega: töödeldava kõne hulk sõltub heli esitusviisist, käituskeskkonnast, dekodeerimise seadistusest ja saadaolevast mälust.

IBM soovitab ühtse täpsuse tagamiseks hoida iga eraldiseisva helilõigu pikkuse ligikaudu ühe minuti piires. Sobiva riistvara korral suudab arhitektuur töödelda ka pikemaid salvestisi, kuid mudelit ei ole spetsiaalselt pika heli andmetel peenhäälestatud. Seetõttu võivad pikemad sisendid suurendada mälukasutust ja latentsust ning anda vähem ühtlaseid tulemusi kui lühemad, teadlikult segmenteeritud helilõigud.

Koosoleku- või kõnetöötluse puhul on praktiline lahendus jagada salvestis hallatavateks lõikudeks, need transkribeerida ja seejärel saadud tekst kokkuvõtte koostamiseks ühendada. Segmenteerimine ei kõrvalda kõiki pikkade salvestistega seotud probleeme, näiteks konteksti säilitamist lõikude piiridel, kuid vastab paremini IBM-i juhistele kui kogu pika salvestise saatmine ühe eraldiseisva üksusena.

Peamised tugevused ja praktilised kasutusjuhud

• Paindlik ise majutamine: Apache 2.0 litsentsi alusel levitatavad avatud mudelikaalud võimaldavad organisatsioonidel mudelit käitada enda hallatavas infrastruktuuris või enda valitud majutusteenuse kaudu.
• Mitmekeelne kõnesisend: Mudel toetab viit dokumenteeritud kõnesisendi keelt, mistõttu sobib see mitmekeelseks transkribeerimiseks paremini kui kitsalt inglise keelele keskendunud töövoog.
• Kõne- ja tekstitöötlus: Kahe etapi lähenemisviis ühendab transkribeerimise järgnevate keeleülesannetega, nagu kokkuvõtete tegemine ja küsimustele vastamine.
• Selgelt eristatavad transkriptsioonitöövood: Rakendused saavad transkriptsiooni eraldi tulemina säilitada ja töödelda, selle asemel et käsitleda kõne mõistmist läbipaistmatu toiminguna.
• Ettevõtete helitöötluse töövood: Mudel sobib hästi salvestatud kõnede, koosolekute, meediaarhiivide, mitmekeelsete dokumentide loomise ja muude pakktöötluse või ise hallatavate töötlusülesannete jaoks.

Tüüpilised juurutused võivad hõlmata sisekoosolekute transkribeerimist, salvestatud meediast otsitavate arhiivide loomist, klienditoe salvestiste tekstiks tõlkimist või transkriptsiooni edastamist otsingu- või kokkuvõtte töövoogu. Need kasutusjuhud põhinevad mudeli dokumenteeritud kõnest tekstiks teisendamise ja teksti genereerimise funktsioonidel; need ei tähenda sisseehitatud otsingusüsteemi, töövoomootori ega ettevõtte andmeliidese olemasolu.

Piirangud ja puuduvad hallatava teenuse funktsioonid

Granite Speech 3.3 2B-d ei ole dokumenteeritud IBM-i majutatud tokenipõhise API-tootena, millel oleks avalikud mudelispetsiifilised sisendi- ja väljundhinnad. Seetõttu ei ole kulude võrdlemiseks saadaval kontrollitud teenusepakkuja API-hinda. Rahaline kompromiss põhineb hoopis infrastruktuuri-, majutus-, salvestus-, ribalaiuse-, arendus- ja käituskuludel.

Ise majutamine võib olla atraktiivne, kui organisatsioon vajab kontrolli andmete üle või eeldab püsivat töökoormust, kuid sel juhul vastutab juurutaja riistvara jõudluse, käituskeskkonna seadistamise, skaleerimise, jälgimise ja uuenduste eest. Hallatav kõne-API võib olla mugavam juhuslike töökoormuste või nende meeskondade jaoks, kes ei soovi mudeliinfrastruktuuri hallata, isegi kui selline lahendus pakub vähem kontrolli juurutamise üle.

Uuringus ei ole dokumenteeritud natiivset tööriista- ega funktsioonikutset, struktureeritud väljundi garantiisid, voogedastuse toimimist, peenhäälestuse tuge, vahemällu salvestamist ega mudelispetsiifilist väljundtokenite maksimaalset piirmäära. Neid funktsioone ei tohiks eeldada üksnes seetõttu, et aluskeelemudel suudab teksti genereerida. Rakendused, mis vajavad mõnda neist funktsioonidest, peaksid kontrollima nende olemasolu valitud järelduskeskkonnas või kasutama teenust, mis neid sõnaselgelt pakub.

Mudel ei ole mõeldud ka natiivseks kõne genereerimiseks, piltide või videote mõistmiseks ega helivestlusteks. Neid võimekusi vajav süsteem vajaks teisi mudeleid või täiendavaid komponente.

Järeldusvõime, kodeerimine, kiirus ja kulupositsioon

Granite Speech 3.3 2B on eelkõige kõnetöötlusmudel, mitte spetsialiseerunud järeldus- või kodeerimismudel. Esitatud toimetajahinnang annab selle järeldusvõimele hindeks 4 punkti 10-st ja kodeerimisvõimele 3 punkti 10-st. Need on toimetaja antud hinded, mitte IBM-i avaldatud võrdlustestide tulemused, ning neid tuleks käsitleda teisejärguliste kaalutlustena, mitte ametlike mõõdikutena.

Selle suhteliselt väike, 2B suurune keelemudel ning keskendunud kõnearhitektuur aitavad hoida mudelit kohaliku või spetsialiseeritud juurutamise jaoks praktilisena, kuid need ei tee sellest suure üldotstarbelise mudeli asendajat keerulise järeldamise, mahuka tarkvaraarenduse või laiaulatuslike agentsete ülesannete puhul. Mudelit on kõige parem kasutada kõne transkribeerimiseks ja tõlkimiseks ning lihtsamaks tekstitöötluseks pärast kõne tekstiks teisendamist.

Esitatud toimetajahinnangutes saab mudel kiiruse eest hindeks 7 punkti 10-st ja kulude eest 9 punkti 10-st. Need hinded peegeldavad kompaktse avatud kaaludega mudeli võimalikke eeliseid, kuid tegelik jõudlus ja kulu sõltuvad riistvarast, heli kestusest, pakktöötlusest, kvantimisest, käituskeskkonnast ja juurutuse ülesehitusest. Need ei garanteeri konkreetset latentsust ega kogukulu.

Millal valida Granite Speech 3.3 2B?

Vali Granite Speech 3.3 2B, kui vajad mitmekeelset heli transkribeerimist või kõnetõlget ning soovid allalaaditavaid mudelikaalusid, Apache 2.0 litsentsi ja kontrolli juurutamise üle. See sobib eriti hästi meeskondadele, kes loovad ise majutatavaid ettevõtete töövooge, töötlevad salvestatud heli pakktöötlusena või soovivad hoida kõneandmeid enda hallatavas infrastruktuuris.

See sobib vähem juhul, kui vajad kasutusvalmis hallatavat API-t, avaldatud minuti- või tokenipõhist hinda, natiivseid helivastuseid, reaalajas vestlusvõimekust, garanteeritud tööriistakutseid või keerulisele järeldamisele ja kodeerimisele spetsialiseerunud mudelit. Sellistel juhtudel võib paremini sobida hallatav kõneteenus, eraldi kõnesünteesikomponent või suurem üldotstarbeline keelemudel.

Parima tulemuse saavutamiseks käsitle Granite Speech 3.3 2B-d laiema süsteemi kõne- ja transkriptsioonitöötluse komponendina. Kavanda töö ligikaudu üheminutiliste helilõikude ümber, kontrolli sihtkeeli ja tõlkesuunda ning testi valitud käituskeskkonda tüüpiliste salvestistega, enne kui hindad tootmisvõimsust või infrastruktuurikulusid.

Väljalaske- ja litsentsiandmed

Granite Speech 3.3 2B versioon 3.3.2 avaldati 19. juunil 2025. Esitatud mudeliteabe kohaselt levitatakse seda Apache 2.0 litsentsi alusel. Mudeli avatud kaaludega staatus eristab seda tavapärasest üksnes majutatud mudelist, kuid kasutajad vastutavad endiselt litsentsi, juurutuskeskkonna, andmekäitlusnõuete ja loodava laiema rakendusega seotud kohustuste ülevaatamise eest.