Mis on Granite Speech 3.2 8B?
Granite Speech 3.2 8B on avatud kaaludega kõne-keele mudel, mida IBM pakub Hugging Face'is IBM Granite'i organisatsiooni kaudu. Selle kanooniline hoidla identifikaator on ibm-granite/granite-speech-3.2-8b. Mudel avaldati 2. aprillil 2025 Apache 2.0 litsentsi alusel.
Selle peamine ülesanne on teisendada ingliskeelne kõne tekstiks. Samuti suudab see tõlkida ingliskeelset kõnet valitud sihtkeeltesse, sealhulgas prantsuse, hispaania, itaalia, saksa, portugali, jaapani ja mandariini keelde. Väljund on tekst: mudel ei sünteesi kõneaudio't, loo pilte ega genereeri videot.
Erinevalt majutatud kõne-API-st, millel on avaldatud minutipõhine hind, on Granite Speech 3.2 8B mõeldud kohalikuks või ise hallatavaks juurutamiseks. See muudab mudeli asjakohaseks organisatsioonidele, kes soovivad kontrollida mudelifaile, töötlemistaristut ja andmekäitlust, kuid tähendab ka seda, et kasutajad peavad ise tagama riistvara, tarkvarakeskkonna ja operatiivtoe.
Milleks mudel on loodud?
Mudel on optimeeritud kõnesisendite, mitte tavapäraste ainult tekstil põhinevate keeleülesannete jaoks. Dokumenteeritud kasutusviisid hõlmavad järgmist:
- ingliskeelsete salvestiste automaatne kõnetuvastus
- ingliskeelse kõne tekstiks transkribeerimine
- ingliskeelse kõne tõlkimine toetatud Euroopa ja Aasia keeltesse
- ise majutatavad ettevõtete töövood, mis töötlevad salvestatud või voogedastatavat heli väljaspool majutatud teenusepakkuja API-t
Tüüpiline töövoog võib hõlmata 16 kHz monohelisalvestise laadimist, mudelilt selle transkribeerimise palumist ning seejärel soovi korral teise keeletöötlusetapi käivitamist, et saadud teksti tõlkida või edasi töödelda. IBM soovitab ainult tekstipõhiste ülesannete jaoks kasutada oma üldotstarbelisi Granite'i keelemudeleid, sest Granite Speech on spetsialiseerunud audiopõhisele sisendile.
Sisendid, väljundid ja toetatud modaalsused
Granite Speech 3.2 8B võtab vastu heli koos tekstiliste viipadega. Ametlikus näites on dokumenteeritud 16 kHz diskreetimissagedusega monoheli. Mudeli dokumentatsioonis nimetatakse toetatud kõnekeelena inglise keelt; tõlke sihtkeeled hõlmavad prantsuse, hispaania, itaalia, saksa, portugali, jaapani ja mandariini keelt.
| Võimekus | Kontrollitud olek |
|---|---|
| Helisisend | Toetatud |
| Tekstisisend | Toetatud viipade ja mudeliga suhtlemise jaoks |
| Tekstiväljund | Toetatud transkribeerimiseks ja tõlkimiseks |
| Heliväljund | Ei ole toetatud; tegemist ei ole kõnesünteesimudeliga |
| Pildi sisend või väljund | Ei ole toetatud |
| Video sisend või väljund | Ei ole toetatud |
Seetõttu tuleks mudelit hinnata kõnetuvastus- ja kõnetõlkesüsteemina, mitte üldotstarbelise multimodaalse assistendina. Esitatud uuring ei kinnita selle konkreetse mudeli puhul tööriistade kasutamist, funktsioonikutsunguid, JSON-režiimi, struktureeritud väljundit, veebiotsingut ega muid agendifunktsioone.
Kuidas kahe läbimisega arhitektuur töötab?
Granite Speech 3.2 8B kasutab kahe läbimisega ülesehitust. Esimesel läbimisel tõlgendab kõneenkooder heli ja koostab transkriptsiooni. Seejärel saab tulemuseks saadud teksti töötlemiseks aluseks oleva Granite'i keelemudeliga selgesõnaliselt käivitada teise läbimise.
See eraldatus on rakenduste kavandamisel oluline. Arendaja ei tohiks eeldada, et iga päring teostab automaatselt ühe jagamatu toiminguna kõnetuvastuse, tõlkimise ja laiema keelelise arutluse. Rakendus võib vajada transkriptsioonietapi ning sellele järgneva keeletöötlusetapi eraldi haldamist.
Conformeri kõneenkooder
Kõneenkooder sisaldab 10 Conformeri plokki. Conformer on arhitektuur, mis ühendab konvolutsioonilise töötluse, mis aitab kõnes kohalikke mustreid tuvastada, tähelepanumehhanismidega, mis aitavad modelleerida seoseid pikema helijada ulatuses. Dokumenteeritud enkooder treeniti Connectionist Temporal Classification meetodil märgitaseme sihtidega.
Avaldatud konfiguratsioon sisaldab 160 sisendtunnust, mis on tuletatud 80 log-mel-tunnusest, peidetud mõõdet 1 024, kaheksat tähelepanupead, tähelepanupea suurust 128, konvolutsioonikerneli suurust 15 ja väljundmõõdet 42.
Granite'i keelemudeli komponent
Kõneenkooder ühendub Granite 3.2 8B Instructiga kõneprojektori ja ajalise alladiskreetija kaudu. Lihtsustatult teisendavad need komponendid enkooderi loodud kõneesituse kujule, mida keelemudel saab kasutada.
Aluseks oleva keelemudeli komponendi dokumenteeritud konteksti pikkus on 128 000 tokenit. See on Granite 3.2 8B Instructi suhtluse jaoks kasutatav kontekst, nagu mudeli dokumentatsioonis kirjeldatud. Seda ei tohiks tõlgendada heli avaldatud maksimaalse kestusena, sest heli pikkus sõltub ka eeltöötlusest, mälust ja juurutustingimustest. Selle mudeli eraldi maksimaalset väljundtokenite piirmäära ei õnnestunud kontrollida.
Juurutamine, tarkvara ja litsents
IBMi dokumenteeritud laadimisnäide kasutab Hugging Face Transformersi, AutoProcessor ja AutoModelForSpeechSeq2Seq koos PyTorchi ja torchaudioga. Näites kasutatakse trust_remote_code=True ning laaditakse helifail Hugging Face Hubist. Mudeli juurutajad peaksid enne kaugkoodi lubamist tutvuma hoidla koodi ja käitamiseks vajalike nõuetega.
Mudel on jagatud BF16 Safetensors-failidena ja sisaldab ligikaudu 8 miljardit parameetrit. BF16 on vähendatud täpsusega arvuline vorming, mida kasutatakse tavaliselt mälunõuete vähendamiseks, säilitades samal ajal närvivõrkude arvutusteks kasuliku ulatuse. Tegelikud riistvaranõuded, transkribeerimiskiirus ja kasutamise kogukulu sõltuvad valitud seadmest, heli mahust, pakktöötlusest ja teeninduslahendusest; esitatud uuring ei sisalda kontrollitud kiirusvõrdlust ega riistvara jõudlustabelit.
Apache 2.0 litsents lubab litsentsitingimuste järgimisel laialdast kasutust. Avatud kaalud ei kaota siiski vajadust hinnata töödeldava heliga seotud õiguslikke ja privaatsusmõjusid. Organisatsioonid peaksid eraldi üle vaatama nõusoleku, säilitamise, juurdepääsu kontrolli ja kõik tundlikele salvestistele kohalduvad nõuded.
Peamised tugevused ja kompromissid
Granite Speech 3.2 8B kõige selgem tugevus on kõnetuvastuse ja valitud kõnetõlke ühendamine allalaaditavas mudelis, ilma et oleks vaja kasutada patenteeritud majutatud lõpp-punkti. Meeskonnad saavad mudelit oma keskkonnas uurida ja käitada, mis võib olla kasulik juhul, kui heli ei saa välisesse teenusesse saata.
Apache 2.0 litsents, Transformersi-põhine juurutusviis ja ligikaudu 8 miljardi parameetriga suurus muudavad selle praktiliseks kandidaadiks ka katsetamiseks ja kontrollitud ettevõtete juurutuseks. Conformeri enkooder ja Granite'i keelemudeli komponent pakuvad selgelt määratletud arhitektuuri kasutajatele, kes vajavad rohkem kontrolli kui musta kasti transkriptsiooni-API suudab pakkuda.
Nende eelistega kaasnevad kompromissid. 8 miljardi parameetriga mudelit on keerukam käitada kui väikest kõnetuvastajat ning IBM ei avalda selle konkreetse avatud kaaludega mudeli kohta majutatud teenuse tokeni- ega minutipõhist hinda. Kasutajad peavad arvestama arvutus-, salvestus-, arendus-, jälgimis- ja hoolduskuludega. Kahe läbimisega töövoog võib nõuda rohkem rakenduse orkestreerimist kui üheotstarbeline transkriptsiooni lõpp-punkt.
Esitatud uuringus ei ole kontrollitud teenusepakkuja avaldatud arutlus-, programmeerimis- ega üldotstarbelise kvaliteedi skoori. Arutlus ja programmeerimine ei ole selle mudeli kavandatud tugevused ning seda ei tohiks valida eeldusel, et selle 128 000 tokeni pikkune keelemudeli kontekst muudab selle üldiseks arutlusvõimeliseks süsteemiks.
Piirangud ja praegune positsioneerimine
Granite Speech 3.2 8B on spetsialiseeritud mudel. See ei ole loodud piltide mõistmiseks, videoanalüüsiks, kõnesünteesiks, muusika genereerimiseks ega tavapärasteks ainult tekstil põhinevateks assistendiülesanneteks. Samuti puudub sellel kontrollitud IBM-i majutatud tokeni-API, avaldatud tokenipõhine hind ja dokumenteeritud tugi levinud agendifunktsioonidele, nagu funktsioonikutsungud ja veebiotsing.
IBM on avaldanud uuema Granite Speechi versiooni Granite Speech 3.3 8B. Mudel 3.2 on endiselt eraldi saadaval, kuid uut projekti alustavad meeskonnad peaksid enne versiooni 3.2 kasutuselevõttu võrdlema uuema väljalaske praegust mudelikaarti ja käitumist. Uuema sõsarversiooni olemasolu ei tõesta iseenesest, et 3.3 on kiirem, täpsem või odavam; sellised võrdlused nõuavad asjakohast testimist.
Mudeli dokumentatsioonis määratletakse aluseks oleva keelemudeli suhtluse viibamallis teadmiste lõpptähtajana aprill 2024. See on eraldi mudeli 2025. aasta aprillis avaldamise kuupäevast. Mudelikaardi järgi treeniti mudelit avalike automaatse kõnetuvastuse ja kõnetõlke andmetega, sealhulgas Common Voice'i, Multilingual LibriSpeechi, LibriSpeechi, VoxPopuli, AMI, YODASe, CREMA-D ja MELDiga seotud andmetega.
Millal valida Granite Speech 3.2 8B?
Vali Granite Speech 3.2 8B siis, kui peamine vajadus on ingliskeelse kõne tuvastamine või inglise keelest teistesse keeltesse tõlkimine ning sinu meeskond on valmis käitama avatud kaaludega mudelit. See sobib eriti hästi olukorras, kus kohalik töötlemine, Apache 2.0 litsents, mudeli kontrollitavus või juurutuse üle säilitatav kontroll on tähtsam kui hallatava kõne-API lihtsus.
- Vali see järgmiseks: ise majutatav ingliskeelne transkriptsioon, valitud ingliskeelse kõne tõlke töövood ja rakendused, mis vajavad heli töötlemist oma operatiivse kontrolli all.
- Kaalu väiksemat kõnemudelit järgmiseks: juurutused, kus väike arvutuskoormus, väike latentsus või lihtne transkriptsioon on tähtsam kui transkriptsiooni ühendamine keelemudeli töötlusega.
- Kaalu majutatud kõneteenust järgmiseks: meeskonnad, kes soovivad kasutuspõhist arveldamist, hallatavat skaleerimist, minimaalset taristutööd või selgelt dokumenteeritud API-t ja teenusetaseme pakkumist.
- Kaalu üldotstarbelist Granite'i keelemudelit järgmiseks: ainult tekstil põhinevad viibad, programmeerimine või üldised keeleülesanded, mis ei vaja helisisendit.
- Võrdle Granite Speech 3.3 8B-ga järgmist: uusi IBM Granite Speechi hindamisi, kuna esitatud mudeliuuringus nimetatakse seda uuemaks versiooniks.
Kokkuvõttes tuleks Granite Speech 3.2 8B-d mõista kõige paremini kui ise majutatavat kõnetöötluskomponenti, millega on ühendatud keelemudeli etapp. Selle väärtus seisneb avatud juurutuses ja ingliskeelsetes kõnetöövoogudes, mitte üldotstarbelises arutluses, koodi genereerimises või meedia loomises.