Granite Speech 3.3 8B

Mis on Granite Speech 3.3 8B?

Granite Speech 3.3 8B on IBMi pakutav avatud kaaludega kõnekeelemudel. Selle peamised ülesanded on automaatne kõnetuvastus (ASR), mis tähendab kõneldud heli teisendamist kirjalikuks tekstiks, ja automaatne kõnetõlge (AST), mis tähendab ühes keeles kõne teisendamist teises keeles tekstiks.

Mudel ei ole eelkõige üldotstarbeline hääleassistent ega genereeri kõneheli. Selle otsene väljund on tekst. Seda erinevust tuleb arvestada, kui võrrelda mudelit kõnele suunatud süsteemidega: Granite Speech võib täita kõnetöövoos transkribeerimise või tõlkimise etapi, kuid kõnelist vastust vajav rakendus vajab eraldi tekst-kõneks komponenti.

IBMi Granite'i kataloogis kohandab see mudel Granite 3.3 8B Instructi keelemudelit kõne töötlemiseks. Seetõttu paikneb see tavapärase kõnetuvasti ja üldise keelemudeli vahepeal. Heli saab esmalt transkribeerida või tõlkida ning saadud teksti saab seejärel kasutada näiteks küsimustele vastamiseks või kokkuvõtete koostamiseks.

Peamised võimalused ja toetatud keeled

Granite Speech 3.3 8B toetab kõnetuvastust inglise, prantsuse, saksa, hispaania ja portugali keeles. Dokumentatsioon kirjeldab ka inglise keelega seotud tõlkejuhtumeid, sealhulgas inglise keelest jaapani keelde ning inglise keelest mandariini keelde. Esitatud uurimismaterjal ei kinnita, et kõik võimalikud suunad kõigi loetletud keelte vahel oleksid toetatud, seega tuleks keelekatvust kontrollida rakenduse jaoks vajalike konkreetsete tõlkepaaridega.

Mudel toetab kahte laia sisendrežiimi:

• Helisisend: kõnesalvestisi saab transkribeerida või tõlkida tekstiks.
• Tekstisisend: ilma helita saab mudel töötada aluseks oleva Granite 3.3 8B Instructi keelemudeli abil.

See ainult tekstil põhinev režiim võib olla kasulik juhul, kui töövoog transkribeerib salvestise esmalt ja saadab transkriptsiooni seejärel eraldi keelemudeli etappi. Näiteks võib rakendus transkribeerida kliendikõne, paluda mudelil transkriptsioon kokku võtta ja seejärel tegevuspunktid välja tuua. Mudeli dokumenteeritud ülesehitus kasutab kahe läbimisega lähenemist, mitte kõigi nende toimingute tegemist ühe loomuliku kõnest kõnesse suhtlusena.

Arhitektuur ja kahe läbimisega töövoog

Praeguse mudelikaardi versioon on 3.3.2. Selle arhitektuur ühendab mitu komponenti ega käsitle heli tavalise tekstina. 16 plokist koosnev Conformeri kõne-enkooder teisendab helilaine akustilisteks esitusteks. Kahekihiline aknaga päringutransformer toimib modaalsusadapterina ja vähendab nende esituste mõõdet, et need saaks keelemudelile edastada. Teksti genereeriv komponent on Granite 3.3 8B Instruct, mille valitud keelemudeli projektsioonidele on rakendatud 64-järgulised LoRA-adapterid.

Lihtsustatult öeldes tegeleb Conformer heliga, adapter teisendab heliesituse keelemudelile sobivasse vormi ning Granite'i keelemudel genereerib tekstilise tulemuse. LoRA ehk madala astmega kohandamine on parameetritõhus viis keelemudeli spetsialiseerimiseks, ilma et kõiki algseid kaale asendataks.

Dokumenteeritud töövoog toimub üldjuhul kahe läbimisega. Esimese läbimise tulemus on transkriptsioon või tõlge. Teisel läbimisel saab seda teksti kasutada transkriptsiooni analüüsimiseks, küsimustele vastamiseks, kokkuvõtete koostamiseks või muude keeleülesannete täitmiseks. See modulaarne ülesehitus võib olla ettevõtete töövoogudes kasulik, sest transkribeerimist ja sellele järgnevat tekstitöötlust saab eraldi kontrollida. Samuti tähendab see, et kasutajad ei tohiks eeldada, et mudel pakub loomupäraselt reaalajas vestluslikku häälekogemust.

Sisend, kontekst ja väljundi piirangud

Aluseks olev Granite 3.3 8B Instructi mudel pakub 128 000 märgi pikkust konteksti. See on tekstikonteksti spetsifikatsioon, mitte lubadus, et iga helitöötlusülesannet saab ühe päringuga tõhusalt töödelda. Mudelikaart demonstreerib monoheli sisendit sagedusel 16 kHz ning toetab levinud helivorminguid Transformersi ja vLLM-i ökosüsteemide kaudu.

IBMi dokumentatsiooni kohaselt suudab mudel praktikas töödelda pikki helifaile, kuid soovitab hoida üksikud helilõigud ligikaudu ühe minuti pikkused, sest mudelit ei ole spetsiaalselt pika heli jaoks peenhäälestatud. Pikkade salvestiste puhul on otstarbekas jagada algmaterjal hallatava suurusega lõikudeks, need transkribeerida ja kasutada seejärel eraldi tekstitöötlusetappi tulemuste ühendamiseks või kokkuvõtte koostamiseks.

Esitatud uurimismaterjalis ei ole maksimaalset väljundmärkide arvu määratud. Transkriptsiooni või tõlke tegelik pikkus sõltub samuti serveerimisraamistikust, viibast, heli kestusest ja süsteemi käsutuses olevatest ressurssidest. Seetõttu tuleks 128 000 märgi pikkust käsitleda aluseks oleva keelemudeli kontekstivõimena, mitte garanteeritud helikestuse või väljundi suuruse piiranguna.

Juurutamine ja kättesaadavus

Granite Speech 3.3 8B levitatakse IBMi Granite'i organisatsiooni kaudu Hugging Face'is Apache 2.0 litsentsi alusel. Apache 2.0 on lubav avatud lähtekoodi litsents, mis üldjuhul võimaldab nii teaduslikku kui ka ärilist juurutamist, arvestades litsentsitingimusi ja kasutaja laiemaid nõuetele vastavuse kohustusi.

Ametlikult toetatud kasutusviisid hõlmavad Hugging Face Transformersi ja vLLM-i. vLLM-i saab seadistada ka OpenAI-ga ühilduva kohaliku serverina, mis võib lihtsustada nende rakenduste integreerimist, mis on juba loodud sama tüüpi lõpp-punkti kasutamiseks. See ei tähenda, et IBM pakuks täpselt selle mudeli jaoks majutatud OpenAI API-t. Esitatud uurimismaterjali kohaselt ei ole selle mudeli Hugging Face'i lehel ametlikku majutatud järeldusteenuse pakkujat loetletud.

Seetõttu hõlmab juurutamine tavaliselt allalaaditavate kaalude kohalikku käitamist või eraldi seadistatud serveerimisplatvormi korraldamist. Kogukulu on seega pigem kasutuskulu kui avaldatud märgipõhine hind: juurutav organisatsioon peab hindama riistvara, majutust, salvestusruumi, arendust ja järelduse kasutusmahtu. Täpselt selle mudeli kontrollitud sisendi- või väljundi-API hinda ei ole saadaval.

Modaalsused ja funktsioonide piirid

Nende piiride põhjal tuleks mudelit mõista eelkõige allalaaditava kõnest tekstiks ja kõnetõlke komponendina, millel on ka keelemudeli funktsioonid, mitte täieliku multimodaalse agendiplatvormina. Rakendus, mis vajab tööriistakutseid, garanteeritud struktureeritud vastuseid või loomupärast hääle genereerimist, peaks neid nõudeid eraldi kontrollima ja võib vajada lisakomponente.

Tugevused ja piirangud

Tugevused

• Avatud juurutamine: Apache 2.0 litsents ja allalaaditavad kaalud võimaldavad kohalikku, privaatset või kontrollitud juurutamist.
• Kõne- ja keeletöötluse ühendamine: pakett ühendab akustilise enkooderi Granite 3.3 8B Instructiga, võimaldades transkriptsioonile või tõlkele järgnevat teksti analüüsi.
• Mitmekeelne tugi: kõnetuvastuseks on nimetatud inglise, prantsuse, saksa, hispaania ja portugali keelt ning lisaks inglise keelega seotud tõlkejuhtumeid.
• Modulaarne ülesehitus: eraldi akustilised ja keelekomponendid muudavad kaks etappi kontseptuaalselt selgeks ning võimaldavad transkriptsioonil põhinevat järeltöötlust.
• Suur tekstikontekst: aluseks olev keelemudel pakub 128 000 märgi pikkust konteksti, millest võib olla kasu pärast heli tekstiks teisendamist transkriptsiooni analüüsimisel.

Piirangud

• Loomupärane hääleväljund puudub: mudel tagastab teksti ega suuda iseseisvalt kõnelist vastust luua.
• Pikk heli vajab tähelepanu: IBM soovitab ligikaudu üheminutilisi helilõike, sest mudelit ei ole spetsiaalselt pika heli jaoks peenhäälestatud.
• Selle täpse mudeli ametlik majutatud hind puudub: organisatsioonid peavad kavandama oma serveerimistaristu või leidma eraldi seadistatud pakkuja.
• Voogedastus on kinnitamata: esitatud uurimismaterjal ei kinnita toetatud voogedastus-API olemasolu, seega ei tohiks eeldada reaalajas kasutamist.
• Täpsus sõltub töökoormusest: aktsente, taustamüra, erialaterminoloogiat, salvestustingimusi ja tõlkesuunda tuleks hinnata näidisandmetega.
• Kahe läbimisega töövood lisavad keerukust: transkriptsiooni analüüsi vajavad rakendused võivad vajada heli- ja tekstitöötluse eraldi korraldamist.

Arutlus, kodeerimine, kiirus ja kulud

Granite Speech 3.3 8B ei ole esitatud spetsiaalse arutlusmudelina. Selle keelemudeli etapp saab töödelda transkriptsiooni teksti ja toetada näiteks küsimustele vastamist või kokkuvõtete koostamist, kuid esitatud uurimismaterjal ei sisalda arutlusvõimekuse võrdlustesti ega spetsiaalset arutlusrežiimi. Aluseks olevates andmetes on nii arutluse kui ka kodeerimise toimetuse hinnang 3 punkti 5-st; need on subjektiivsed kataloogihinnangud, mitte IBMi avaldatud võrdlustestide tulemused.

Sama ettevaatus kehtib kiiruse kohta. Esitatud andmetes on toimetuse kiirusehinnang 3 punkti 5-st ja kuluhinnang 5 punkti 5-st. Kuluhinnang peegeldab avatud kaaludega mudeli eeliseid ja loetletud märgipõhise majutatud hinna puudumist, mitte garanteeritult väikest kogukulu. Kohalik majutamine võib piisava kasutusmahu korral olla kulutõhus, kuid sellega kaasnevad ka taristu- ja hoolduskulud. Tegelik kiirus sõltub riistvarast, kvantimisest, serveerimisraamistikust, pakisuurusest, heli pikkusest ja sellest, kas töövoog hõlmab teist keelemudeli läbimist.

Võrreldes väikese spetsiaalse transkribeerimisteenusega võib see mudel nõuda rohkem operatiivset tööd ega pruugi olla lihtsa suuremahulise transkribeerimise puhul kiireim valik. Võrreldes majutatud kõnest kõnesse teenusega pakub see suuremat kontrolli juurutamise üle, kuid sel puudub loomupärane kõneväljund ja kohe kasutatav API. Selle suurim kulueelis on seega meeskondade jaoks, kes väärtustavad allalaaditavaid kaalusid, privaatset töötlemist ja võimalust ühendada transkribeerimine oma tekstitöötluse töövooga.

Millal valida Granite Speech 3.3 8B?

Vali Granite Speech 3.3 8B siis, kui peamine vajadus on avatud või privaatne kõnest tekstiks töötlemine ja organisatsioon on valmis juurutamist haldama. See on mõistlik kandidaat järgmisteks kasutusjuhtudeks:

• ettevõtete koosolekute, kõnede, intervjuude ja kõneldud dokumentide transkribeerimine;
• mitmekeelne kõnetuvastus dokumenteeritud keelte puhul;
• heli tõlkimine tekstiks, eriti inglise keelega seotud tõlkevoogudes;
• privaatsed juurutused, kus salvestiste saatmine välisele majutatud API-le ei ole soovitav;
• töövood, mis vajavad transkribeerimisele järgnevat kokkuvõtete koostamist, küsimustele vastamist või teabe eraldamist;
• teadus- ja ärirakendused, millele tuleb kasuks Apache 2.0 litsents.

Teine lahendus võib olla sobivam, kui vaja on kohe kasutatavat majutatud järeldusteenust, garanteeritud väikese latentsusega voogedastust, loomupärast kõne genereerimist või täielikku kõnest kõnesse assistenti. Spetsiaalne transkribeerimismudel võib olla eelistatud ka juhul, kui töövoog vajab ainult kiiret transkribeerimist ega saa integreeritud keelemudeli etapist kasu. Üldine kõnetoeta keelemudel vajaks seevastu enne salvestiste töötlemist eraldi kõnetuvastuskomponenti.

Praktiline hindamisnimekiri

Enne mudeli kasutuselevõttu testi seda projekti jaoks olulistes helitingimustes ja keelesuundades. Kaasa tüüpilised aktsendid, taustamüra, kõnelejate kattuv kõne, valdkonnaspetsiifiline sõnavara ja eeldatav salvestise kestus. Kontrolli, kas valitud Transformersi või vLLM-i seadistus vastab olemasoleva riistvara puhul nõutavale läbilaskevõimele ja latentsusele.

Pikkade salvestiste puhul hinda segmenteerimise ja transkriptsioonide ühendamise strateegiaid, selle asemel et eeldada, et 128 000 märgi pikkune kontekst muudab kogu salvestise automaatselt ühe helipäringu jaoks sobivaks. Otsusta ka, kas transkriptsiooni analüüs peaks töötama samas juurutuses või eraldi teise läbimisena. Lõpuks kavanda eelarve majutuse ja käitamise jaoks: loetletud majutatud hinna puudumine ei tähenda, et järeldusel puuduks kulu.

Üldjoontes on Granite Speech 3.3 8B kõige sobivam avatud ja kohapeal juurutatava kõnekeelemudelina transkribeerimiseks ja tekstipõhiseks kõnetõlkeks. Selle mitmekeelne helisisend, Granite'i keelemudeli taust ja lubav litsents on kontrollitud ettevõtete töövoogudes kasulikud. Tekstipõhine väljund, kinnitamata voogedastustugi, pika heli piirang ja ametliku majutatud lõpp-punkti puudumine on olulised piirangud reaalajas või täielikult hallatavates häälerakendustes.