Mis on GLM-ASR-2512?
GLM-ASR-2512 on Z.AI pilvepõhine automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR teisendab kõneldud heli kirjalikuks tekstiks. Erinevalt üldotstarbelisest keelemudelist keskendub GLM-ASR-2512 kõne tuvastamisele ja transkriptsiooni tagastamisele, mitte küsimustele vastamisele, koodi kirjutamisele, piltide genereerimisele või tööriistade kasutamisele.
Mudel on saadaval Z.AI heli transkribeerimise API kaudu. See on mõeldud rakendustele, mis vajavad majutatud kõnetuvastust ega soovi helimudelit kohapeal juurutada. Tüüpilised kasutusnäited on otseülekannete subtiitrid, lühikesed häälkäsklused, koosolekute väljavõtted, klienditeeninduse kvaliteedikontroll, kontoridikteerimine ja erialaterminoloogia transkribeerimine.
Z.AI nimetab mudelit glm-asr-2512. See kuulub GLM-ASR-i mudeliperekonda ja seda tuleks eristada mudelist GLM-ASR-Nano-2512, mida Zhipu AI teadusmaterjalides kirjeldatakse eraldi avatud kaaludega mudelina. Selle lehe teema on majutatud GLM-ASR-2512 API-mudel.
Kuidas mudel heli töötleb
GLM-ASR-2512 võtab vastu helisisendi ja genereerib tekstiväljundi. Ametlikus API dokumentatsioonis on nimetatud WAV- ja MP3-vormingu tugi, faili maksimaalne suurus 25 MB ning iga päringu maksimaalne helipikkus 30 sekundit. Seetõttu tuleb pikemad salvestised enne transkribeerimist kutsuva rakenduse poolt lühemateks segmentideks jagada.
API toetab nii sünkroonset kui ka voogedastusega transkribeerimist. Sünkroonses režiimis ootab rakendus transkriptsioonitulemust. Voogedastusrežiimis saadab teenus töötlemise edenemise ajal transkriptsiooni sisu sündmuste voo kaudu osade kaupa. Voogedastus on kasulik subtiitrite, häälliideste ja muude lahenduste puhul, kus kogu helisegmendi lõplikku tulemust ootamine tekitaks märgatava viivituse.
Vastus sisaldab tuvastus- ja olekuteavet, näiteks ülesande identifikaatorit, loomise ajatemplit, päringu identifikaatorit, mudeli nime ja lõpetatud transkriptsiooni teksti. Esitatud uurimismaterjal ei kirjelda selle mudeli üldist kontekstiakent ega väljundi maksimaalset tokenite arvu. Sellised andmed pole helitranskriptsiooni lõpp-punkti puhul ootuspäraselt esitatud, sest selle peamine piirang on seotud heli kestuse, mitte tekstimärkide arvuga.
Keeled, dialektid ja tuvastuskvaliteet
Z.AI kirjeldab GLM-ASR-2512 kui mitmekeelset ja dialekte arvestavat tuvastusmudelit. Dokumentatsioonis nimetatud hiina keele variandid on mandariini hiina keel, sichuani murre, kantoni keel, minnani keel ja wu keel. Dokumentatsioon loetleb ka inglise keele aktsendid ning prantsuse, saksa, jaapani, korea ja hispaania keele.
Selline keelte ja dialektide katvus on üks mudeli peamisi praktilisi eripärasid. See võib olla sobivam kui kitsalt fokuseeritud kõnetuvasti juhul, kui rakendus peab töötlema mitmekeelseid salvestisi, Hiina piirkondlikke kõnevariante või vestlusi, kus vahelduvad hiina ja inglise keel. Teenusepakkuja tõstab esile ka mudeli toimivust hiina ja inglise keele segakõnes, käskluslaadses tekstis, valdkonnaterminoloogias, pikkades lausetes, kõnekeeles ja erinevate aktsentide puhul.
Z.AI teatab oma viimase võrdlushindamise tulemuseks märgiveamäära 0,0717. Märgiveamäär mõõdab transkriptsioonivigade hulka võrdlusteksti suhtes; väiksem väärtus tähendab üldjuhul vähem märgitaseme vigu. Tegemist on teenusepakkuja esitatud hindamistulemusega, mitte garantiiga iga keele, mikrofoni, kõneleja, aktsendi, mürataseme või rakenduse puhul. Enne tootmiskasutust tuleks tegelikku täpsust kontrollida tüüpiliste salvestistega.
Viibad ja võtmesõnad erialaterminoloogia jaoks
GLM-ASR-2512 toetab viiba parameetrit, mille abil saab edastada varasema transkriptsiooni konteksti. See võib aidata rakendusearendajatel säilitada järjepidevust pikema materjali töötlemisel mitme lühikese segmendina, kuigi iga üksiku päringu puhul kehtib endiselt dokumenteeritud helipikkuse piirang. Z.AI soovitab hoida viiba pikkuse alla 8000 märgi.
API toetab ka võtmesõnu. Võtmesõnad on terminid, millele tuvastusmudel peaks pöörama erilist tähelepanu, näiteks nimed, tootenimed, asukohad, projektikoodid, meditsiiniterminoloogia või ettevõttesisesed lühendid. Dokumentatsioon soovitab kasutada kuni 100 võtmesõna.
Näiteks võib klienditoe rakendus edastada kõnedes sageli esinevate toodete ja teenusepakettide nimed. Koosolekute transkribeerimise süsteem võib lisada osalejate nimed, osakondade nimetused või projekti identifikaatorid. Võtmesõnad aitavad tuvastamist suunata, kuid ei taga, et iga termin transkribeeritakse õigesti, eriti mürarikka salvestise või ebaselge kõne korral.
Juurdepääs API-le ja voogedastus
GLM-ASR-2512-le pääseb ligi Z.AI heli transkribeerimise lõpp-punkti kaudu:
/api/paas/v4/audio/transcriptions
Päringud kasutavad multipart-vormiandmeid ning nõuavad Z.AI API kandjaluba, helifaili või base64-kodeeringus heli ja mudeli identifikaatorit glm-asr-2512. Parameeter stream määrab, kas rakendus saab valmis vastuse või sündmuste voo uuendused.
Seetõttu sobib mudel taustateenustele, subtiitrite töövoogudele, häälsisestuse funktsioonidele ja lühikeste heliklippide partiitöötlusele. Arendajad peaksid kavandama lahenduse 30 sekundi ja 25 MB piirangute järgi, mitte eeldama, et üks päring suudab töödelda tervet koosolekut, kõnet, intervjuud või loengut. Pikema heli segmenteerimine tekitab rakenduse tasandil ka selliseid ülesandeid nagu konteksti säilitamine, osaliste tulemuste õiges järjestuses hoidmine ja segmendipiiridel korduva teksti vältimine.
Peamised tugevused ja piirangud
Tugevused
- Fokuseeritud transkribeerimine: Mudel on loodud spetsiaalselt kõne tekstiks teisendamiseks ega jaga ressursse muude, mitteseotud genereerimisülesannetega.
- Mitmekeelne ja dialektide tugi: Z.AI dokumenteerib mitut hiina keele varianti, inglise keele aktsente ja mitut muud keelt.
- Reaalajas edastus: Voogedastusvastused sobivad subtiitrite ja interaktiivsete häältöövoogude jaoks.
- Terminoloogiaseaded: Viibad ja kuni 100 soovitatud võtmesõna võivad aidata nimede, koodide ja valdkonnaspetsiifilise sõnavara puhul.
- Majutatud juurutus: Rakendused saavad mudelit kasutada API kaudu, ilma et peaksid haldama kõnetuvastusmudeli kaalusid või kohapealset järeldustaristut.
- Lühikeste päringute töövoog: 30-sekundine piirang sobib hästi käskluste, lühikeste lõikude, subtiitrite ja segmenteeritud helitöövoogude jaoks.
Piirangud
- Lühikese heli piirang: Esitatud dokumentatsiooni kohaselt on iga päring piiratud 30 sekundi ja 25 MB-ga.
- Ei ole üldotstarbeline assistent: Mudeli dokumentatsioonis ei ole kirjeldatud arutlusvõimet, programmeerimist, piltide genereerimist, heli genereerimist, manuseid, tööriista- või funktsioonikutseid.
- Üldist kontekstiakent pole dokumenteeritud: Z.AI ei avalda selle lõpp-punkti kohta tavapärast konteksti pikkuse ega väljundi maksimaalse tokenite arvu spetsifikatsiooni.
- Sõltuvus pilveteenusest: Majutatud API kasutamiseks on vaja võrguühendust ja aktiivset Z.AI kontot või API-lepingut; see ei ole sama mis avatud kaaludega mudeli kohapeal käitamine.
- Hinnakujunduse ebakindlus: Mudeli täpses dokumentatsioonis ei ole üksikasjalikku ametlikku hinda avaldatud. Ühes teises mudelite loendis on hinnaks märgitud ligikaudu 0,06 CNY heliminuti kohta, kuid seda tuleks kontrollida Z.AI praeguses arveldusliideses.
- Täpsus sõltub tingimustest: Teenusepakkuja esitatud hindamistulemused ei pruugi ennustada toimivust iga aktsendi, keele, salvestusseadme, taustamüra taseme või kõnestiili puhul.
Arutlusvõime, programmeerimine ja tööriistade tugi
GLM-ASR-2512 ei ole sobiv valik arutlusülesannete ega programmeerimise jaoks. Selle väljund on transkribeeritud tekst, mitte põhjendatud vastus ega genereeritud programm. Esitatud mudeliteave ei kirjelda selle mudeli puhul tööriistade kasutamist, funktsioonikutseid, veebiotsingut, struktureeritud väljundit, partiitöötlust ega peenhäälestust.
Praktilises arhitektuuris saab transkribeerimismudeli siiski paigutada suuremasse töövoogu. Näiteks võib rakendus kasutada GLM-ASR-2512 helisalvestise tekstiks teisendamiseks ja edastada teksti seejärel eraldi keelemudelile kokkuvõtte, teabe eraldamise, klassifitseerimise või küsimustele vastamise jaoks. Need hilisemad võimalused tulenevad lisamudelist ja rakenduse loogikast, mitte GLM-ASR-2512-st endast.
Hinnakujundus ja kulude kompromissid
Olemasolevate uurimisandmete kohaselt on transkribeerimise hinnaks ligikaudu 0,06 CNY heliminuti kohta. Tegemist on teisest allikast pärineva loendihinnaga, mitte selgelt avaldatud hinnaga esitatud ametlikus mudelidokumentatsioonis, mistõttu tuleks seda käsitleda hinnanguna, mitte garanteeritud kehtiva tariifina. Tegelikku hinda võivad mõjutada piirkondlik arveldus, konto tingimused, kvoodid ja tulevased hinnamuutused.
Kuna arveldamine toimub heli kestuse, mitte sisend- ja väljundtokenite alusel, on transkribeerimistöövoo kulu suhteliselt lihtne hinnata: arvestage heli kogupikkust minutites, võtke arvesse korduvat töötlemist ja uuesti proovimisi ning kontrollige aktiivset tariifi Z.AI kontol. Mudel võib olla lühikeste majutatud transkribeerimisülesannete puhul kulutõhus, kuid suuri arhiive töötlevad rakendused peaksid võrdlema minutipõhist hinda, samaaegsust, salvestusruumi ja segmenteerimise lisakulu teiste kõnest tekstiks teenuste või kohaliku järelduse võimalustega.
Voogedastus võib parandada reageerimiskiirust, kuid ei tähenda iseenesest väiksemaid kulusid. Seda tuleks valida siis, kui osalised tulemused on väärtuslikud, näiteks otseülekande subtiitrite või häälliideste puhul. Sünkroonne töötlemine võib olla lihtsam lühikeste klippide korral, mille puhul kasutaja saab lõplikku transkriptsiooni oodata.
GLM-ASR-2512 parimad kasutusjuhud
- Otseülekande subtiitrid lühikeste vestluste, esitluste või häälsuhtluse jaoks
- Häälkäsklused ja lühikesed kõnesisestusväljad
- Koosolekute väljavõtted ja segmenteeritud koosolekumärkmete töövood
- Klienditeeninduskõnede valimiuuringud ja kvaliteedi tagamine
- Dikteerimine kontori-, CRM- või dokumentatsioonisüsteemidesse
- Mitmekeelne transkribeerimine toetatud keelte või Hiina dialektide puhul
- Erialane transkribeerimine, mille puhul on olulised nimed, tootenimetused, koodid või muud võtmesõnad
- Rakendused, mis eelistavad API-t kõnetuvastustaristu kohapealsele juurutamisele
Millal valida GLM-ASR-2512?
Valige GLM-ASR-2512 siis, kui peamine vajadus on majutatud mitmekeelne kõnest tekstiks teisendamine, eriti juhul, kui olulised on voogedastusvastused, Hiina dialektide tugi, lühikesed helisegmendid või kohandatud võtmesõnad. See on mõistlik kandidaat ka meeskondadele, kes juba kasutavad Z.AI-d ja soovivad transkribeerimist sama teenusepakkuja API-ökosüsteemi kaudu.
Mõni teine kõnetuvastuslahendus võib olla sobivam juhul, kui salvestised on tavaliselt pikemad kui 30 sekundit ja rakendus ei saa neid mugavalt segmentideks jagada, kui võrguühenduseta või kohapealne töötlemine on kohustuslik või kui vaja on sõltumatult kontrollitud hinda, vastavuspoliitikat, täpsusmõõdikut või keelte loendit. Üldotstarbeline keelemudel sobib paremini siis, kui põhiülesanne algab pärast transkribeerimist ning nõuab kokkuvõtete tegemist, arutlemist, programmeerimist või tööriistade kasutamist.
Tootmiskasutuseks valmistudes testige tüüpilisi helisalvestisi, mitte ärge tuginege üksnes teatatud märgiveamäärale 0,0717. Kaasake keeled, dialektid, kõnelejad, taustamüra, mikrofonitüübid, terminoloogia ja segmendipikkused, mida tegelikus rakenduses ootate. Enne suure mahuga töövoo kasutuselevõttu kontrollige ka API praeguseid piiranguid, saadavust, andmekäitluse tingimusi ja minutipõhist hinda.