Mis on OLMoASR-medium.en?
OLMoASR-medium.en on Ai2 arendatud ingliskeelne automaatse kõnetuvastuse (ASR) mudel, mis kuulub OLMoASR-i mudeliperre. ASR-süsteemid teisendavad kõne helisalvestise kirjalikuks tekstiks. Erinevalt üldotstarbelisest keelemudelist on see mudel mõeldud eelkõige salvestiste transkribeerimiseks, mitte avatud vestluste pidamiseks või suvalise teksti genereerimiseks.
Medium-variant sisaldab ligikaudu 769 miljonit parameetrit. See kasutab Transformeril põhinevat kodeerija-dekodeerija arhitektuuri: helikodeerija töötleb kõnesignaali ja keele dekodeerija koostab transkriptsiooni. Avaldatud teostus on mõeldud kohalikuks või kasutaja hallatavaks järeldamiseks Pythonis kasutatava paketi olmoasr kaudu.
OLMoASR-medium.en kuulub Ai2 laiemasse avatud mudelite teaduskataloogi, kuid selle roll on kitsam kui Ai2 üldistel keele- ja multimodaalsetel mudelitel. Selle väljund on helist tuletatud tekst koos täiendavate transkriptsiooni metaandmetega, näiteks lõikude ja ajastusteabega.
Võimekus ning sisendi ja väljundi tüübid
Mudel võtab vastu heli ja tagastab teksti. See ei paku otsest heli-, pildi- ega videoväljundit. Dokumenteeritud teostus võib tagastada nii täieliku transkriptsiooni kui ka üksikud lõigud, algus- ja lõpuaja ajatemplid, tokeniteabe, keele tuvastuse ning dekodeerimise statistika.
OLMoASR-medium.en toetab nii lühikeste kui ka pikkade ingliskeelsete kõnesalvestiste tuvastamist. Avaldatud tunnuste eraldamise konfiguratsioon kasutab 16 kHz diskreetimissagedust ja 30-sekundilisi helilõike. Lõikudeks jagamine on teostuse detail, mitte väide, et kogu salvestis peab piirduma 30 sekundiga; mudelit kirjeldatakse konkreetselt pika vormi transkriptsiooni toetavana.
Kasulikud rakendused hõlmavad koosolekute ja telefonikõnede transkribeerimist, loengute subtiitrite loomist, taskuhäälingute ja audioraamatute töötlemist, raadiosaadete indekseerimist ning teksti eraldamist kõneanalüütika jaoks. Lausepõhised ajatemplid muudavad väljundi kasulikumaks subtiitrite loomisel, ülevaateliidestes ja salvestisest kõlanud lõikude leidmisel.
Avaldatud jõudlus
Ai2 andmetel on sõnavigade määr (WER) lühikeste salvestiste hindamiskogumis keskmiselt 12,8% ja pikkade salvestiste hindamiskogumis 11,0%. Sõnavigade määr mõõdab transkriptsioonivigade hulka; üldjuhul viitavad väiksemad väärtused täpsemale tuvastusele. Avaldatud hindamised hõlmasid muu hulgas audioraamatuid, telefonivestlusi, koosolekuid, loenguid ja aktsendiga kõnet.
Ai2 teatab ka, et OLMoASR-medium.en saavutas viidatud võrdlusuuringus sarnase parameetrite arvuga Whisper-medium.en-iga üldjoontes samasse vahemikku jääva tulemuse. See on teenusepakkuja avaldatud hindamistulemus, mitte garantii iga keelevariandi, salvestuskeskkonna, mikrofoni, kõneleja või taustamürataseme korral. Tegelikud tulemused võivad oluliselt erineda sõltuvalt heli kvaliteedist ja transkribeeritava materjali omadustest.
Kättesaadavus, litsents ja hind
Mudeli kontrollpunkt on saadaval Ai2 OLMoASR-i ressursside kaudu Hugging Face'is ning lähtekoodihoidla ja dokumentatsioon kirjeldavad Pythonil põhinevat järeldamist. Dokumenteeritud laadimisliides kasutab paketti olmoasr ja load_model("medium", inference=True). Kasutusjuhiste kohaselt oli käsurea tugi veel arendamisel.
Esitatud mudeliteabe kohaselt on OLMoASR-medium.en litsentsitud Apache 2.0 alusel. See võimaldab kontrollpunkti juurutada kasutaja hallatavas keskkonnas, järgides litsentsi ja kõiki kohaldatavaid kasutusnõudeid.
Ai2 ei ole selle täpse kontrollpunkti jaoks avaldanud ametlikku majutatud järeldamise hinda. Seetõttu ei tohiks seda kirjeldada tasuta majutatud transkriptsioonina: selle käitamiseks peab kasutaja üldjuhul tagama ühilduva arvutusvõimsuse, salvestusruumi, heli töötlemiseks vajaliku taristu ja operatiivse toe. Kolmanda osapoole majutusteenus võib nende ressursside eest tasu küsida, kuid sellised tasud on mudeli avaldatud kontrollpunkti litsentsist eraldi ning Ai2 materjalide põhjal ei saa neid tuletada.
Piirangud ja dokumenteerimata funktsioonid
Kõige olulisem funktsionaalne piirang on keeleline ulatus: OLMoASR-medium.en toetab ainult inglise keelt. Seda ei ole dokumenteeritud mitmekeelse transkriptsioonimudelina, mistõttu peaksid mitut keelt algselt toetavad lahendust vajavad kasutajad kaaluma selleks otstarbeks spetsiaalselt hinnatud ja avaldatud mudelit.
Esitatud dokumentatsioonis ei ole määratud tokenipõhist kontekstiakent ega genereeritavate tokenite maksimaalset arvu. Need mõisted on kõne transkriptsiooni kontrollpunkti puhul vähem otseselt kasulikud kui vestluspõhise tekstimudeli korral, kuid avaldatud väärtuse puudumise tõttu ei tohiks eeldada täpset maksimumi. Dokumenteeritud töötlusseadistus määratleb küll 30-sekundilised helilõigud, samal ajal kui mudeli kirjeldatud kasutus hõlmab pika vormi transkriptsiooni.
Esitatud uurimistöö ei dokumenteeri ka struktureeritud väljundi liidest, promptide vahemällu salvestamist, partiiliidest, peenhäälestuse tuge, majutatud veebiotsingu juurdepääsu ega esimese osapoole voogedastusliidest. Mudel ei paku tööriistade ega funktsioonide kutsumist. Seda tuleks käsitleda transkriptsioonimudelina, mitte agendiplatvormi või üldotstarbelise arendaja-API-na.
Arutlus, programmeerimine ja tööriistade tugi
OLMoASR-medium.en ei arutle tavapärases keelemudeli tähenduses. See dekodeerib kõne tekstiks ja võib pakkuda transkriptsiooni metaandmeid, kuid ei ole mõeldud mitmeastmeliste probleemide lahendamiseks, salvestise kohta küsimustele vastamiseks ega iseseisvate otsuste tegemiseks.
Samuti ei ole sellel dokumenteeritud programmeerimisvõimekust peale kõnes esitatud koodi või tehnilise arutelu transkribeerimise. Sellele ei saa loota tarkvara genereerimisel, käivitamisel, testimisel ega selgitamisel. Samuti ei ole dokumenteeritud tööriistade kasutamise ega funktsioonide kutsumise mehhanismi. Kõik töövood, mis vajavad kokkuvõtete loomist, küsimustele vastamist, tõlkimist, tundliku teabe eemaldamist, otsingut või struktureeritud andmebaasitoiminguid, vajavad pärast transkriptsiooni täiendavat tarkvara või teist mudelit.
Kiiruse ja kulude kompromissid
OLMoASR-medium.en-i kuluprofiil erineb majutatud kõne-API omast. Täpse mudeli jaoks ei ole avaldatud minutipõhist hinda, mistõttu sõltub ühe salvestise töötlemise maksumus operaatori valitud riistvarast ja järeldamise seadistusest. Ise majutamine võib olla suure mahuga või privaatsustundlike töökoormuste puhul atraktiivne, kui organisatsioonil on juba sobiv taristu, kuid sel juhul vastutab kasutaja juurutamise, skaleerimise, seire ja jõudluse häälestamise eest.
Ai2 ei avalda esitatud materjalis universaalset läbilaskevõime- ega latentsusnäitajat. Seetõttu ei saa töötlemiskiirust hinnata riistvarast, heli kestusest, partiiseadistusest ja teostuse üksikasjadest sõltumatult. Mudeli 769 miljoni parameetri suurus tähendab väikeste transkriptsioonimudelitega võrreldes arvestatavat kohaliku arvutuse vajadust, kuid dokumenteeritud testkeskkonnata ei tohiks sellest tuletada konkreetset mälu-, latentsus- ega kuluhinnangut.
Praktikas võib hallatud transkriptsiooniteenus olla lihtsam juhutöökoormuste või meeskondade jaoks, kes vajavad prognoositavat operatiivset juhtimist. OLMoASR-medium.en võib sobida paremini siis, kui avatud kaalud, kohalik käitamine, kohandatavus ja juurutuskeskkonna kontroll on olulisemad kui valmislahendusena pakutav majutus.
Peamised tugevused ja piirangud
Tugevused
- Avatud juurutusmudel: kontrollpunkt on kasutaja hallatava järeldamise jaoks saadaval ega ole piiratud suletud majutatud lõpp-punktiga.
- Toetus lühikestele ja pikkadele salvestistele: mudel on mõeldud nii lühikeste klippide kui ka pikemate salvestiste jaoks.
- Kasulik ajatempliteave: lausepõhised ajatemplid ja lõikude teave toetavad subtiitreid, ülevaatamist ja otsitavaid arhiive.
- Lai ingliskeelne hindamiskate: Ai2 teatab testimisest kõnede, koosolekute, loengute, audioraamatute, aktsendiga kõne ja muude valdkondade põhjal.
- Apache 2.0 litsents: märgitud litsents on paljudele teadus- ja kommertstehnoloogia meeskondadele tuttav, kuid kohaldatavad tingimused tuleb üle vaadata.
Piirangud
- Ainult inglise keel: mudelit ei positsioneerita mitmekeelse ASR-lahendusena.
- Ametlik majutatud hind puudub: kasutajad peavad korraldama oma arvutusvõimsuse või kasutama eraldi seadistatud kolmanda osapoole teenust.
- Piiratud tootekihi funktsioonid: mudel ise ei paku vestlust, kokkuvõtete loomist, otsingut, tööriistakutseid ega töövoogude automatiseerimist.
- Dokumenteerimata tööpiirangud: siin esitatud ametlikud materjalid ei määra läbilaskevõimet, latentsust, konteksti pikkust, väljundtokenite maksimumi ega universaalset riistvaranõuet.
- Juurutamise eest vastutab kasutaja: ise majutamine nõuab paigaldamiseks, skaleerimiseks, seireks ja integreerimiseks inseneritööd.
Millal valida OLMoASR-medium.en?
Vali OLMoASR-medium.en siis, kui peamine vajadus on ingliskeelse kõne teisendamine tekstiks ja väärtustad avatud kontrollpunkti, mida saab käitada oma keskkonnas. See on mõistlik valik teadustööks, kohalikeks transkriptsioonitöövoogudeks, koosolekute ja loengute arhiivideks, taskuhäälingute töötlemiseks, raadiosaadete indekseerimiseks ning rakendusteks, mis vajavad lausepõhiseid ajastusi ega soovi sõltuda omanduslikust transkriptsiooni lõpp-punktist.
Seda tasub eriti kaaluda siis, kui meeskond suudab oma taristut hallata ja soovib andmetöötluse, mudeliartefaktide ning juurutamise üle suuremat kontrolli, kui majutatud API tavaliselt pakub. Avaldatud lühikeste ja pikkade salvestiste WER-näitajad muudavad mudeli asjakohaseks ka kasutajatele, kes võrdlevad avatud ASR-mudeleid eri tüüpi ingliskeelse heli põhjal, kuigi tulemusi tuleks valideerida kavandatavate salvestistega.
Mõni teine võimalus võib olla sobivam siis, kui mitmekeelne tuvastus on hädavajalik, on vaja garanteeritud majutatud hinda ja teenusetaseme põhist toimimist või kui töövoog vajab sisseehitatud kõnelejate eristamist, tõlkimist, kokkuvõtete loomist, otsingut, voogedastust või järgnevaid toiminguid, mida selle kontrollpunkti dokumenteeritud võimekuste hulgas ei ole. Üldine keelemudel võib pärast transkriptsiooni olla analüüsiks kasulik, kuid see ei asenda helituvastuse etappi ennast.
Kokkuvõte
OLMoASR-medium.en on sihipärane avatud kaaludega ingliskeelne transkriptsioonimudel, mitte täielik kõneplatvorm ega vestlusassistent. Pika vormi toe, lausepõhiste ajatemplite, eri valdkondi hõlmava avaldatud hindamise ja kohaliku juurutamise kombinatsioon muudab selle praktiliseks valikuks meeskondadele, kes soovivad ASR-kihi üle kontrolli. Kompromiss seisneb selles, et hinnastamine, kiirus, majutus, skaleerimine, mitmekeelne tugi ja kogu transkriptsioonijärgne töötlus jäävad kontrollpunktist väljapoole ning nende eest tuleb eraldi hoolitseda.