Mis on OLMoASR-small.en?
OLMoASR-small.en on automaatse kõnetuvastuse (ASR) mudel. ASR-süsteemid analüüsivad salvestatud või reaalajas kõnet ning teisendavad selle kirjalikuks tekstiks. See mudel on loodud spetsiaalselt ingliskeelse heli jaoks ja tagastab transkriptsiooni koos lausete tasandi ajatemplitega.
Kontrollpunkt sisaldab ligikaudu 244 miljonit parameetrit. Parameetrid on õpitud arvväärtused, mis võimaldavad mudelil tuvastada kõnemustreid, sõnu, aktsente ja erinevaid helitingimusi. OLMoASR-small.en kasutab Transformeril põhinevat kodeerija-dekodeerija arhitektuuri: helikodeerija tõlgendab helisignaali ning keeledekodeerija genereerib sellele vastava kirjaliku transkriptsiooni.
Ai2 pakub OLMoASR-small.en mudelit avatud OLMoASR-i mudeliperekonna osana. Sellesse perekonda kuuluvad tiny, base, small, medium, large ja large-v2 variandid. Seega ei ole small-mudel kõige väiksem ega väikseimate kuludega valik, kuid samal ajal ei ole see ka mudeliperekonna suurim ja täpsusele keskenduv kontrollpunkt.
Peamine otstarve ja toetatud sisendid
Mudeli peamine otstarve on ingliskeelse kõne transkribeerimine. Seda saab kasutada nii lühikeste kui ka pikkade salvestistega, sealhulgas koosolekute, telefonikõnede, loengute, intervjuude, saadete, audioraamatute ja taskuhäälingutega.
Toetatud sisend on ingliskeelne heli. Esitatud dokumentatsioon ei kirjelda seda mitmekeelse, pildivõimelise, videot mõistva ega üldotstarbelise teksti genereerimise mudelina. See toodab teksti ja ajatemplite metaandmeid, mitte sünteesitud kõnet, pilte ega videot.
- Sisend: ingliskeelne heli
- Väljund: transkribeeritud ingliskeelne tekst koos lausete tasandi ajatemplitega
- Heli mõistmine: jah, automaatse kõnetuvastuse jaoks
- Pildi-, video- ja teksti genereerimise sisend: selle kontrollpunkti kohta ei ole dokumenteeritud
- Kõnesüntees: ei ole toetatud
Lausete tasandi ajatemplid on kasulikud siis, kui transkriptsioon peab jääma algse salvestisega seotuks. Näiteks saab subtiitrite tööriist nende abil teksti taasesitusega sünkroonida, taskuhäälingu otsingusüsteem aga suunata kasutaja episoodi asjakohase hetkeni.
Esitatud jõudlusnäitajad
Ai2 teatab keskmiseks sõnaveamääraks (WER) lühikeste salvestiste hindamiskogumites 13,8% ja pikkade salvestiste hindamiskogumites 11,5%. Sõnaveamäär näitab nende tuvastatud sõnade osakaalu, mis erinevad võrdlustranskriptsioonis olevatest sõnadest; väiksem väärtus tähendab vähem sõnatasandi vigu. Need näitajad on teenusepakkuja esitatud hindamistulemused, mitte iga salvestise puhul garanteeritud jõudlus.
Esitatud võrdlustestis saavutas OLMoASR-small.en järgmised WER-tulemused:
| Hindamiskogum | Esitatud WER |
|---|---|
| LibriSpeech test-other | 7,0% |
| TED-LIUM3 | 4,2% |
| Switchboard | 13,2% |
| Earnings-22 long-form | 14,0% |
Ai2 sõnul on OLMoASR-small.en lühikeste ja pikkade salvestiste sõnaveamäära võrdlustes ligikaudu samal tasemel nagu Whisper-small.en. Tegelikud tulemused võivad erineda sõltuvalt taustamürast, mikrofoni kvaliteedist, kõnelejate aktsentidest, kattuvast kõnest, salvestustingimustest ja käsitletavast teemast. Seetõttu tuleks võrdlustesti tulemusi pidada kasulikuks lähtepunktiks, mitte asenduseks rakendusele tüüpiliste salvestiste testimisele.
Treening ja avatud väljalase
OLMoASR-i mudeleid treeniti algusest peale avalikust internetist kogutud nõrga juhendamisega heli-tekstiandmete abil. Ai2 kirjeldab OLMoASR-Pooli kolme miljoni tunni suuruse kogumina, millest filtreeriti OLMoASR-Mix – ligikaudu miljonist tunnist koosnev kureeritud kogum.
Avatud projekt sisaldab mudeli kaalusid, treeningu- ja andmetöötluskoodi, hindamiskoodi ning seotud andmekogumeid. Small-kontrollpunkt on Ai2 OLMoASR-i hoidla kaudu Hugging Face'is levitatav. Mudelikaart märgib väljalaske litsentsiks Apache 2.0 ning täpsustab, et kontrollpunkti treeniti ainult ingliskeelsetel andmetel.
Selline avatus on oluline organisatsioonidele, kes peavad saama kõnemudelit kontrollida, korrata, kohandada või käitada, sõltumata täielikult suletud transkriptsiooniteenusest. Samal ajal annab see kasutajale rohkem vastutust: juurutamist, taristut, seiret, andmekäitlust ja nõuetele vastavust ei pakuta mudeli enda poolt ühe hallatud teenusena.
Juurutamine ja API kättesaadavus
OLMoASR-small.en on mõeldud kohalikuks või ise hallatavaks järeldamiseks. Ai2 dokumenteerib Pythoni-põhise kasutuse paketi olmoasr kaudu, mille abil laadib kasutaja mudeli ja käivitab selle transkriptsioonifunktsiooni helifailil.
Selle konkreetse kontrollpunkti ametlikku esimese osapoole hostitud järeldamise hinda ei ole määratud. Samuti ei ole esitatud teabes dokumenteeritud hallatud API-t, partiitöötluse API-t, voogedastusliidest ega hostitud minutipõhist hinnastamismudelit. Seetõttu sõltub tegelik kulu mudeli käitamiseks kasutatavast taristust, sealhulgas arvutusvõimsusest, salvestusruumist, käitamisest ja arendustööst.
244 miljoni parameetriga mudel nõuab juurutamisel rohkem ressursse kui 39 miljoni parameetriga OLMoASR-tiny.en ja 74 miljoni parameetriga OLMoASR-base.en variandid. Üldjuhul vajab see väiksemate kontrollpunktidega võrreldes rohkem mälu ja arvutusvõimsust. Vastutasuks teatab Ai2 väiksemate variantidega võrreldes madalamatest sõnaveamääradest. Esitatud dokumentatsioon ei täpsusta kontekstiakent, väljundmärkide maksimaalset arvu, minimaalset riistvarakonfiguratsiooni ega kindlat reaalaja suhtarvu, mistõttu ei tohiks neid väärtusi eeldada.
Mudeli juurde mittekuuluvad võimalused
OLMoASR-small.en on ASR-i kontrollpunkt, mitte üldotstarbeline assistent ega keelemudel. Selle ülesanne on teisendada heli tekstiks, mitte vestlust analüüsida, tarkvara kirjutada, veebis sirvida, väliseid tööriistu kutsuda ega struktureeritud rakendustoiminguid genereerida.
- Arutlusvõime: Üldist arutlusvõimet ei ole dokumenteeritud. Transkriptsiooni analüüsi peab tegema eraldi mudel või rakendus.
- Programmeerimine: Koodi genereerimise võimet ei ole dokumenteeritud.
- Tööriistade ja funktsioonide kutsumine: Ei ole toetatud ega dokumenteeritud.
- Veebiotsing: Ei ole toetatud.
- Struktureeritud väljund: Struktureeritud väljundi režiimi ei ole dokumenteeritud, kuigi transkriptsioon sisaldab lausete tasandi ajatempliteavet.
- Voogedastus: Selle konkreetse kontrollpunkti jaoks ei ole voogedastusliidest dokumenteeritud.
Transkriptsiooni töövoogu saab siiski muu tarkvaraga ühendada. Näiteks võib rakendus edastada OLMoASR-small.en-i transkriptsiooni eraldi keelemudelile kokkuvõtte koostamiseks või teabe eraldamiseks. Tegemist oleks aga mitmest komponendist koosneva süsteemiga ning seda ei tohiks omistada OLMoASR-small.en-ile endale.
Tugevused ja piirangud
Peamised tugevused
- Avatud juurutamine: Kaalud ja projekti toetavad materjalid on ise hallatavaks kasutuseks saadaval märgitud Apache 2.0 litsentsi alusel.
- Kasulik kesktee: Small-kontrollpunkt pakub kompromissi tiny- ja base-mudelite väiksemate ressursinõuete ning medium- ja large-mudelite suuremate ressursinõuete vahel.
- Pikkade salvestiste tugi: See on mõeldud nii pikkade salvestiste kui ka lühikeste klippide jaoks.
- Ajatemplitega tulemused: Lausete tasandi ajatemplid toetavad subtiitrite loomist, otsingut, indekseerimist ja meedias navigeerimist.
- Uurimistöö läbipaistvus: Ai2 avaldab treeningu, töötlemise, hindamise ja mudeliga seotud materjalid, mitte ainult suletud transkriptsiooni lõpp-punkti.
Peamised piirangud
- Ainult inglise keel: See ei sobi esmaseks valikuks mitmekeelse transkriptsiooni korral.
- Ise hallatav käitamine: Kasutajad peavad korraldama hostimise ja järeldamise, selle asemel et kasutada dokumenteeritud esimese osapoole tasulist API-t.
- Ressursinõuded: Mudel on tiny- ja base-kontrollpunktidest suurem ning nõudlikum.
- Erinev täpsus päriselus: Müra, kattuvad kõnelejad, aktsendid, halva kvaliteediga mikrofonid ja tundmatud valdkonnad võivad transkriptsiooni kvaliteeti vähendada.
- Kitsas ülesandeulatus: See ei sünteesi kõnet, genereeri pilte ega videot, arutle sisu üle ega paku rakendustööriistu.
- Privaatsusega seotud kohustused: Salvestiste töötlemisel peavad organisatsioonid tegelema nõusoleku, autoriõiguse, konfidentsiaalsuse ja andmekaitse nõuetega.
Millal valida OLMoASR-small.en?
Vali OLMoASR-small.en siis, kui vajad avatud ingliskeelse kõne transkriptsiooni mudelit ning saad seda käitada kohapeal või enda hallatavas taristus. See sobib hästi koosolekute arhiivide, taskuhäälingute ja loengute transkribeerimise, ajatemplitega meediaotsingu, subtiitrite töövoogude, kõnesalvestiste analüüsi ning ASR-i katsetuste jaoks, kui mudeli artefaktide kontrollitavus on oluline.
Selle keskne positsioon OLMoASR-i mudeliperekonnas on eriti kasulik siis, kui kõige väiksemad kontrollpunktid ei paku piisavat täpsust, kuid medium- või large-variantide arvutusnõudeid on raske põhjendada. Esitatud tulemuste põhjal on see asjakohane kandidaat ka kasutajatele, kes võrdlevad avatud kõnetuvastust sarnase suurusega suletud või avatud alternatiividega.
Mõnes olukorras võib sobivam olla mõni muu valik. Vali väiksem OLMoASR-i variant siis, kui väiksem mälukasutus, kiirem järeldamine või väiksem juurutusjälg on olulisem kui esitatud täpsuse kompromiss. Kaalu suuremat OLMoASR-i varianti siis, kui täpsus on esmatähtis ja täiendav arvutusvõimsus on kättesaadav. Vali hallatud transkriptsiooniteenus siis, kui vajad hostitud lõpp-punkti, prognoositavat käitamisabi või kasutuspõhist hinnastamist, mitte ise hallatavat järeldamist. Kui salvestised sisaldavad peale inglise keele ka teisi keeli, kasuta mitmekeelset ASR-süsteemi.
Hinnastamine ja tegelik kulu
OLMoASR-small.en-i jaoks ei ole esitatud ametlikku hostitud API hinda. Avatud kontrollpunkti saab ise hallatavaks kasutuseks alla laadida, kuid „avatud” ei tähenda tootmiskeskkonnas tasuta kasutamist: kasutajad võivad endiselt maksta GPU-de või muu arvutusvõimsuse, salvestusruumi, võrgu, seire ja arendustoe eest.
Kuna selle konkreetse mudeli kohta ei ole dokumenteeritud kindlat hostitud hinda, konteksti piirangut, väljundi maksimumpiiri ega voogedastuse garantiid, peaksid meeskonnad enne läbilaskevõime või kogukulu hindamist tegema tüüpiliste helisalvestistega võrdlustestid. Kasulik hindamine peaks hõlmama sihtrakenduses esinevaid salvestiste pikkusi, aktsente, mürataset, kõnelejate kattumist ja sõnavara.
Kokkuvõte
OLMoASR-small.en on spetsialiseeritud avatud ingliskeelse kõnetuvastuse mudel kasutajatele, kes soovivad kohalikku kontrolli, ajatemplitega transkriptsiooni ning tasakaalu mudeli suuruse ja esitatud täpsuse vahel. Selle suurim väärtus avaldub ise hallatavates transkriptsiooni- ja uurimistöövoogudes. See ei ole hostitud vestlusassistent ega üldotstarbeline multimodaalne mudel ning enne juurutamist tuleb arvestada selle ainult ingliskeelse kasutusulatuse, taristunõuete ja dokumenteeritud esimese osapoole API puudumisega.