Mis on OLMoASR-large.en-v1?
OLMoASR-large.en-v1 on Allen Institute for AI ehk Ai2 arendatud avatud automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR teisendab kõne heli kirjalikuks tekstiks. See kontrollpunkt on keskendunud ingliskeelsele transkriptsioonile ja sisaldab ligikaudu 1,5 miljardit parameetrit.
Mudel on mõeldud peamiselt kohalikuks või teadustööks kasutamiseks, mitte mõõdetava kasutuspõhise hinnastusega teenusepakkuja hallatava API kaudu kasutamiseks. Ai2 avaldas mudeli koos avalikult kättesaadavate kaalude ja toetavate uurimisressurssidega, sealhulgas koodi, andmetöötlustööriistade ja hindamiskoodiga. Avaldatud kontrollpunkti tähistab mudelihoidlas tavaliselt kataloog OLMoASR-large.en; tähis -v1 eristab seda hilisemast OLMoASR-large.en-v2 kontrollpunktist.
Ai2 praeguses avatud mudelite kataloogis on OLMoASR-large.en-v1 OLMo perekonna kõnetuvastusele spetsialiseerunud mudel. See erineb Ai2 tekstikesksetest OLMo keelemudelitest ja Molmo multimodaalsetest mudelitest. Selle ülesanne on kitsam, kuid selgem: muuta ingliskeelne kõne otsitavaks, redigeeritavaks ja ajaliselt joondatud tekstiks.
Peamised võimalused ja väljund
OLMoASR-large.en-v1 võtab vastu ingliskeelset heli ja väljastab transkriptsiooniteksti. See toetab nii lühikesi lausungeid kui ka pikki salvestisi, mistõttu sobib kasutamiseks alates lühikesest häälklipist kuni koosoleku, loengu, kõne, audioraamatu või taskuhäälingu laadse salvestiseni.
Teostus võib koos tuvastatud tekstiga tagastada lausetaseme ajatempliinfo. See võimaldab rakendusel seostada iga lause lähteheli algus- ja lõppkohaga. Dokumenteeritud transkriptsioonitulemus sisaldab ka segmentide piire, tokeniinfot, usaldusväärsusega seotud genereerimisstatistikat ja tuvastatud keele infot.
- Ingliskeelse kõne teisendamine tekstiks
- Lühikeste ja pikkade helisalvestiste töötlemine
- Lausetaseme ajatemplid
- Kohalik järeldamine Pythonis
- Ai2 dokumenteeritud voogedastusele suunatud kasutusjuhud
- Avatud mudelikaalud, treeningkonveier, andmetöötluskood ja hindamiskood
Mudel genereerib teksti ja transkriptsiooni metaandmeid. See ei genereeri kõnet, muusikat, pilte ega videot, vektoresitusi ega käivitatavaid toiminguid. Seetõttu tuleks seda hinnata ASR-komponendina, mitte üldotstarbelise vestlusassistendina.
Treeningu- ja avaldamiskontekst
Ai2 teatas OLMoASR-i mudeliperekonnast 28. augustil 2025. OLMoASR-large.en-v1 treeniti 440 000 tunni helimaterjaliga. Ai2 sõnul treeniti perekond algusest peale kureeritud avaliku heli- ja transkriptsiooniandmestiku põhjal, mitte avalikustamata varaliste treeninguallikate abil.
Laiem OLMoASR-i projekt hõlmab ligikaudu kolme miljoni tunni ulatuses nõrgalt juhendatud ingliskeelset heli ning ligikaudu ühe miljoni tunni suurust filtreeritud OLMoASR-Mix-i andmestikku. Ai2 avaldas ka andmetöötlus- ja filtreerimiskonveieri. Teadlaste jaoks on selline avatus oluline, sest see hõlbustab uurimist, kuidas andmete kureerimine mõjutab mudeli käitumist, ning treeninguprotsessi taastootmist või edasiarendamist.
Hilisem large.en-v2 kontrollpunkt treeniti 680 000 tunni helimaterjaliga. See võrdlus aitab paigutada v1 mudeliperekonna konteksti, kuid ei muuda v1 ja v2 teineteisega asendatavaks: OLMoASR-large.en-v1 on eraldi avaldatud kontrollpunkt, millel on oma treeningandmed ja võrdlustulemused.
Tuvastustäpsus
Ai2 teatas OLMoASR-large.en-v1 keskmiseks sõnavigade määraks ehk WER-iks lühikeste lausungite hindamiskomplektis 13,0 protsenti ja pikkade salvestiste hindamiskomplektis 11,4 protsenti. WER mõõdab sõnataseme lisamiste, kustutamiste ja asenduste arvu võrreldes võrdlustranskriptsiooniga. Väiksem näitaja on parem, kuid keskmine võrdlustulemus ei taga konkreetse salvestise puhul sama veamäära.
Tulemused varieerusid sõltuvalt andmestikust ja kõnetingimustest. Puhast kõnet oli mudelil lihtsam tuvastada kui väga mürarikast, kaugelt salvestatud, kattuvat või kaugvälja vestluskõnet. Praktilist tulemust võivad mõjutada aktsent, mikrofoni kvaliteet, taustamüra, kõnelejate kattuvus ja transkriptsioonitavad.
Ai2 viidatud võrdluses saavutas OLMoASR-large.en-v1 lühivormilise kõne keskmiseks WER-iks 13,0 protsenti, samal ajal kui Whisper-large-v1 saavutas 12,2 protsenti. Hilisem OLMoASR-large.en-v2 vähendas seda erinevust pärast suurema helikoguse põhjal treenimist. Need näitajad aitavad mudelit positsioneerida, kuid neid ei tohiks käsitleda universaalse pingereana kõigi keelte, valdkondade, helitingimuste või juurutuskonfiguratsioonide lõikes.
Juurutamine, hinnastamine ja ressursikasutuse kompromissid
OLMoASR-large.en-v1 ametlikku majutatud API hinnastust ei ole tuvastatud. Ai2 avaldas selle avatud kaaludega juurutamiseks, mistõttu mudeli otsene hind ei põhine korduvmaksena minutitel ega tokenitel. Tegelikud kulud tulenevad järeldamiseks vajaliku taristu kasutamisest ning arenduse, salvestusruumi ja hooldusega seotud kuludest.
Ametlikud materjalid kirjeldavad Pythonipõhist kasutust OLMoASR-i koodibaasi kaudu ning nõuavad selle sõltuvusi ja helitöötlustööriistu, näiteks FFmpeg-i. Mudeli saab laadida Ai2 mudelikogust ja kasutada helifaili transkribeerimiseks. Täpsed riistvaranõuded sõltuvad täpsusest, pakisuurusest, salvestise kestusest ja valitud järeldamisseadistusest.
V1 perekonna suure kontrollpunktina vajab see eeldatavasti rohkem ressursse kui OLMoASR-i tiny-, base-, small- ja medium-variandid. Esitatud spetsifikatsioonides ei ole avaldatud kindlat kontekstipikkust ega maksimaalset väljundtokenite piiri. ASR-süsteemi puhul sõltuvad praktilised piirangud tavapärase keelemudeli kontekstiakna näitajast rohkem heli kestusest, mälust, partiitöötlusest ja pikkade salvestiste töötlemise käitumisest.
| Spetsifikatsioon | Kontrollitud teave |
|---|---|
| Teenusepakkuja | Allen Institute for AI (Ai2) |
| Avaldamiskuupäev | 28. august 2025 |
| Mudeli suurus | Ligikaudu 1,5 miljardit parameetrit |
| Peamine sisend | Ingliskeelne heli |
| Peamine väljund | Transkriptsioonitekst ja ajatemplitega segmendid |
| Treeninguheli | 440 000 tundi |
| Majutatud API hind | Ametlikku majutatud API hinnastust ei ole tuvastatud |
| Konteksti pikkus | Esitatud spetsifikatsioonides avaldamata |
| Maksimaalsed väljundtokenid | Esitatud spetsifikatsioonides avaldamata |
Peamised tugevused ja piirangud
Tugevused
- Avatud teadus ja juurutamine: Kaalud, kood, andmetöötluskonveier ja hindamisressursid on saadaval, mis on kasulik organisatsioonidele, kes vajavad kohalikku kontrolli või soovivad süsteemi uurida.
- Kasulik pikkade salvestiste tugi: Mudel on loodud enamaks kui üksikute häälkäskluste töötlemiseks ning suudab töödelda näiteks koosolekute, loengute, kõnede ja audioraamatute salvestisi.
- Ajatemplitega tulemused: Lausetaseme ajastus on kasulik subtiitrite, otsitavate arhiivide, redigeerimise töövoogude ja ülevaateliideste puhul.
- Inglise keelele spetsialiseerumine: Inglise keelele keskendumine võimaldab kontrollpunktil optimeerida ingliskeelset transkriptsiooni, selle asemel et püüda ühe mudeliga katta paljusid keeli.
- Puudub kohustuslik teenusepakkuja tasu iga päringu eest: Kohalik juurutamine võib vältida majutatud järeldamise tasusid, kui organisatsioonil on juba sobiv taristu.
Piirangud
- Ingliskeelne: See ei ole üldotstarbeline mitmekeelne transkriptsioonimudel. Kui rakendus peab toetama mitut keelt, sobib paremini mitmekeelne ASR-süsteem.
- Iseseisva majutamise vastutus: Kasutajad peavad haldama riistvara, sõltuvusi, heli eeltöötlust, skaleerimist, seiret ja uuendusi. Avatud kontrollpunkt ei ole sama mis valmislahendusena majutatud teenus.
- Muudetav täpsus: Mürarikas, kaugelt salvestatud, kattuv, tugeva aktsendiga või halvasti joondatud kõne võib anda puhaste salvestistega võrreldes märksa kehvema transkriptsiooni.
- Puuduvad üldise assistendi funktsioonid: Mudel ei paku sisseehitatud veebotsingut, tööriistade kutsumist, struktureeritud väljundi juhtimist ega teenusepakkuja hallatavat vestlusliidest.
- Kõne genereerimine puudub: Mudel tuvastab kõnet, kuid ei sünteesi kõneldavat vastust.
- Avaldamata kindlad piirangud: Esitatud dokumentatsioonis ei ole määratud tavapärast kontekstiakent, maksimaalset väljundtokenite arvu ega majutatud teenuse kasutuslimiiti.
Arutlus, kodeerimine ja tööriistade tugi
OLMoASR-large.en-v1 ei ole tavapärases keelemudeli tähenduses arutlus- ega kodeerimismudel. Selle väljund on transkriptsioonitekst ja seotud metaandmed, mitte samm-sammuline analüüs, lähtekood ega autonoomsed otsused. Rakenduse arutlus- või kodeerimisvõimekus peaks pärinema eraldi mudelist, mida kasutatakse pärast transkriptsiooni.
Samuti ei ole mudelil dokumenteeritud tööriista- ega funktsioonikutsumise liidest. See võib olla üks etapp suuremas töövoos — näiteks koosoleku transkribeerimine enne seda, kui mõni teine süsteem selle kokku võtab —, kuid ASR-kontrollpunkt ise ei sirvi veebi, kutsu väliseid funktsioone, käivita koodi ega tee toiminguid.
Millal valida OLMoASR-large.en-v1?
Vali OLMoASR-large.en-v1 siis, kui prioriteediks on avatud ja kohalik ingliskeelne transkriptsioon ning meeskond suudab oma järelduskeskkonda ise hallata. See sobib uurimistööks kõnetuvastuse vallas, ettevõttesiseste koosolekute transkribeerimiseks, loengute ja kõnede arhiivide loomiseks, subtiitrite töövoogudesse, taskuhäälingute töötlemiseks ning kõneandmetega tehtavateks katseteks, kus kontrollitavad mudeliartefaktid on olulised.
Selle avatus on eriti väärtuslik siis, kui heli peab jääma organisatsiooni taristusse või kui teadlased vajavad juurdepääsu treeningu- ja hindamiskonveierile. See võib olla hea valik ka juhul, kui teenusepakkuja minutipõhise API-hinna vältimine on olulisem kui haldustöö vähendamine.
Mitmes olukorras võib sobivam olla mõni muu valik. Mitmekeelsete töövoogude puhul kasuta mitmekeelset ASR-mudelit, taristu lihtsuse ja hallatud skaleerimise eelistamisel majutatud transkriptsiooni-API-t ning väiksema riistvarakasutuse ja kiirema järeldamise vajaduse korral väiksemat OLMoASR-i varianti. Hilisemat OLMoASR-large.en-v2 kontrollpunkti tasub hinnata juhul, kui selle suurem treeningkorpus ja avaldatud tulemused vastavad sihttöökoormusele paremini.
Väga mürarikka või kattuva kõne puhul testi mudelit enne juurutamist tüüpiliste salvestistega. Avaldatud WER-i keskmised on kasulikud lähtepunktid, kuid tootmiskvaliteeti tuleks mõõta nende aktsentide, mikrofonide, keskkondade ja sõnavara põhjal, millega rakendus tegelikult kokku puutub.
Kokkuvõte
OLMoASR-large.en-v1 on teadustööle suunatud avatud kaaludega ingliskeelne ASR-mudel, mitte üldine tehisintellektiassistent ega majutatud transkriptsioonitoode. Selle peamised eelised on kohalik juurutamine, läbipaistvad toetavad ressursid, pikkade salvestiste transkriptsioon ja ajatemplitega väljund. Peamised kompromissid on keskendumine ainult inglise keelele, iseseisva majutamise keerukus, ressursivajadus ning avaldatud kasutuslimiitide ja hindadega hallatud API puudumine.
Meeskondadele, kes väärtustavad korratavust ja kontrolli, pakub see mahukat avatud kontrollpunkti ingliskeelse kõne tekstiks teisendamiseks. Meeskondadele, kes vajavad mitmekeelset tuge, valmislahendusena skaleerimist, kõne genereerimist või integreeritud assistendifunktsioone, sobib paremini teistsugune mudelitüüp või teenus.