Mis on OLMoASR-large.en-v2
OLMoASR-large.en-v2 on Ai2 ehk Allen Institute for AI loodud avatud kaaludega automaatse kõnetuvastuse (ASR) mudel. ASR-süsteemid teisendavad helisalvestisel kõneldud keele kirjalikuks tekstiks. See mudel on keskendunud inglise keelele ning mõeldud nii lühikeste lausungite kui ka pikkade salvestiste, näiteks koosolekute, loengute, intervjuude, kõnede ja taskuhäälingute töötlemiseks.
Mudel sisaldab ligikaudu 1,5 miljardit parameetrit ning on Ai2 esialgse OLMoASR-i mudeliperekonna suur v2 kontrollpunkt. Ai2 avaldas selle 28. augustil 2025 koos teiste OLMoASR-i variantide ja projekti toetavate materjalidega. Erinevalt majutatud transkribeerimisteenusest on tegemist peamiselt mudeliartefaktiga, mille kasutajad laadivad alla ja käitavad ise või millele pääsevad ligi ühilduva kolmanda osapoole juurutuse kaudu.
Mudeli väljund on transkriptsioonitekst koos lausetaseme ajatemplitega. Need ajatemplid näitavad, kus tuvastatud lõigud salvestisel algavad ja lõpevad. See on kasulik subtiitrite, otsitavate arhiivide, transkriptsioonis navigeerimise ja helifaili ebaselgete lõikude ülevaatamise jaoks.
Võimalused ja toetatud modaalsused
OLMoASR-large.en-v2 roll on kitsas, kuid selgelt määratletud: ingliskeelse kõne teisendamine tekstiks. Selle toetatud sisend on heli ning mudeli otsene väljund on tekst koos lõigu metaandmetega, näiteks algus- ja lõpuajaga.
- Ingliskeelne automaatne kõnetuvastus
- Lühikeste ja pikkade helisalvestiste transkribeerimine
- Lausetaseme ajatemplid
- Kohalik Pythonil põhinev järeldamine
- Avatud kaaludega juurutamine ja teadustöövood
Mudel ei genereeri heli, pilte, videot, manuseid ega üldotstarbelisi vestlusvastuseid. Samuti ei ole see pildi- ja helisisendiga multimodaalne assistent: esitatud spetsifikatsioonides on sisendmodaalsusena määratletud heli ja väljundina tekst. Dokumenteeritud tööriista- ega funktsioonikutsete liidest, veebotsingu võimalust, JSON-režiimi ega struktureeritud väljundi funktsiooni ei ole.
Kuna tegemist on spetsiaalse ASR-kontrollpunktiga, ei ole tavapäraseid keelemudeli näitajaid, nagu kontekstiakna pikkus ja maksimaalne väljundtokenite arv, selle mudeli kohta avaldatud. Transkribeerimisvõimet tuleks seetõttu mõista pigem viiteimplementatsiooni toetatud helifailide ja töötlusvoo kaudu.
Täpsus ja võrdlustulemused
Ai2 hindas OLMoASR-i mudeliperekonda 21 kõnetuvastuse võrdlustestis, mis hõlmasid muu hulgas audioraamatuid, telefonikõnesid, koosolekuid, loenguid ja vestluskõnet. OLMoASR-large.en-v2 puhul oli teatatud keskmine sõnavigade määr lühivormiliste võrdlustestide lõikes 12,6% ja pika vormi võrdlustestide lõikes 11,5%.
Sõnavigade määr ehk WER näitab nende tuvastatud sõnade osakaalu, mis erinevad võrdlustranskriptsioonis olevatest sõnadest. Väiksem tulemus on parem, kuid keskmine näitaja ei ennusta mudeli jõudlust iga salvestise puhul. Teatatud lühivormiliste testide tulemused näitavad, kuidas mudeli tulemuslikkus valdkonniti erineb:
| Võrdlustest | Teatatud sõnavigade määr |
|---|---|
| LibriSpeech clean | 2,7% |
| LibriSpeech other | 5,6% |
| TED-LIUM3 | 4,2% |
| WSJ | 3,6% |
| CallHome | 15,0% |
| Switchboard | 11,7% |
| Common Voice 5.1 | 11,1% |
Need arvud on teenusepakkuja teatatud hindamistulemused, mitte konkreetse salvestise puhul antav garantii. Tuvastust võivad mõjutada taustamüra, mikrofoni kvaliteet, kõnelejate aktsendid, kattuv kõne, sõnavara ja käsitletav teema. Telefonivestlused ja mitteametlik kõne võivad olla keerukamad kui selged, ettevalmistatud salvestised.
Treening ja avalikustatud komponendid
Ai2 sõnul treeniti OLMoASR-large.en-v2 algusest peale OLMoASR-Mix-i andmestiku abil. See andmestik tuletati ligikaudu kolme miljoni tunni suurusest nõrga järelevalvega heli- ja tekstikogumist. Kureerimisprotsess hõlmas keelelist sobitamist, transkriptide kvaliteedi filtreerimist, dublettide eemaldamist ja muid heuristikuid, mille eesmärk oli parandada heli ja transkriptsioonide paaride usaldusväärsust.
Projekti avatus ulatub mudeli enda kontrollpunktist kaugemale. Avalikud materjalid hõlmavad mudeli implementatsiooni, treeninguprotseduure, andmetöötluskoodi, hindamisskripte ja seotud andmestikuressursse. See muudab mudeli asjakohaseks teadlastele, kes peavad saama arendusprotsessi uurida, selle asemel et tugineda üksnes varalisele majutatud lõpp-punktile.
Arendajatele võib see pakkuda tuge korratava hindamise, valdkonnapõhiste testide, auditeerimise ja enda hallatava transkribeerimise katseteks. Samas tähendab see, et mudeli kasutamine on keerukam kui helifaili saatmine kommerts-API-le: kasutajad peavad hankima koodi ja kaalud, installima sõltuvused, ette valmistama sobiva riistvara ning haldama järeldamiskeskkonda.
Juurutamine, hinnastamine ja jõudluse kompromissid
Viiteprojekt dokumenteerib Pythonil põhineva järeldamise ning nõuab OLMoASR-i koodibaasi, selle sõltuvusi ja helitöötlustarkvara, näiteks ffmpeg-i. Ligikaudu 1,5 miljardi parameetriga kontrollpunkti on oluliselt nõudlikum juurutada kui väiksemaid OLMoASR-i variante. Esitatud uurimus ei täpsusta minimaalset GPU-d, CPU-d ega mälunõuet, samuti ei esita see läbilaskevõime näitajat ega latentsuse sihti. Seetõttu tuleks neid üksikasju hinnata kasutatava riistvara puhul, mitte eeldada.
OLMoASR-large.en-v2 jaoks ei ole olemas ametlikku Ai2 majutatud API minutipõhist hinda. Selle otsene kulumudel erineb seega kasutuspõhiselt hinnastatud transkribeerimis-API-st: kaalud on allalaadimiseks saadaval, kuid kohapeal käitamisel tasub operaator riistvara, salvestusruumi, elektri, hoolduse ja inseneritöö eest. Kolmanda osapoole majutusteenus võib järeldamise eest tasu küsida, kuid see oleks eraldi teenusepakkuja hinnastus, mitte Ai2 hind mudeli eest.
Selle kiiruse ja hinna kompromissid erinevad samuti majutatud teenuse omadest. Kohalik käitamine võib pärast juurutamist pakkuda suuremat kontrolli andmekäitluse üle ja prognoositavat juurdepääsu, kuid suur kontrollpunkt võib nõuda rohkem arvutusressursse ning olla väiksema kõnetuvastusmudeliga võrreldes aeglasem või kulukam. Uurimus ei esita ametlikku kiiruse edetabelit ega kuluvõrdlust. Seetõttu tuleks igasugust kiiruse või kulu võrdlust käsitleda juurutusest sõltuvana.
Peamised tugevused ja piirangud
Tugevused
- Avatud mudeliartefaktid: Kasutajad pääsevad ligi kaaludele ja projektiressurssidele ega sõltu üksnes suletud lõpp-punktist.
- Korratavus: Treeningu-, andmetöötlus- ja hindamismaterjalid toetavad läbipaistvamat teadustööd ja auditeerimist.
- Pikkade salvestiste tugi: Mudel on mõeldud nii pikkade salvestiste kui ka lühikeste lausungite jaoks.
- Ajainfo: Lausetaseme ajatemplid muudavad väljundi kasulikumaks subtiitrite, arhiivide ja transkriptsioonis navigeerimise jaoks.
- Lai hindamiskate: Ai2 teatab testimisest 21 võrdlustestis ja mitmes kõnevaldkonnas.
Piirangud
- Inglise keele fookus: Seda ei tohiks valida mitmekeelseks transkribeerimismudeliks.
- Spetsialiseeritud väljund: See toodab transkriptsioone, mitte kõnet, pilte, videot, manuseid ega üldotstarbelisi vestlusvastuseid.
- Riistvaranõudlikkus: Suur parameetrite arv muudab selle väiksemate sama perekonna mudelitega võrreldes vähem sobivaks väga piiratud ressurssidega juurutusteks.
- Ametliku Ai2 majutatud API puudumine: Kasutajad peavad üldjuhul mudelit ise majutama või leidma sobiva välise juurutuse.
- Reaalse kasutuse varieeruv täpsus: Mürarikas, kattuv, aktsendiga, halvasti salvestatud või spetsiifiline kõne võib transkriptsiooni kvaliteeti vähendada.
- Dokumenteeritud sisseehitatud tööriistade puudumine: Mudel ei paku veebotsingut, funktsioonikutseid ega assistendilaadset rakenduskihti.
Millal valida OLMoASR-large.en-v2
Vali OLMoASR-large.en-v2 siis, kui peamine vajadus on avatud, enda hallatav ingliskeelne transkribeerimine ning meeskond suudab toetada suhteliselt suurt kohalikku mudelit. See sobib hästi uurimisrühmadele, kes võrdlevad ASR-süsteeme, organisatsioonidele, kes loovad otsitavaid heliarhiive, arendajatele, kes koostavad koosolekute või loengute transkribeerimise töövooge, ning projektidele, mis vajavad suuremat kontrolli heli töötlemise asukoha üle.
Mudel on mõistlik valik ka siis, kui läbipaistvus on oluline. Juurdepääs implementatsioonile, treeninguprotsessile, andmetöötlusressurssidele ja hindamiskoodile võib olla teadlaste jaoks, kes uurivad mudeli käitumist või loovad korratavaid eksperimente, väärtuslikum kui lihtsam kommerts-API.
Mõni teine lahendus võib olla sobivam, kui prioriteediks on väga väike latentsus, minimaalne riistvaravajadus, mitmekeelsus või valmislahendusena majutatud teenus. Väiksem OLMoASR-i kontrollpunkt võib olla parem servaseadmete ja piiratud ressurssidega serverite jaoks. Kommertsiaalne transkribeerimis-API võib olla lihtsam rakenduste puhul, mis vajavad hallatud skaleerimist, avaldatud minutipõhist hinnastust, teenusetaseme tuge või integratsiooni, mille puhul ei ole vaja mudeli taristut ise hooldada. Need alternatiivid võivad siiski vähendada kontrollitavust ja juurutuse üle otsustamise võimalusi, mis Ai2 mudelit eristavad.
Sobivus arutlemiseks, kodeerimiseks ja rakendusteks
OLMoASR-large.en-v2 ei tuleks hinnata nagu üldotstarbelist keelemudelit. Avatud otsaga arutlemine ja koodi genereerimine ei kuulu selle peamiste võimete hulka. Seda saab kohaliku Pythoni-põhise järeldamise kaudu tarkvaratöövoogu lõimida, kuid see on integratsioonimeetod, mitte tõend selle kohta, et mudel kirjutab või käivitab koodi. Samuti ei tähenda ajatemplid ja transkriptsiooni metaandmed üldotstarbelise struktureeritud väljundi ega agendivõime olemasolu.
Mudelile antud toimetuslikud võimekusehinnangud omistavad arutlemisele ja kodeerimisele vähe praktilist tähendust, sest need ülesanded jäävad mudeli eesmärgist väljapoole. Neid ei tohiks tõlgendada teenusepakkuja avaldatud võrdlustestide tulemustena. Kasulikud hindamisküsimused on hoopis see, kas ingliskeelsed transkriptsioonid on sihtheli jaoks piisavalt täpsed, kas ajatemplid vastavad rakenduse vajadustele ja kas olemasolev riistvara suudab salvestisi vastuvõetava kiirusega töödelda.
Kokkuvõte
OLMoASR-large.en-v2 on fookustatud ingliskeelse ASR-i kontrollpunkt kasutajatele, kes väärtustavad avatud kaalusid, läbipaistvaid teadusmaterjale ja kohalikku juurutamist. Ligikaudu 1,5 miljardi parameetriga ülesehitus, pikkade salvestiste transkribeerimise tugi, lausetaseme ajatemplid ja teatatud võrdlustulemused muudavad selle tõsiseks teadus- ja enda hallatava kasutuse võimaluseks. Sama olulised on piirangud: see ei ole mitmekeelne, ei ole vestlusmudel, sellel puudub ametlik Ai2 majutatud API hinnastus ning suurus suurendab käitamisnõudeid. Parim põhjus selle valimiseks on kontroll ja korratavus, mitte juurdepääs laiale assistendivõimaluste valikule.