Mis on MAI-Transcribe-2?
MAI-Transcribe-2 on Microsoft AI kõnest tekstiks teisendav mudel. Selle ülesanne on kitsalt määratletud: see kuulab helisalvestist ja koostab kirjaliku transkriptsiooni, mida saab soovi korral täiendada keeleinfo, kõnelejate siltide, usaldusväärtuste, nihete, kestuste ja sõnataseme ajatemplitega.
Mudel on Azure Speechi ja Microsoft Foundry kaudu avalikus eelvaates saadaval. Azure Speechi transkriptsiooni API-s valitakse see täiustatud režiimi kaudu, kus enhancedMode.enabled väärtuseks määratakse true ja enhancedMode.model väärtuseks MAI-Transcribe-2. Seetõttu tuleks seda käsitleda pigem spetsiaalse transkriptsiooniteenuse kui üldotstarbelise vestlusliku tehisintellekti mudelina.
MAI-Transcribe-2 on mõeldud realistlikes tingimustes tehtud salvestiste jaoks: aktsendiga kõne, taustamüra, ebaühtlane mikrofonikvaliteet, üksteisega kattuvad kõnelejad ja mitme keele vahel liikuvad vestlused. See ei ole tekstivestlusrobot, pildimudel, kõnesüntesaator, manustemudel ega meedia genereerimise süsteem.
Mida mudel teha suudab
- Transkribeerida 60 keeles: Microsoft dokumenteerib toe inglise, hispaania, prantsuse, saksa, itaalia, portugali, hiina, jaapani, korea, hindi, araabia, türgi, ukraina, vietnami, kantoni ja teiste Euroopa, Aasia, Lähis-Ida ning Aafrika keelte jaoks.
- Tuvastada keeled automaatselt: Keeletuvastust saab kasutada siis, kui lokaat pole sõnaselgelt määratud.
- Eristada kõnelejaid: Kõnelejate diariseerimine märgistab salvestise erinevad hääled, et koosoleku transkriptsioonis oleks võimalik osalejaid eristada.
- Tagastada sõnataseme ajatemplid: Üksikute sõnade ajastus toetab subtiitreid, heliotsingut, transkriptsioonis navigeerimist, redigeerimist ja videoga sünkroonimist.
- Kasutada märksõnade kallutamist: Tuvastamist saab suunata valdkonnaspetsiifiliste fraaside, nimede, lühendite ja erialaterminite poole.
- Toetada keelte vahetamist: Mudel on loodud kõne jaoks, milles vahetatakse keelt, sealhulgas selliste näidete nagu hinglish ja spanglish puhul.
- Pakkuda puhastatud või sõnasõnalist väljundit: Sõnasõnaline transkriptsioon säilitab täitesõnad, poolelijäänud laused ja eneseparandused. Puhastatud transkriptsioon eemaldab kõne takerdumised, et tekst oleks paremini loetav.
Need funktsioonid muudavad mudeli praktilise transkriptsiooni jaoks sobivamaks kui lihtsa kõnetuvastuse lõpp-punkti, mis tagastab ainult toorteksti. Näiteks saab meeskond ajatemplite abil subtiitrid heliga sünkroonida, samal ajal kui kontaktikeskus saab kõnelejate eristamise ja märksõnavihjete abil otsida vestlustest toodete nimesid või nõuetele vastavusega seotud termineid.
Toetatud heli, piirangud ja väljund
Esitatud mudeliinfo kohaselt toetab mudel sisendvorminguid WAV, MP3 ja FLAC. Mudelikaardi järgi on sisendi maksimaalne suurus 300 MB või kaks tundi, mistõttu sobib see paljude koosolekute, intervjuude, tundide, kõnede ja taskuhäälingulõikude jaoks.
Algne väljund on tekst. Valikulised metaandmed võivad sisaldada kõneleja identiteeti, tuvastatud keelt, nihkeid, kestusi, usaldusväärtusi ja ajatempleid. Sõnataseme ajastus on eriti kasulik siis, kui transkriptsioon peab jääma heli- või videoallikaga sünkrooni.
Dokumenteeritud kontekstiakna ega maksimaalse väljundtokenite arvu spetsifikatsiooni ei ole, sest MAI-Transcribe-2 ei tööta tavapärase teksti genereerimise keelemudelina. Selle praktiline väljundipiirang sõltub toetatud helisisendist ja kõneteenuse tagastatavast transkriptsioonist, mitte avaldatud tokenipõhisest kontekstiaknast.
Microsoft dokumenteerib olulise eelvaatepiirangu: ligikaudu 15-minutiliste või pikemate salvestiste diariseerimispäringud võivad aeguda või nurjuda isegi siis, kui sama heli transkribeeritakse kõnelejate eristamiseta edukalt. Pikkade salvestiste puhul soovitab Microsoft diariseerimise välja lülitada ning kombineerida sõnataseme ajatemplid eraldi kõnelejate diariseerimise protsessiga.
Täpsus- ja kiirusväited
Microsoft teatab oma käivitamisankeedis, et FLEURSi sõnaveamäära keskmine 60 keele lõikes on 5,2%. Mudeli lehel teatatakse ka 3,4% suurusest keskmisest WER-ist 25 enim toetatud keele puhul ning Artificial Analysise WER-tulemusest 2%. Sõnaveamäär mõõdab transkriptsioonivigu, seega näitavad väiksemad väärtused vähem sõnataseme vigu, kuid tulemused võivad erineda sõltuvalt keelest, aktsendist, mürast, kattuvast kõnest, mikrofoni kvaliteedist ja salvestustingimustest.
Microsoft teatab ka, et üks tund heli töödeldakse viidatud järeldustingimustes ligikaudu 10 sekundiga. See on teenusepakkuja avaldatud jõudlusväide, mitte garantii iga Azure'i regiooni, töökoormuse, faili või päringu konfiguratsiooni kohta.
Esitatud kataloogis on MAI-Transcribe-2 kiirusele antud hinne 9 ja kulule hinne 10. Need on toimetuslikud võrdlushinded, mitte Microsofti võrdlustestide tulemused ega teenusegarantiid. Need kajastavad mudeli positsioneerimist kiire ja soodsa transkriptsioonivõimalusena, eriti sissejuhatava hinna juures.
Hind ja juurdepääs
Käivitushind on 0,10 dollarit ühe helitunni eest ning Microsofti esitatud uuringu kohaselt kehtib piiratud aja pakkumine kuni 31. detsembrini 2026. Hind põhineb heli kestusel, mitte tekstiväljundil, ning esitatud info põhjal eraldi tekstiväljundi tasu ei ole dokumenteeritud.
Modeli kasutamiseks on vaja Azure'i tellimust, Microsoft Foundry Speechi ressurssi ja saadaolevat Azure'i regiooni. Tegelik juurdepääs võib sõltuda ka eelvaate kättesaadavusest ja valitud Azure'i teenuse konfiguratsioonist. Kuna mudel on avalikus eelvaates, peaksid kasutajad enne selle tootmise töövoogu lülitamist kontrollima piirkondlikku saadavust ja kehtivaid hindu.
Järeldus-, programmeerimis- ja tööriistavõimalused
MAI-Transcribe-2 ei paku üldotstarbelist järeldamist ega programmeerimisvõimalusi. See tuvastab kõne ja struktureerib seda; mudel ei analüüsi iseseisvalt äriprobleeme, kirjuta tarkvara, sirvi veebi, kutsu väliseid tööriistu, genereeri manuseid ega pea üldist vestlust.
Selle kasulik „intelligentsus” on ülesandespetsiifiline. Mudel suudab tuvastada kõne sisu, eristada kõnelejaid, kui diariseerimine toimib, tuvastada keeli, rakendada tuvastusvihjeid ning koostada kas loetava või väga täpse transkriptsiooni. Hilisem kokkuvõtete koostamine, küsimustele vastamine, tõlkimine, programmeerimine või töövoo automatiseerimine eeldaks tavaliselt eraldi mudelit või rakendusekihti.
Peamised tugevused ja piirangud
Tugevused
- Lai mitmekeelne tugi: 60 toetatud keelt ja keelte vahetamise tugi muudavad selle sobivaks rahvusvaheliste koosolekute ja mitmekeelse meedia jaoks.
- Kasulik transkriptsiooni struktuur: Kõnelejate sildid ja sõnataseme ajatemplid toetavad subtiitreid, otsingut, redigeerimist, vastavuskontrolli ja analüütikat.
- Kohandatavus valdkonnaga: Märksõnade kallutamine võib parandada nimede, tootenimetuste, akronüümide ja erialasõnavara tuvastamist.
- Paindlik transkriptsioonistiil: Puhastatud väljund on paremini loetav, sõnasõnaline väljund aga säilitab uurimistöö, õigusliku kontrolli või vestlusanalüüsi jaoks olulised üksikasjad.
- Madal sissejuhatav hind: Väljakuulutatud hind 0,10 dollarit tunni kohta on suuremahulise transkriptsiooni jaoks atraktiivne, kui pakkumine ja piirkondlik saadavus konkreetse töökoormuse puhul kehtivad.
- Loodud ebatäiuslike salvestiste jaoks: Microsoft positsioneerib mudelit müra, aktsentide, erineva mikrofonikvaliteedi ja muude stuudiokvaliteedist kehvemates helisalvestistes esinevate tingimuste jaoks.
Piirangud
- Avaliku eelvaate staatus: Teenusele ei kehti teenusetaseme leping, mistõttu peaksid tootmiskriitilised kasutajad arvestama saadavuse ja käitumise muutumisega.
- Pikkade salvestiste diariseerimisrisk: Kõnelejate eristamine võib ligikaudu 15 minuti pikkuste või pikemate salvestiste puhul ebaõnnestuda või aeguda isegi siis, kui transkriptsioon ilma diariseerimiseta õnnestub.
- Piiratud sisendvormingud: Esitatud spetsifikatsioonides on loetletud WAV, MP3 ja FLAC, mitte lai valik video- või konteinervorminguid.
- See ei ole üldine tehisintellektiassistent: See ei asenda keelemudelit kokkuvõtete koostamisel, järeldamisel, programmeerimisel, veebiuuringutes ega vestluslikus küsimustele vastamises.
- Täpsus sõltub tingimustest: Avaldatud WER-i näitajad on võrdlustestide või teenusepakkuja teatatud tulemused, mitte iga keele ja salvestise puhul garanteeritud veamäärad.
- Heli genereerimine puudub: Mudel väljastab teksti ega sünteesi kõnet, muusikat ega muud heli.
Parimad kasutusjuhud
MAI-Transcribe-2 sobib hästi olukordadesse, kus peamine vajadus on täpne ja struktureeritud transkriptsioon, mitte avatud suhtlus. Sobivate rakenduste hulka kuuluvad koosolekute protokollid, kontaktikeskuste analüüs, kliiniline dokumentatsioon, õigus- ja finantssalvestised, ligipääsetavuse subtiitrid, videosubtiitrid, meedia arhiveerimine, taskuhäälingute indekseerimine, e-õpe, mitmekeelse sisu haldus ja hääleagentide hindamine.
See on eriti kasulik siis, kui transkriptsioon peab vastama küsimustele „kes seda ütles?”, „kus salvestises seda fraasi kasutati?” või „mis keeles sel hetkel räägiti?”. Märksõnade kallutamine võib aidata organisatsioonidel käsitleda termineid, mida tavalised tuvastussüsteemid võivad valesti mõista.
Millal valida MAI-Transcribe-2?
Vali MAI-Transcribe-2 siis, kui vajad mitmekeelse heli transkribeerimist koos ajatemplite, kõnelejate eristamise, keeletuvastuse ja tuvastusvihjetega ning kui oluline on madal tunnipõhine hind ja suur töötlemiskiirus. See on mõistlik valik ka meeskondadele, kes juba kasutavad Azure Speechi või Microsoft Foundryt ja on valmis töötama avalikus eelvaates oleva teenusega.
Kaalu muud lahendust siis, kui diariseerimine peab pikkadel salvestistel usaldusväärselt toimima, tootmise töövoog vajab teenusetaseme lepingut või rakendus vajab samas mudelis kokkuvõtete koostamist, järeldamist, programmeerimist, veebipääsu või kõne genereerimist. Pikkade koosolekute puhul on Microsofti dokumenteeritud juhiste põhjal praktiline alternatiiv transkribeerida ilma diariseerimiseta ja rakendada seejärel eraldi kõnelejate tuvastamise etapp.
Kokkuvõte
MAI-Transcribe-2 on keskendunud Azure'i kõnetuvastusmudel, mitte üldine tehisintellektisüsteem. Selle 60 keele tugi, keelte vahetamise võimalus, sõnataseme ajatemplid, kõnelejate diariseerimine, märksõnade kallutamine ning puhastatud ja sõnasõnalised režiimid annavad sellele transkriptsioonitöövoogudes kasuliku rolli. Peamine kompromiss puudutab eelvaateteenuse küpsust: hind ja teatatud kiirus on atraktiivsed, kuid pikkade salvestiste diariseerimise tõrked ning teenusetaseme lepingu puudumine muudavad valideerimise kriitilise tähtsusega enne teenuse kasutamist olulistes töökoormustes.