ASR 1.0

Mis on MiniMax ASR 1.0?

MiniMax ASR 1.0 on MiniMaxi automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR teisendab kõneheli kirjalikuks tekstiks. Erinevalt üldotstarbelisest keelemudelist on ASR 1.0 spetsialiseerunud üles laaditud helifaili kuulamisele ja transkriptsiooni koostamisele, mitte esseede kirjutamisele, küsimustele vastamisele, koodi genereerimisele või meedia loomisele.

Mudel on saadaval MiniMaxi arendajatele mõeldud kõnest tekstiks teenuse kaudu. Selle kanooniline mudelitunnus on asr-1.0 ning päringud kasutavad multipart-vormingu andmetega lõpp-punkti /v1/speech_to_text. MiniMaxi API-võti edastatakse Bearer-autentimise kaudu.

Selle peamine praktiline eripära on mitmekeelse transkriptsiooni, valikulise kõnelejate ja ajastuse joondamise, subtiitrite ekspordi ning failide üleslaadimise voogedastuse kombinatsioon. See muudab mudeli kasulikuks olukordades, kus rakendus vajab enamat kui üht tuvastatud teksti plokki.

ASR 1.0 koht MiniMaxi tootevalikus

ASR 1.0 kuulub MiniMaxi arendajatele suunatud heli- ja kõnevõimekuste, mitte üldise teksti-, pildi-, video-, muusika- või agenditoodete hulka. Tegemist on tuvastusmudeliga: see võtab sisendiks heli ja väljastab teksti või subtiitrite jaoks mõeldud transkriptsiooniandmeid.

See eristus on mudeli hindamisel oluline. MiniMax pakub ka kõnesünteesi, hääle- ja muusikatöövoogude, videote genereerimise, programmeerimise ning agentsete ülesannete jaoks mõeldud tooteid ja mudeleid, kuid neid võimekusi ei tohiks omistada mudelile ASR 1.0. Esitatud dokumentatsioon ei kirjelda seda mudelit vestlusassistendi, kõnegeneraatori ega üldise multimodaalse arutlussüsteemina.

Toetatud helivormingud, piirangud ja keeled

Iga päring võib sisaldada kuni 500 sekundit heli ja 50 MB andmeid. Teenus toetab vorminguid WAV, AIFF, FLAC, ALAC M4A-konteineris, MP3, AAC, Opus ja Ogg. Toores PCM ilma toetatud konteinerita ei ole lubatud.

Mahukate või kvaliteetsete salvestiste puhul soovitab MiniMax kasutada monoheli sagedusega 16 kHz või tihendatud vormingut, et jääda alla 50 MB piirangu. Dokumentatsiooni kohaselt ei paranda suurem diskreetimissagedus ega stereoheli selle teenuse puhul tuvastuskvaliteeti. See on praktiline soovitus failide ettevalmistamiseks, mitte väide, et iga lähtesalvestis tuleb enne kasutamist teisendada.

API pakub keelevihjeid hiina, kantoni, inglise, jaapani, korea, tai, vietnami, indoneesia, malai, filipino, araabia, türgi, prantsuse, saksa, hispaania, itaalia, portugali, poola, vene ja ukraina keele jaoks. Kui keeleparameeter jäetakse välja või tühjaks, suudab ASR 1.0 automaatselt tuvastada mitmekeelset või keeli vahetavat heli. Eeldatava keele selgesõnaline määramine võib siiski olla kasulik lühikeste klippide või erialatermineid sisaldavate salvestiste puhul.

Transkriptsiooni- ja väljundivalikud

Põhiline JSON-vastus sisaldab täielikku transkriptsiooni, tuvastatud heli kestust ja jäljetunnust. See on lihtsaim valik rakenduste jaoks, mis vajavad puhast teksti, näiteks otsitavaid arhiive, esialgseid märkmeid või teksti edasist töötlemist.

Kui rakendus vajab rohkem struktuuri, võib taotleda vormingut verbose_json. See vorming sisaldab tuvastatud kõnelejate teavet ja ajatemplitega segmente. Ajatemplite detailsust saab seadistada lause- või segmenditaseme väljundiks, samuti inglise keele puhul sõnataseme ja hiina keele puhul märgitaseme ajatempliteks.

ASR 1.0 võib tagastada subtiitrifailid otse ka SRT- või WebVTT-vormingus. Need vormingud on kasulikud videote, salvestatud esitluste, veebikursuste ja meedia ülevaatamise töövoogude puhul, sest need seovad tuvastatud teksti ajastusega vormingus, mida subtiitritööriistad ja meediapleierid laialdaselt toetavad.

Kõnelejate diariseerimine ja ajatemplid

Kõnelejate diariseerimine tähendab hinnangu andmist selle kohta, millised salvestise osad kuuluvad millisele kõnelejale. Valikuga verbose_json sisaldab vastus tuvastatud kõnelejate arvu ja ajatemplitega segmente, mille juures on kõnelejate sildid. See võib muuta koosoleku või intervjuu transkriptsiooni ülevaatamise lihtsamaks kui eristamata tekstiplokk.

Diariseerimist ei tohiks tõlgendada täiusliku isikutuvastusena. Esitatud dokumentatsioon kirjeldab kõnelejate silte ja tuvastatud kõnelejate arvu, kuid ei esita kõnelejate omistamise täpsuse võrdlustesti. Kõnelejate kattuva kõne, taustamüra või väga sarnaste häältega salvestised võivad vajada inimese ülevaatust.

Voogedastuse toimimine

Voogedastusrežiim saadab serveri saadetud sündmuste kaudu järk-järgult saabuvaid transkriptsioonisündmusi, võimaldades rakendusel kuvada osalisi tulemusi enne kogu päringu töötlemise lõppu. See võib olla kasulik väikese viivitusega subtiitrite või järkjärgulist tagasisidet vajavate liideste puhul.

Voogedastus toetab praegu ainult JSON-väljundit. SRT-, WebVTT- ja diariseerimisvorminguid ei saa voogedastusega kombineerida, sest need nõuavad enne lõpptulemuse koostamist joondamist ja segmentide töötlemist. Tegemist on ka failide üleslaadimise voogedastusega, mitte dokumenteeritud loomuliku mikrofoni sisendi ega otsese reaalaja helipesaga.

Hinnakujundus ja kuluprofiil

MiniMaxi hinnakirjas on ASR 1.0 hinnaks 0,38 dollarit töödeldud heli tunni kohta. Arveldamine põhineb sisendheli kohta teatatud kestusel, mitte genereeritud tekstimärkide arvul. Esitatud hinnateabes ei ole eraldi väljunditasu märgitud.

See hinnamudel muudab transkriptsioonitöökoormuse kulud suhteliselt prognoositavaks: pikem salvestis maksab rohkem, sest sisaldab rohkem heli, samal ajal kui loodud teksti hulk ei tekita eraldi märgipõhist tasu. Projekti tegelikud kulud võivad siiski sõltuda saadetud failide arvust, korduskatsetest ning MiniMaxi rakendatavatest konto- või piirkondlikest tingimustest.

Võimekused ja piirangud

ASR 1.0 ei genereeri pilte, heli, videoid ega kõnet. Dokumentatsiooni kohaselt ei ole sellel arutlus-, programmeerimis-, veebiotsingu, tööriistakasutuse, viipade vahemällu salvestamise ega peenhäälestuse võimekusi. Toimetuslikud võimekusehinnangud võivad anda sellele head tulemused transkriptsiooni kiiruse või maksumuse osas, kuid need on hinnangud, mitte MiniMaxi avaldatud võrdlustestid.

Peamised tugevused ja kompromissid

Mudeli suurim tugevus on ülesandespetsiifilisus. Transkriptsioone, kõnelejate segmente või subtiitreid vajav teenus saab kasutada nende ülesannete jaoks loodud väljundvorminguid, selle asemel et paluda üldisel keelemudelil helifaili kaudselt tõlgendada. Toetatud keelte nimekiri ja automaatne segakeelse heli tuvastus on kasulikud ka rahvusvaheliste koosolekute, intervjuude ja keelte vahetamist sisaldava meedia puhul.

Teine eelis on väljundi paindlikkus. Lihtne JSON sobib rakenduse loogika jaoks, üksikasjalik JSON annab ajastuse ja kõnelejate teavet ning SRT või WebVTT saab suunata otse subtiitrite töövoogu. Voogedastatav JSON pakub väiksema viivitusega võimalust juhul, kui rakendus suudab töötada osaliste transkriptsioonisündmustega.

Peamine kompromiss seisneb selles, et iga päring on piiratud 500 sekundi ja 50 MB-ga. Pikemad salvestised tuleb jagada mitmeks päringuks, mis võib nõuda rakendusepõhist failihaldust ja segmendipiiride hoolikat käsitlemist. Voogedastus seda piirangut ei kõrvalda ega paku dokumenteeritud loomuliku mikrofoni voogedastusteenuse funktsionaalsust.

ASR 1.0 ei asenda ka üldist keelemudelit. Esitatud spetsifikatsioonide kohaselt tuvastab see kõnet, kuid ei tee koosoleku kokkuvõtet, vasta transkriptsiooni kohta käivatele küsimustele, käivita tööriistu ega kirjuta rakendusekoodi. Need ülesanded nõuavad eraldi töötlemisetappi.

Parimad kasutusjuhud

• Koosolekud ja intervjuud: Kasuta üksikasjalikku JSON-vormingut, kui kõnelejate sildid ja ajatemplid muudavad ülevaatamise lihtsamaks.
• Taskuhäälingud, veebiseminarid ja salvestatud esitlused: Teisenda kõneldud sisu otsitavaks tekstiks või valmista see ette toimetamiseks.
• Subtiitrite loomine: Taotle SRT- või WebVTT-vormingut, kui väljund lisatakse videole.
• Reaalaja subtiitrid ja järkjärgulise tagasisidega liidesed: Kasuta voogedastatavat JSON-i, kui osaline transkriptsioon on kasulikum kui valmis vastuse ootamine.
• Mitmekeelne meedia: Kasuta dokumenteeritud keelevihjeid või automaattuvastust salvestiste puhul, mis sisaldavad rohkem kui üht keelt.
• Kõnede kvaliteedianalüüs ja arhiivid: Loo tekst, mida teine süsteem saab hiljem otsida, indekseerida või analüüsida.

Millal valida MiniMax ASR 1.0?

Vali ASR 1.0, kui peamine vajadus on taskukohane failipõhine transkriptsioon mitmekeelse toe, valikulise kõnelejate segmenteerimise, ajatemplite, subtiitrite ekspordi või järk-järgult saabuvate JSON-tulemuste abil. Helikestusel põhinev hinnastamine on transkriptsioonikulusid prognoosivatele meeskondadele selge ning vorminguvalikud vähendavad levinud meediatöövoogudes vajaliku järeltöötluse hulka.

Teistsugune lahendus võib olla sobivam, kui rakendus vajab dokumenteeritud loomulikku mikrofoni- või telefonivoogu, väga pikkade üksikute failide töötlemist ilma kliendipoolse tükeldamiseta, valdkonnaspetsiifilist kohandamist või integreeritud kokkuvõtete ja küsimustele vastamise võimalust. Esitatud uuring ei kinnita, et ASR 1.0 neid võimekusi pakub, seega ei tohiks neid selle voogedastusfunktsiooni põhjal eeldada.

Töövoogudes, mis vajavad nii transkriptsiooni kui ka tõlgendamist, võib ASR 1.0 täita kõnetuvastusetapi, samal ajal kui eraldi tekstimudel või rakenduse komponent tegeleb kokkuvõtete, andmete eraldamise, tõlkimise või toimingutega. Rollide lahus hoidmine muudab ka algse transkriptsiooni kontrollimise ja tuvastusvigade diagnoosimise lihtsamaks.

Praktilised juhised rakendamiseks

Laadi iga salvestis üles multipart-vormingu andmetena, määra mudeliks asr-1.0 ja autentimiseks kasuta MiniMaxi API-võtit. Lihtsa transkriptsiooni jaoks vali põhivorming JSON, kõnelejate ja ajastuse andmete jaoks verbose_json ning SRT või WebVTT, kui väljund on mõeldud subtiitriteks. Kasuta voogedastust ainult siis, kui järk-järgult saabuvad JSON-sündmused on rakendusele kasulikud.

Enne saatmist kontrolli nii kestust kui ka faili suurust. Üle 500 sekundi kestvad või üle 50 MB suurused salvestised tuleb tükeldada või tihendada. Salvestise tükeldamisel säilita piisavalt ümbritsevat konteksti, et sõnad ei katkeks segmentide piiridel, ning kontrolli ajatemplite õigsust, kui eraldi transkriptsioonisegmendid hiljem ühendatakse.