Mis on MiMo-Audio-7B-Base?
MiMo-Audio-7B-Base on Xiaomi MiMo pakutav avatud kaaludega audio-keele mudel. See on MiMo-Audio projekti eeltreenitud baaskontrollpunkt ja sisaldab ligikaudu 8 miljardit parameetrit. Kontrollpunkti levitatakse BF16-vormingus MIT-litsentsi alusel, mistõttu sobib see teadustööks, kohalikeks katseteks ja rakendusteks, mis suudavad täita selle riistvaranõudeid.
Mudel on mõeldud töötlema heli ja teksti ühe ühise generatiivse töövoo osadena. Praktikas võib see sisendina vastu võtta heli, teksti või nende kombinatsiooni ning genereerida teksti või heli. See eristab mudelit tavapärasest automaatsest kõnetuvastussüsteemist, mis teisendab kõne üldjuhul tekstiks, ja spetsiaalsest kõnesünteesisüsteemist, mis teisendab teksti üldjuhul kõneks.
Xiaomi positsioneerib baaskontrollpunkti vähese näidete arvuga õppimiseks. Few-shot kasutus tähendab, et viibale või sisendile lisatud näited võivad soovitud teisendust kirjeldada ilma mudeli parameetreid muutmata. Näiteks võib helinäidete kogum suunata mudelit konkreetse hääle või tämbri teisendamise käitumise poole.
MiMo-Audio mudeliperekonnas
MiMo-Audio-7B-Base on Xiaomi MiMo praeguse MiMo-Audio väljalaske eeltreenitud alusmudel. Sellega kaasnevad juhiste järgi häälestatud MiMo-Audio-7B-Instruct kontrollpunkt ja eraldi MiMo-Audio-Tokenizer.
Kahe mudelikontrollpunkti erinevus on oluline. Baasmudel on mõeldud eelkõige kontekstipõhiseks õppimiseks ja teaduskatseteks, samas kui Instructi variant on juhiste järgi häälestatud valik, mida kasutatakse projekti interaktiivsemates assistendilaadsetes demonstratsioonides. Seetõttu ei tohiks baasmudelit pidada vestlusrakenduse jaoks automaatselt kõige lihtsamaks kontrollpunktiks pelgalt selle tõttu, et tegemist on alusmudeliga.
Täieliku audiotöötlustoru jaoks on vajalik ka tokeniseerija. See teisendab heli diskreetseteks tokeniteks, mida mudel saab töödelda, ning rekonstrueerib genereeritud helitokenid tagasi helisignaaliks. Ainult keelemudeli kontrollpunkti allalaadimisest otsast lõpuni audiotuletuseks ei piisa.
Toetatud sisendid ja väljundid
Esitatud mudelidokumentatsiooni kohaselt toetab MiMo-Audio-7B-Base nii tekstisisendit kui ka helisisendit. See võib genereerida tekstiväljundit ja heliväljundit. Toetatud kombinatsioonid on muu hulgas järgmised:
- Helist tekstiks: kõne mõistmine või kirjeldamine tekstivormis.
- Tekstist heliks: kõnehelisisu genereerimine tekstijuhiste või -konteksti põhjal.
- Helist heliks: ühe helisisendi teisendamine teiseks, näiteks hääle- või stiiliteisenduse kaudu.
- Tekstist tekstiks: keelemudeli komponendi kasutamine tekstipõhiseks töötluseks sama multimodaalse raamistiku sees.
Dokumenteeritud demonstratsioonid hõlmavad kõne jätkamist, hääle teisendamist, stiili teisendamist, kõne tõlkimist, kõne redigeerimist ja heli mõistmist. Xiaomi teatab ka pikemate kõnehelivormingute, näiteks jutusaadete, väitluste, ettekannete, taskuhäälingute ja otseülekande-laadse kõne genereerimisest. Need on teenusepakkuja kirjeldatud võimalused ning neid tuleks käsitleda demonstreeritud või toetatud kasutusjuhtudena, mitte võrdse kvaliteedi garantiina iga hääle, keele, salvestustingimuse või viiba puhul.
Kuidas arhitektuur töötab
MiMo-Audio ühendab kolm põhikomponenti: paikade kodeerija, keelemudeli põhiosa ja paikade dekooder. Kodeerija teisendab helitokenite jadad esituseks, mida keelemudel saab töödelda. Seejärel ennustab keelemudel teksti- või helitokeneid ning dekooder rekonstrueerib genereeritud heli, kui soovitakse heliväljundit.
Kaasasolev MiMo-Audio-Tokenizer kasutab Transformeri arhitektuuri koos kaheksa jääk-vektorkvantimise kihiga. See töötab sagedusel 25 Hz ja genereerib 200 helitokenit sekundis. Helitokenid on heli kompaktsed diskreetsed esitused, mitte töötlemata lainekuju näidised.
Heli sisaldab palju rohkem ajasamme kui tavaline tekst, mistõttu looks iga helitokeni eraldi töötlemine väga pikad jadad. MiMo-Audio lahendab selle, rühmitades keelemudeli jaoks neli järjestikust helitokeni ajasammu üheks paigaks. See vähendab mudelile esitatava esituse sagedusele 6,25 Hz. Seejärel laiendab paikade dekooder genereeritud esituse viivitatud genereerimise abil tagasi täielikuks helitokenite jadaks.
Tavakasutaja jaoks tähendab see, et mudel kasutab ühtset audio-teksti töötlustoru, rakendades samal ajal jadapikkuse vähendamist, et muuta heli töötlemine paremini hallatavaks. Kesktasemel kasutaja jaoks on kodeerija, põhiosa, dekooder ja tokeniseerija eraldi praktilised komponendid, millega tuleb arvestada tuletuse seadistamisel või ametliku koodi muutmisel.
Konteksti- ja väljundipiirangud
Esitatud mudelikirje määrab MiMo-Audio-7B-Base konteksti pikkuseks 8192 tokenit. See on mudelikirjes dokumenteeritud konteksti väärtus ning tähistab mudeli sisendi ja genereerimisprotsessi jaoks saadaolevat kogukonteksti vastava tuletusseadistuse rakenduses.
Selle konkreetse kontrollpunkti kohta ei ole esitatud uurimismaterjalides autoriteetset maksimaalselt genereeritavate tokenite arvu. Seetõttu võib heligenereerimise, jätkamise või mitme vooruga näite pikkus sõltuda ametlikust tuletusrakendusest, saadaolevast GPU-mälust, soovitud ülesandest ja tegelikust kontekstieelarvest. Kasutajad ei tohiks eeldada, et kogu 8192-tokenine kontekst on saadaval ainult väljundi jaoks.
Täpse kontrollpunkti teadmiste lõppkuupäeva ei ole samuti määratud. Seda mudelit ei tohiks käsitleda veebiühendusega või ajakohase teabe süsteemina: esitatud spetsifikatsioonides on veeb otsing toetamata ning mudel on mõeldud kohalikuks audio-keele tuletuseks, mitte reaalajas teabe hankimiseks.
Juurutamine ja kättesaadavus
MiMo-Audio-7B-Base on allalaaditava kontrollpunktina saadaval Xiaomi MiMo Hugging Face’i organisatsiooni kaudu. Xiaomi ametlik GitHubi hoidla pakub tuletusskripte, Gradio demonstratsiooni ja hindamisega seotud tööriistu. Dokumenteeritud keskkond kasutab Linuxit, Python 3.12-t, CUDA 12 või uuemat versiooni, PyTorchi sõltuvusi ja FlashAttentionit.
Täieliku töötlustoru käitamiseks on vaja nii MiMo-Audio-7B-Base’i kontrollpunkti kui ka MiMo-Audio-Tokenizerit. Tegemist on kohaliku juurutusmudeliga, mitte esitatud uurimismaterjalides kirjeldatud majutatud kommerts-API lõpp-punktiga. Mudelikirjes märgitakse konkreetselt, et seda ei juurutata Hugging Face Inference Provideri kaudu.
Riistvaranõue on oluline praktiline piirang. Ligikaudu 8 miljardi parameetriga BF16-mudel koos tokeniseerija ja audiotöötlustoruga ei ole mõeldud väheste ressurssidega masinatele. Vajalik täpne riistvara sõltub kvantimisest, pakisuurusest, heli pikkusest ja tuletusseadetest, kuid ametlikud tarkvaranõuded viitavad sellele, et vaja on eeldatavasti võimekat CUDA-toega GPU-d.
Hinnastamine ja kommertskasutus
MiMo-Audio-7B-Base’i jaoks ei ole määratud ametlikku sisendtokeni hinda, väljundtokeni hinda, tellimuspaketti ega majutatud tuletuse hinda. Kuna seda levitatakse MIT-litsentsi alusel avatud kaaludega mudelina, moodustavad kohaliku kasutuse peamise kulu taristu: GPU-riistvara, pilve-GPU rent, salvestusruum ja arendusaeg.
See muudab mudeli põhimõtteliselt erinevaks mõõdetava kasutustasuga majutatud audio-API-st. Kohalik kasutus võib olla atraktiivne meeskondadele, kes vajavad juurutuse üle kontrolli või soovivad katsetada päringupõhise tasuta, kuid sellega kaasneb vastutus teenindamise, skaleerimise, seire, optimeerimise ja heliandmete töötlemise eest. Majutatud teenusepakkuja lõpp-punkti puudumine tähendab ka seda, et API-laadset latentsuse ja kättesaadavuse garantiid ei tohiks eeldada.
Peamised tugevused ja kompromissid
- Ühtne audio-teksti modelleerimine: Mudel saab töötada nii heli- kui ka tekstisisendite ja -väljunditega, mitte piirduda ainult transkribeerimise või kõnesünteesiga.
- Few-shot-katsetamine: Helinäidete abil saab suunata teisendusi, näiteks tämbri teisendamist, ilma mudeli kaalusid uuendamata.
- Lai audiotööde valik: Dokumenteeritud ülesannete hulka kuuluvad jätkamine, tõlkimine, redigeerimine, stiili teisendamine, hääle teisendamine ja heli mõistmine.
- Avatud kohalik juurdepääs: Kontrollpunkt, tokeniseerija ja ametlikud tuletusressursid toetavad MIT-litsentsi alusel korratavat kohalikku teadustööd.
- Märkimisväärne juurutuskulu: Mudel ja ametlik keskkond nõuavad võrreldes majutatud kõne-API või väiksema spetsialiseeritud mudeliga mahukat tarkvara- ja GPU-seadistust.
- Piiratud tootmiskasutuse mugavused: Puuduvad esitatud tõendid ametliku majutatud API, voogedastusliidese, funktsioonikutsete, struktureeritud JSON-režiimi või veebotsingu integratsiooni kohta selle konkreetse kontrollpunkti puhul.
Esitatud mudelikirje toimetuslik hinnang annab selle arutlusvõimele 5 punkti 10-st, kodeerimisvõimele 2 punkti 10-st ja kiirusele 3 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte Xiaomi avaldatud võrdlustestide tulemused. Need peegeldavad mudeli teadustööle suunatud audiofookust: see ei ole loodud üldiseks kodeerimisassistendiks ega kiireks ja odavaks ainult tekstiga töötavaks mudeliks.
Millal valida MiMo-Audio-7B-Base?
Vali MiMo-Audio-7B-Base siis, kui keskne probleem on seotud audio-keele uurimisega ning soovid mudelit kohapeal uurida või juhtida. See on eriti asjakohane järgmistes olukordades:
- Few-shot-katsed hääle, tämbri või kõnestiili teisendamiseks.
- Kõne jätkamine ja pikemate kõnehelivormingute genereerimine.
- Helist heliks teisendused, mis ühendavad algsed salvestised teksti- või helinäidetega.
- Selliste mudelite uurimine, mis esitavad kõnet ja teksti ühiselt.
- Kohalikud prototüübid, kus suletud majutatud teenusele eelistatakse MIT-litsentsiga avatud kaaludega kontrollpunkti.
Mudel võib olla halb valik juhul, kui prioriteediks on lihtne tootmis-API, prognoositav päringupõhine hinnastamine, väikese latentsusega tuletus või juurutamine tagasihoidliku riistvaraga. Majutatud kõneteenus võib olla sobivam meeskondadele, kes ei soovi GPU-sid käitada. Kui vaja on ainult üht kitsalt määratletud ülesannet, võib eelistada ka väiksemat spetsialiseeritud kõnetuvastus-, kõnesünteesi- või audioredigeerimismudelit.
MiMo-Audio projekti juhiseid järgiva assistendi käitumise jaoks võib seotud MiMo-Audio-7B-Instructi kontrollpunkt olla sobivam kui baasmudel. See võrdlus käsitleb mudelite rolli, mitte väidet, et Instruct on universaalselt parem: baaskontrollpunkt on endiselt asjakohasem valik eeltreenitud käitumise uurimiseks ja kohandatud few-shot-töövoogude loomiseks.
Piirangud, millega arvestada
MiMo-Audio-7B-Base’i tuleks hinnata teadustööle suunatud avatud kaaludega kontrollpunktina, mitte valmiskujul kõnetootena. Esitatud uurimismaterjalid ei määra selle konkreetse mudeli puhul kindlaks teadmiste lõppkuupäeva, majutatud kommertskasutuse hinda, täpset maksimaalset väljundpikkust, voogedastuse tuge, peenhäälestuse tuge ega ametlikku funktsioonikutsete liidest.
Helikvaliteet ja ülesannete töökindlus võivad samuti varieeruda sõltuvalt viibast, näidetest, keelest, salvestuse kvaliteedist, kõneleja omadustest ja soovitud kestusest. Mudeli few-shot-kujundus pakub paindlikkust, kuid paneb kasutajale ka suurema vastutuse sobivate näidete koostamise ja väljundite hindamise eest. Pikad helitöövood võivad kasutada märkimisväärsel hulgal konteksti ja arvutusressursse.
Kokkuvõttes tuleks MiMo-Audio-7B-Base’i mõista kui Xiaomi MiMo avatud ja üldotstarbelist audio-keele alusmudelit: see on tehniliselt laia kasutusalaga, kohapeal juurutatav ning sobib heli genereerimise ja teisendamise katseteks. Selle peamine kompromiss on töökorralduslik keerukus. Kasutajad saavad juurdepääsu mudeli kaaludele ja paindlikule audio-teksti arhitektuurile, kuid peavad ise tagama GPU-keskkonna ja arendustöö, millega majutatud API tavaliselt tegeleks.