Mis on Tencent AuK?
Tencent AuK on Tencent Hunyani ja selle koostööpartnerite loodud ligikaudu 1,5 miljardi parameetriga avatud kaaludega alusmudel. See on mõeldud kõne genereerimiseks, kõne redigeerimiseks ja laiemaks heli teisendamiseks, mitte üldotstarbeliseks tekstivestluseks. Mudel võtab vastu loomulikus keeles juhise ning võib soovi korral kasutada helikonteksti, näiteks viitehäält või lähtesalvestist. Väljundiks on genereeritud või muudetud helilainekuju.
Selline juhistepõhine ülesehitus võimaldab kasutajal kirjeldada soovitud toimingut sõnadega, selle asemel et valida iga ülesande jaoks eraldi, kitsalt määratletud mudel. Näiteks võib juhis nõuda kõnet viitehäälega, paluda muuta emotsiooni või kõnekiirust või määrata redigeerimistoimingu, näiteks aktsendi eemaldamise. Väljundi täpne kvaliteet sõltub ülesandest, viipast, lähteseadest ja kohalikust juurutusest; kaasasolev väljalaskematerjal ei kinnita kõigi toetatud toimingute puhul universaalset kvaliteedigarantiid.
Peamine eesmärk ja võimalused
AuK on mõeldud ühendama mitmeid kõne- ja helitöövooge. Dokumenteeritud võimaluste hulka kuuluvad nii genereerimine kui ka teisendamine:
- Null-laskega tekst-kõneks: kõne genereerimine viitesalvestise abil ilma eraldi konkreetse kõneleja jaoks treenitud mudelita.
- Juhistepõhine tekst-kõneks: kõne genereerimine soovitud häält või esitust kirjeldava teksti põhjal.
- Kõne ja laulusõnade redigeerimine: öeldud sisu või laulusõnade muutmine, säilitades lähtesalvestise olulised omadused.
- Esituse kohandamine: helikõrguse, kiiruse või helitugevuse muutmine.
- Hääle ja esituse teisendamine: emotsiooni või tämbri muutmine, aktsendi eemaldamine või kõne muutmine sosinalaadseks.
- Mitteverbaalsete helide redigeerimine: selliste helidega töötamine, mis ei koosne tavalisest kõnest.
- Heli taastamine ja eraldamine: kõne täiustamine, kõneallikate eraldamine, muusika ja vokaali eraldamine või kindla kõneleja väljavõtmine.
Need funktsioonid muudavad AuK-i tavapärase tekstigeneratsiooni asemel asjakohasemaks helitootmises, lokaliseerimises, ligipääsetavuses, hääle prototüüpimises ja teadustöös. Mudelit võib käsitleda oma valdkonnas üldise helialusmudelina, kuid üksnes seetõttu, et see võtab vastu nii tekstijuhiseid kui ka heli, ei tohiks seda pidada üldiseks multimodaalseks assistendiks.
Kuidas mudel on üles ehitatud
Kirjeldatud arhitektuur ühendab kolm peamist komponenti. Multimodaalne keelemudel pakub semantilist tingimist ehk aitab tõlgendada juhist ning kavandatud sisu või teisendust. Heli variatsiooniline autokooder ehk audio-VAE esitab kõne, üldise heli ja muusika kujul, mida generatiivne süsteem suudab töödelda. Hübriidne rectified-flow Transformer ühendab seejärel semantilise ja akustilise teabe enne helilainekuju taastamist.
Transformer kasutab kahe voo MMDiT-plokke, millele järgnevad ühe voo DiT-plokid. Praktilises mõttes hoiab see arhitektuur töötlemise ajal eri teabevood esmalt lahus ning ühendab need hiljem genereerimiseks. AuK-i käitamiseks ei pea kasutaja neid komponente mõistma, kuid need aitavad selgitada, miks mudel on loodud nii keelejuhiste kui ka üksikasjalike heliteisenduste jaoks, mitte ainult tavapäraseks tekst-kõneks teisendamiseks.
Sisendid, väljundid ja modaalsused
AuK toetab tekstijuhiseid ja helisisendit. Heli pole vaja ülesannete puhul, mida saab täita kirjelduse põhjal, kuid viitehäälega genereerimisel ja lähtesalvestise redigeerimisel on see oluline. Dokumenteeritud sisendmodaalsused on seega tekst ja heli; pildi- ja videosisendit toetatud funktsioonidena ei nimetata.
Mudeli otsene väljund on heli, sealhulgas kõne ja muud helilainekujul põhinevad tulemused. See ei väljasta esmase väljundina teksti, pilte, videot, manuseid ega struktureeritud kirjeid. See erinevus on oluline AuK-i keelemudelitega võrreldes: süsteem võib kasutada AuK-i juhtimiseks teksti, kuid mudel ise on mõeldud tagastama heli, mitte tekstilist vastust.
AuK ja variant AuK-Flash
Ametlik väljalase kirjeldab kahte seotud kontrollpunkti. AuK on kvaliteetseks genereerimiseks mõeldud täisbaasmudel, AuK-Flash aga eraldi destilleeritud kontrollpunkt, mis on loodud nelja sammu pikkuseks järelduseks. Destilleerimine tähendab üldjuhul seda, et väiksem või lihtsustatud mudel treenitakse suurema või täielikuma süsteemi käitumist jäljendama väiksema järeldussammude arvuga.
AuK-Flash on kiiruse hindamisel kasulik võrdluspunkt, kuid seda ei tohiks käsitleda vaikimisi sama mudelikirjena. Siin on põhiteemaks AuK. Kaasasolev uurimismaterjal ei esita kontrollpunktide täielikku kvaliteedi-, mälukasutuse- ega latentsusvõrdlust, mistõttu oleks sobimatu väita, et üks neist on universaalselt parem. Dokumenteeritud erinevus seisneb selles, et AuK on täismudel ja AuK-Flash eraldi nelja sammu pikkune variant.
Peamised tugevused ja kompromissid
AuK-i suurim eristaja on kõne ja heli valdkonna ülesannete lai haare. Üks avatud kaaludega mudel suudab tegeleda häälekontekstiga tekst-kõneks teisendamise, juhistepõhise sünteesi, redigeerimise, täiustamise ja eraldamisega. See võib lihtsustada katsetamist olukordades, kus muidu oleks vaja mitut eraldi helitööriista.
Praktiline eelis on ka avatud kaalude kättesaadavus. Mudel avaldatakse koos lähtekoodi ja kaaludega MIT-litsentsi alusel ning ametlikud materjalid kirjeldavad kohalikku järeldust, Gradio kasutust, ComfyUI-d, Pythoniga kasutamist ja peenhäälestuse töövooge. See annab tehnilistele kasutajatele juurutamise ja katsetamise üle suurema kontrolli kui suletud, üksnes hostitud teenus.
Kompromiss on eelkõige töökorralduslik, mitte ainult tehniline. Kohalikuks juurutuseks peavad kasutajad ise haldama käituskeskkonda, riistvara, mudelifailide ja helitöötluse töövoogu. Väljalaskematerjal ei dokumenteeri esimese osapoole mahupõhist hostitud API-t, standardset pilvemudeli identifikaatorit, märgipõhist hinnastamist ega teenusetaseme garantiisid. Hallatud lõpp-punkti, prognoositavat arveldamist või teenusepakkuja hallatavat käideldavust vajavad organisatsioonid võivad seetõttu eelistada hostitud heliteenust, isegi kui selle funktsioonide valik on kitsam.
Piirangud ja dokumenteerimata näitajad
Mitmed tavapärased keelemudeli näitajad ei sobitu AuK-iga hästi. Kaasasolevas uurimismaterjalis ei ole dokumenteeritud konteksti pikkust ega väljundi maksimaalset märgipiiri. Sellised puudujäägid on helilainekuju genereeriva mudeli puhul ootuspärased: heli kestust, diskreetimist ja töötlemise konfiguratsiooni, mälukasutust ning järeldusseadeid ei saa loomulikul viisil kirjeldada ainult tekstimärkide piiranguga. Olemasolev materjal ei anna sisendi ega väljundi universaalset maksimaalset kestust, mistõttu ei tohiks neid väärtusi eeldada.
AuK-i puhul ei ole dokumenteeritud JSON-režiimi, struktureeritud väljundit, tööriista- ega funktsioonikutsungit, veebotsingut, pakktöötluse API-t ega voogväljundit. Seda ei esitleta ka arutlus- ega kodeerimismudelina. Rakendus võib paigutada AuK-i suuremasse töövoogu, kus orkestreerimise, viipade või järeltöötluse eest hoolitseb muu tarkvara, kuid neid ümbritseva süsteemi võimalusi ei tohiks omistada AuK-ile endale.
Tehnilises aruandes märgitakse, et piiranguteta redigeerimisjuhised võivad saada kasu selgest ülesande suunamisest ja viiba täiustamisest. See on praktilises kasutuses oluline piirang: ebamäärane juhis ei pruugi kavandatud toimingut piisavalt täpselt määratleda. Struktureeritud ülesandekirjeldused, sobiv lähtematerjal ja selged redigeerimiseesmärgid annavad tõenäoliselt usaldusväärsema töövoo kui iga päringu käsitlemine piiramatu loomuliku keele käsuna. See on rakenduslik kaalutlus, mitte avaldatud väljundikvaliteedi garantii.
Hinnastamine ja kättesaadavus
AuK-i sisendi ega väljundi hinda ei ole saadaval, sest kaasasolev väljalasketeave kirjeldab mahupõhise hostitud API asemel avatud kaaludega kohalikku mudelit. Dokumenteeritud ei ole tellimust, päringupõhist tasu, märgihinda ega ametlikku pilvepääsupunkti, millele hinnastamisel tugineda. Käitamise kulud sõltuvad selle asemel kasutaja riistvarast, salvestusruumist, hostimislahendusest ja inseneriressurssidest.
Mudel ja tugimaterjalid on saadaval Tencent Hunyani avalikus GitHubi repositooriumis, Hugging Face'is ja ModelScope'is. Ametlik repositoorium dokumenteerib mitu võimalust mudeliga töötamiseks, sealhulgas kohaliku Pythoni-põhise järelduse, Gradio liidese, ComfyUI integratsiooni ja peenhäälestuse töövood. Kaasasoleva uurimismaterjali kohaselt avaldatakse AuK MIT-litsentsi alusel.
Millal valida AuK?
AuK on sobiv kandidaat siis, kui prioriteediks on kohalik kontroll kõne või heli genereerimise ja redigeerimise üle, eriti juhul, kui samas projektis on vaja mitut seotud toimingut. Sobivad kasutusviisid on näiteks:
- Hääljuhtimisega või viitehäälel põhineva tekst-kõneks töövoo prototüüpimine.
- Kõne genereerimine hääle omaduste või esituse stiili kirjelduste põhjal.
- Helikõrguse, kiiruse, helitugevuse, emotsiooni, tämbri, aktsendi või sosina teisendustega katsetamine.
- Kõne või laulusõnade redigeerimine loomulikus keeles antud juhiste abil.
- Salvestiste täiustamine või kõne, vokaali, muusika või kindla kõneleja eraldamine.
- Teadus- või tootmistöövoo loomine, mis vajab avatud kaalusid, kohalikku käitamist või peenhäälestust.
Teine lahendus võib olla sobivam juhul, kui projekt vajab hallatud API-t, avaldatud kasutushindu, garanteeritud teenusetasemeid, tekstivastuseid, kodeerimisabi, veebotsingut, struktureeritud JSON-i või pildi- ja videogeneratsiooni. Spetsialiseeritud hostitud tekst-kõneks teenus võib olla eelistatav ka siis, kui töökorralduse lihtsus ja prognoositav latentsus on kohalikust kohandatavusest tähtsamad. Seevastu ühe konkreetse eraldamis- või täiustamisülesande puhul võib kitsalt fokusseeritud helitööriista olla lihtsam hallata, samal ajal kui AuK on atraktiivsem siis, kui töövoog hõlmab mitut genereerimis- ja redigeerimisfunktsiooni.
Üldhinnang
Tencent AuK-i on kõige õigem käsitleda juhesteliidesega avatud helialusmudelina, mitte üldotstarbelise vestlusmudelina. Selle ligikaudu 1,5 miljardi parameetriga ülesehitus, valikuline helikontekst ning lai kõne- ja helitoimingute valik muudavad selle eriti asjakohaseks kasutajatele, kes soovivad üht kohalikult juurutatavat süsteemi sünteesiks ja teisendamiseks. Täielik AuK-i kontrollpunkt keskendub põhiväljalaske genereerimisvõimekusele, AuK-Flash aga pakub eraldi nelja sammu pikkust järeldusvõimalust kiiremat tööd uurivatele kasutajatele.
AuK-i kasutamise otsus peaks lõppkokkuvõttes sõltuma juurutusnõuetest. Selle tugevused on avatud juurdepääs, kohalik kontroll, peenhäälestuse tugi ning kõne genereerimise ja redigeerimise lai funktsionaalsus. Piirangud on dokumenteeritud hostitud hinnastamise ja teenusegarantiide puudumine, tavapäraste keelemudeli funktsioonide puudumine ning vajadus hallata kohalikku järeldust ja ülesandespetsiifilisi viipasid. Nendes piirides pakub AuK praktilist alust kõne ja heliga katsetamiseks, ilma et kasutaja peaks seda käsitlema vestlusroboti või tavapärase API-põhise keelemudelina.