Mis on StepAudio 2.5 TTS?
StepAudio 2.5 TTS on StepFuni pakutav spetsialiseeritud teksti kõneks teisendamise mudel. Selle eesmärk on muuta kirjalik tekst kõneks, järgides samal ajal loomulikus keeles antud juhiseid selle kohta, kuidas tekst tuleks ette kanda.
Selle asemel et piirduda väikese hulga kindlate häälte või lihtsate emotsioonisiltidega, võtab mudel vastu kontekstipõhiseid juhiseid, näiteks rääkida vaoshoitud toonil, kõlada kiirustavalt, langetada häält, lisada lühike hingetõmme või esitada lause kurvalt. Seetõttu sobib see eriti hästi jutustamiseks, tegelaste dialoogideks, pealelugemiseks ja vestlusrakendusteks, kus esituse viis on sama oluline kui sõnad ise.
Mudel on saadaval StepFuni avatud platvormi kaudu. StepFuni praegusesse kataloogi kuulub ka StepAudio 3 TTS, kuid StepAudio 2.5 TTS on endiselt eraldi identifikaatori ja hinnastusega dokumenteeritud mudel. Dokumenteeritud mudeli ID on stepaudio-2.5-tts.
Kuidas kontekstipõhine juhtimine toimib?
StepAudio 2.5 TTS pakub esituse juhtimiseks kahte taset. Globaalne instruction kirjeldab, kuidas kogu lõik üldjoontes kõlama peaks. Selle abil saab määrata stseeni, emotsionaalse seisundi, hääle stiili või üldise esitamisviisi.
Tekstisiseseid juhiseid saab lisada sulgudesse. Need juhised võivad muuta konkreetset hetke, mõjutamata kogu lõigu kohta käivat üldjuhist. Näiteks võib skript sisaldada juhiseid lühikese pausi, hingetõmbe, tugevama rõhu, järsu emotsioonimuutuse või vaiksema esituse kohta. Juhiseid käsitletakse sünteesijuhistena, mitte väljaöeldavate sõnadena.
Selline lähenemine on kasulik siis, kui üks lõik sisaldab mitut esituse muutust. Globaalne juhis võib määrata pingelise öise vestluse üldise tonaalsuse, samas kui tekstisisesed juhised täpsustavad, kus tegelane kõhkleb, sosistab või reageerib üllatunult. Esitatud dokumentatsioon kirjeldab seda loomulikus keeles antava juhtimisena, mistõttu ei pea rakendused tuginema ainult spetsiaalsele emotsioonisiltide süsteemile.
Nullnäitega hääle kloonimine ja helisisend
Mudel toetab nullnäitega hääle kloonimist lühikese näidissalvestise põhjal. StepFuni dokumentatsiooni järgi saab sihthääle taasesitamiseks kasutada ligikaudu kolme sekundi pikkust näidisheli, säilitades samal ajal mudeli globaalsed ja tekstisisesed väljendusjuhised.
Praktikas tähendab see, et näidissalvestis määrab hääle identiteedi, tekst ja juhised aga selle, mida hääl ütleb ja kuidas lauset esitatakse. See kombinatsioon võib olla kasulik tegelaste loomisel, lokaliseeritud sisu tootmisel, interaktiivsete agentide puhul ja muudes rakendustes, kus on vaja ühtlast häält ilma eraldi kohandatud mudelit treenimata.
Hääle kloonimiseks on vaja asjakohast luba. Arendajad peaksid hankima kõneleja nõusoleku, järgima kehtivaid õigusi ja arvestama teavitamisnõuetega olukordades, kus loodud kõnet võidakse pidada ehtsaks salvestiseks. Seda võimekust ei tohi käsitleda loana mis tahes hääle taasesitamiseks pelgalt seetõttu, et vastav salvestis on olemas.
Toetatud sisendid ja väljundid
StepAudio 2.5 TTS võtab peamiselt vastu teksti ja genereerib kõneheli. Hääle kloonimiseks võib see vastu võtta ka näidisheli, mistõttu on dokumenteeritud sisendvormingute hulgas tekst ja heli. Väljund on heli, mitte tekst, pildid, video ega struktureeritud andmed.
| Võimekus | Toetatud üksikasjad |
|---|---|
| Tekstisisend | Jah |
| Näidisheli sisend | Jah, nullnäitega hääle kloonimiseks |
| Heliväljund | Jah, sünteesitud kõne |
| Pildi- või videosisend | Dokumenteerimata |
| Pildi- või videoväljund | Mudeli eesmärgi osana ei toetata |
| Voogedastus | Jah, sealhulgas väikese viivitusega heli genereerimine |
Esitatud dokumentatsioonis ei ole tõendeid selle kohta, et mudel toetaks üldist pildimõistmist, videotöötlust, transkribeerimist, teksti genereerimist või multimodaalset arutlemist. Selle helivõimekus on suunatud konkreetselt kõnesünteesile.
Sisendipiirangud ja API-juurdepääs
Iga päring toetab kuni 1000 sisendmärki. Globaalne juhis võib sisaldada kuni 200 märki. Need piirangud on tootmise kavandamisel olulised: pikk audioraamatu peatükk, skript või artikkel tuleb jagada mitmeks päringuks, mitte saata ühe piiramata lõiguna.
Pika vormiga rakendused peaksid hoidma häälesätted ja üldise esitamisjuhise segmentide vahel ühtsena. Samuti võib olla vaja hallata päringutevahelisi üleminekuid, et pausid, emotsionaalne järjepidevus ja stseenimuutused ei kõlaks järsult.
StepFun dokumenteerib kaks juurdepääsuviisi. Voogedastuseta süntees kasutab POST /v1/audio/speech lõpp-punkti ja tagastab täieliku helifaili. Voogedastusega süntees kasutab WebSocketi lõpp-punkti aadressil /v1/realtime/audio ning on mõeldud väiksema viivitusega esituseks ja interaktiivseteks kasutuskogemusteks.
Voogedastus on eriti oluline vestlusagentide ja kasutajaliideste puhul, kus kuulaja peaks hakkama kõnet kuulma enne kogu vastuse renderdamist. Voogedastuseta päringud on lihtsamad siis, kui rakendus vajab täielikku helifaili salvestamiseks, töötlemiseks või hilisemaks edastamiseks.
StepAudio 2.5 TTS-i hinnastamine
StepFun dokumenteerib kontekstipõhise teksti kõneks teisendamise hinnaks 5,8 jüaani 10 000 märgi kohta. Hääle kloonimise või loomise eest küsitakse mudeli dokumentatsiooni järgi eraldi 9,9 jüaani hääle kohta.
Hinnastus põhineb märkidel, mitte tokenitel. See muudab kindla skripti maksumuse hindamise lihtsamaks, kuid kogukulu sõltub esitatud teksti hulgast ja sellest, kas rakendus loob või kloonib täiendavaid hääli. Dokumenteeritud hinnastruktuuri kohaselt sisaldub heliväljund sünteesi hinnas.
Kuna mudeli ühe päringu piirang on 1000 märki, peaks pikema materjali töötlemisel arvestama kulusid mitme päringu peale. Esitatud uuringus ei ole eraldi voogedastustasu, mahupõhist allahindlust, valuutavahetuskurssi ega korduva tellimuse hinda, seega ei tohiks neid üksikasju eeldada.
Peamised tugevused ja piirangud
Milles mudel on tugev?
- Väljendusrikas juhtimine: Loomulikus keeles antavad globaalsed ja tekstisisesed juhised võimaldavad kirjeldada esituse üksikasju, nagu meeleolu, tempo, pausid, hingamine, rõhud ja hääle stiil.
- Hääle järjepidevus: Nullnäitega hääle kloonimine võib taasesitada sihthääle ligikaudu kolme sekundi pikkuse näidisheli põhjal, ilma eraldi treenitud häälemudelita.
- Interaktiivne esitus: WebSocketi-põhine voogedastus toetab rakendusi, kus heli peab hakkama väikese viivitusega mängima.
- Keskendunud töövoog: Mudel on loodud spetsiaalselt kõne tootmiseks, mistõttu on selle juhtimisvõimalused suunatud häälelisele esitusele, mitte üldotstarbelisele teksti genereerimisele.
Olulised piirangud
- Lühike päringu maht: 1000 märgi sisendipiirang on pikkade skriptide puhul kitsendav ja nõuab teksti segmentideks jagamist.
- Juhise pikkus: Globaalne juhis võib olla kuni 200 märki pikk, mistõttu tuleb keerukaid stseenijuhiseid väljendada lühidalt või jaotada tekstisiseste juhiste vahel.
- Kitsas kasutusvaldkond: See ei ole üldotstarbeline keelemudel arutlemiseks, programmeerimiseks, uurimistööks, piltide genereerimiseks ega videote genereerimiseks.
- Dokumenteeritud tööriistatoe puudumine: Esitatud spetsifikatsioonid ei viita funktsioonikutsetele, välistele tööriistadele, veebiotsingule ega struktureeritud väljundi genereerimisele.
- Häälte kasutamise nõuded: Kloonitud häälte kasutamiseks on vaja luba ning identiteeti ja avalikustamist tuleb käsitleda vastutustundlikult.
StepFun ei avalda selle mudeli kohta otseselt võrreldavaid arutlemise, programmeerimise, kiiruse ega kulu näitajaid. Seetõttu tuleks toimetuslikke hinnanguvälju käsitleda kontrollimata andmetena, mitte teisendada neid arvulisteks hinneteks. Mudeli praktiline kiiruse-eelis tuleneb dokumenteeritud voogedastusrežiimist, kuid standardiseeritud latentsusnäitajat ei ole esitatud.
Millal valida StepAudio 2.5 TTS?
Vali StepAudio 2.5 TTS siis, kui peamine vajadus on väljendusrikas kõne, mitte üldine tehisintellekti võimekus. See sobib näiteks järgmisteks kasutusjuhtudeks:
- Audioraamatulaadne või lugude jutustamine kontrollitud emotsiooni ja tempoga
- Tegelaste dialoogid mängude, animatsioonide ja lühivideote jaoks
- Pealelugemise tootmine, kus rõhku või esitamisviisi tuleb kohapeal muuta
- Emotsionaalselt nüansirikkad virtuaalagendid ja vestlusliidesed
- Interaktiivne esitus, millele tuleb kasuks heli voogedastus
- Hääle lubatud kloonimine lühikese näidissalvestise põhjal
See on mõistlik valik ka siis, kui tootmismeeskond soovib kirjeldada hääle kasutamist tavakeeles, selle asemel et luua suur hulk kindlaid hääleeelseadeid. Tekstisisesed juhised võivad muuta esituse kohta käiva skripti täpsemaks, ilma et neid juhiseid endid tuleks välja öelda.
Millal võib mõni teine lahendus paremini sobida?
Mõni teine kõnemudel võib olla parem valik juhul, kui rakendus vajab ühes päringus piiramata pikkusega sisendit, avaldatud latentsusnäitajat, laiemat dokumenteeritud keelte või häälte valikut või teistsugust hinnastruktuuri. Esitatud uuring ei anna konkureerivate toodete kohta nende võrdlusandmete osas kindlat teavet, seega peaks valik põhinema kontrollitud nõuetel, mitte eeldataval üleolekul.
Üldotstarbeline keelemudel sobib paremini näiteks dokumentide põhjal arutlemiseks, koodi kirjutamiseks, tööriistade kasutamiseks või struktureeritud äriandmete loomiseks. StepAudio 2.5 TTS võib ettevalmistatud teksti kõneks muuta, kuid seda ei ole dokumenteeritud süsteemina, mis peaks seda sisu looma või analüüsima.
Pika tootmisvoo puhul võib eraldi teksti genereerimise või orkestreerimise süsteem skripti ette valmistada ja segmentideks jagada, samal ajal kui StepAudio 2.5 TTS tegeleb lõpliku kõneväljundiga. Selline arhitektuur arvestab mudeli kitsa eesmärgi ja päringupõhise märgipiiranguga, selle asemel et käsitleda seda kõikvõimalikke ülesandeid täitva assistendina.
Kokkuvõte
StepAudio 2.5 TTS-i võib kõige paremini mõista kontekstitundliku kõneesituse mudelina. Selle peamised omadused on loomulikus keeles antav kontroll esitamisviisi üle, tekstisisesed juhised kohaliku väljendusrikkuse juhtimiseks, voogedastusega süntees ja nullnäitega hääle kloonimine lühikese näidissalvestise põhjal.
Selle peamine kompromiss on spetsialiseeritus. Mudel võimaldab väljendusrikast heli üksikasjalikult juhtida, kuid ei asenda üldist keelemudelit ning 1000 märgi sisendipiirang muudab pikema materjali puhul segmenteerimise vajalikuks. Lubatud jutustamise, tegelashäälte, emotsiooniteadlike agentide ja interaktiivse kõne puhul võivad need kompromissid olla vastuvõetavad. Üldiseks arutlemiseks, programmeerimiseks, tööriistade kasutamiseks või pikkade piiranguteta dokumentide töötlemiseks sobib paremini teist tüüpi mudel.