Mis on TTS-1 HD?
TTS-1 HD on OpenAI kvaliteedile keskenduv tekst-kõneks-mudel. Tekst-kõneks-tehnoloogia, mida lühendatakse sageli TTS-iks, teisendab kirjaliku teksti kõneks ehk heliks. TTS-1 HD teeb selle teisenduse OpenAI Audio API kõne lõpp-punkti kaudu, kasutades mudelitunnust tts-1-hd.
Mudel on TTS-1 kvaliteetsemaks alternatiiviks. Peamine erinevus seisneb helikvaliteedi ja latentsuse vahelises kompromissis: TTS-1 on loodud väiksema latentsusega kõne genereerimiseks, samas kui TTS-1 HD on mõeldud olukordadeks, kus kvaliteetsem tulemus kaalub üles võimaliku suurema viivituse või kulu.
TTS-1 HD ei ole üldotstarbeline keelemudel. Selle ülesanne on genereerida etteantud tekstist kõnet. See ei ole loodud arutlemiseks, programmeerimiseks, transkribeerimiseks, piltide analüüsimiseks, veebist otsimiseks ega iseseisvaks üldiseks vestluseks.
TTS-1 HD koht OpenAI mudelivalikus
TTS-1 HD kuulub OpenAI Audio API mudelite hulka ning seda dokumenteeritakse praegu saadaoleva kvaliteedile suunatud kõnemudelina. OpenAI tutvustas TTS-1 HD-d 6. novembril 2023 koos mudeliga TTS-1. Praeguses mudelikataloogis on selle kanooniline API-tunnus tts-1-hd.
OpenAI uuem tekst-kõneks-dokumentatsioon soovitab intelligentsete reaalaja rakenduste jaoks mudelit GPT-4o mini TTS, kuid dokumenteerib TTS-1 HD-d endiselt kõne genereerimise võimalusena. Praktikas on TTS-1 HD jätkuvalt asjakohane siis, kui rakendusel on tekst juba olemas ja see vajab allalaaditavat või voogedastatavat kõnet, eriti juhul, kui kvaliteet on võimalikult väikesest viivitusest olulisem.
Sisendid, väljundid ja toetatud modaalsused
TTS-1 HD modaalsuste profiil on kitsas ja selgelt määratletud:
- Sisend: tekst.
- Väljund: genereeritud kõneheli.
- Sisendi piirang: dokumenteeritud kõne lõpp-punkti piirangu kohaselt kuni 4096 märki ühe kõnetaotluse kohta.
- Helivormingud: MP3, Opus, AAC, FLAC, WAV ja PCM.
- Lõpp-punkt:
/v1/audio/speech.
Mudel ei aktsepteeri sisendina pilte, helisalvestisi ega videot. Samuti ei genereeri see esmase väljundina teksti, pilte, videot, embedd’e ega struktureeritud JSON-i. Vastus on helisisu, seega peab rakendus olema valmis helivastust salvestama, voogedastama, esitama või edasi töötlema, mitte käsitlema seda tekstilõpetusena.
4096 märgi piirang kehtib ühe kõnetaotluse kohta. Pikemad dokumendid tuleb enne sünteesi väiksemateks osadeks jagada. Teksti tükeldamine võib hõlbustada ka peatükkide, lõikude, pauside, failide ja korduskatsete haldamist, kuigi kasutatud uurimus ei täpsusta, kuidas peaksid rakendused eraldi genereeritud lõikude vahel järjepidevuse säilitama.
Hääled ja taasesituse juhtelemendid
Kõne lõpp-punkt pakub eelseadistatud hääli. Dokumenteeritud valikute hulka kuuluvad alloy, ash, ballad, coral, echo, fable, onyx, nova, sage, shimmer, verse, marin ja cedar. Häälte saadavus võib sõltuda valitud mudelist. OpenAI praegune tekst-kõneks-juhend soovitab parima kvaliteedi jaoks hääli marin ja cedar; see on teenusepakkuja soovitus, mitte sõltumatu võrdlustesti tulemus.
Rakendused saavad määrata ka taasesituse kiiruse. Dokumenteeritud vahemik on 0,25–4,0 ja vaikeväärtus 1,0. See võimaldab muuta sama genereeritud sisu aeglasemaks ligipääsetavuse või keeleõppe jaoks või kiiremaks teatud teabe edastamise kasutusjuhtudel. Kiiruse juhtimine muudab taasesituse ajastust; seda ei tohiks käsitleda teksti ümberkirjutamise või häälduse kontrollimise asendusena.
TTS-1 HD ei toeta parameetrit instructions, mida kasutavad uuemad juhiste abil juhitavad tekst-kõneks-mudelid. Seetõttu ei tohiks arendajad eeldada, et nad saavad selle parameetri kaudu mudelit usaldusväärselt suunata suvaliste stiilijuhistega, näiteks üksikasjalike emotsiooni-, tegelaskuju- või esitamisjuhistega.
Kvaliteedi, latentsuse ja hinna kompromissid
TTS-1 HD valimise peamine põhjus on selle kvaliteedile suunatud positsioneerimine. Võrreldes mudeliga TTS-1 on see mõeldud olukordadeks, kus kõne kvaliteet on võimalikult väikesest latentsusest olulisem. Seetõttu sobib mudel paremini ettevalmistatud jutustusteks, salvestatud teadaanneteks, ligipääsetavuse jaoks loodud heliks ja muuks sisuks, mille puhul võib enne taasesitust veidi oodata.
Kompromiss ei seisne ainult helikvaliteedi ja kiiruse vahel. TTS-1 HD on ka kallim kui TTS-1-le esitatud hind, sest OpenAI hinnakirja kohaselt maksab TTS-1 HD kõne genereerimine 30 dollarit 1 miljoni märgi kohta. Kasutatud uurimus ei esita eraldi väljundmärgipõhist hinda: kõne genereerimise eest arvestatakse tasu sisendmärkide, mitte väljundmärkide alusel.
Reaalajas suhtluse puhul, kus loeb iga sekundimurdosa, võib sobivam olla väiksema latentsusega kõnevõimalus. Häälpealelugemise töövoos, kus heli saab ette genereerida, võib TTS-1 HD kvaliteedile keskenduv positsioon õigustada suuremat kulu või pikemat ooteaega. Õige valik sõltub sellest, kas kuulaja hindab rohkem kohest vastust või viimistletud genereeritud kõnet.
Hind ja juurdepääs
OpenAI hinnakirjas on TTS-1 HD maksumus 30 dollarit 1 miljoni märgi kohta. See on märgipõhine kõne genereerimise hind, mitte kuutellimuse ega märgipõhise hinnastamise hind. Tegelik kulu sõltub sünteesiks saadetava teksti hulgast, seega peaksid rakendused arvestama korduvate taotluste, korduskatsete ja sellise teksti eeltöötlusega, mis suurendab märkide arvu.
Mudelile pääseb ligi OpenAI Audio API kõne lõpp-punkti kaudu, määrates tts-1-hd, teisendatava teksti ja toetatud hääle. Juurdepääs sõltub OpenAI API saadavusest ja konto tingimustest. Kasutatud uurimus ei täpsusta selle mudeli tasuta kasutusmahtu, eraldi kuupaketti ega maksimaalset taotluste arvu.
Tehnilised võimalused ja piirangud
TTS-1 HD võimalused on keskendunud, mitte laiaulatuslikud. See toetab kõne genereerimist ja heli voogedastust, kuid ei ole tööriistu kasutav ega arutlev mudel. Uurimuses ei tuvastata selle mudeli puhul funktsioonikutsete tuge, veebiotsingut, Batch API tuge, vahemällu salvestamist ega peenhäälestuse tuge.
| Võimekus | TTS-1 HD |
|---|---|
| Tekstisisend | Toetatud |
| Heliväljund | Toetatud |
| Pildi-, heli- või videosisend | Ei ole toetatud |
| Tekstiväljund | Ei ole esmane väljund |
| Arutlemine ja programmeerimine | Mudeli eesmärkidena ei ole toetatud |
| Tööriistade või funktsioonide kasutamine | Ei ole toetatud |
| Voogedastus | Heli voogedastus on toetatud |
| Sisendi maksimum ühe taotluse kohta | 4096 märki |
| Peenhäälestus | Ei ole toetatud |
Voogedastuse puhul tuleb teha konkreetne täpsustus. Kõne lõpp-punkt toetab heli voogedastust, kuid server saadetud sündmuste voogedastust TTS-1 HD ei toeta. Rakendused peaksid kasutama toetatud heli voogedastuse vormingut, mitte käsitlema vastust tavalise tekstisündmuste voona.
Mudel ei toeta ka uuemaid juhistepõhiseid hääle juhtimise võimalusi, mida kirjeldatakse mõne teise tekst-kõneks-valiku puhul. See piirang on oluline juhul, kui rakendus vajab kõnestiili üksikasjalikku programmilist juhtimist. TTS-1 HD-d on parem mõista eelseadistatud häälte ja taasesituse kiiruse juhtimisega kõnegeneraatorina, mitte täielikult juhitava hääleesituse süsteemina.
TTS-1 HD parimad kasutusjuhud
TTS-1 HD sobib kõige paremini olukordadesse, kus sisend on juba kirjalik ja väljund peab olema kuulatav kõne. Sobivad näited on järgmised:
- Jutustus ja häälpealelugemine: genereeri skriptide, artiklite, õppetundide või ettevalmistatud esitluste suulised versioonid.
- Ligipääsetavus: lisa ettelugemisfunktsioonid kasutajatele, kes eelistavad või vajavad helisisu.
- Õppesisu: loo ettevalmistatud tekstist helitunde, kordamismaterjale või keeleõppesisu.
- Teadaanded: loo teenuste, asutuste või rakenduste jaoks automaatseid infoteateid.
- Allalaaditav heli: ekspordi genereeritud kõne standardses vormingus, näiteks MP3, WAV või FLAC.
- Kvaliteedile keskenduvad häälliidesed: genereeri liidese jaoks vastuseid, kui süsteem talub suuremat latentsust kui väga ajatundlik vestlus.
Pikema materjali puhul jaga lähtetekst taotlusteks, millest ükski ei ületa dokumenteeritud 4096 märgi sisendipiiri. Väljundvorming vali sihtkoha järgi: tihendatud vormingud võivad levitamisel olla mugavad, kadudeta või töötlemata vormingud võivad aga sobida paremini hilisemaks helitöötluseks.
Millal valida TTS-1 HD?
Vali TTS-1 HD siis, kui kõik järgmised tingimused on täidetud:
- Sul on tekst juba olemas ja vajad tekstitöötluse asemel kõnet.
- Kõne kvaliteet on olulisem kui võimalikult väike latentsus.
- Rakenduse jaoks piisab eelseadistatud häälest.
- Sisu saab jagada kuni 4096 märgi suurusteks taotlusteks.
- Hind 30 dollarit miljoni märgi kohta on projekti jaoks vastuvõetav.
See võib hästi sobida ette genereeritud jutustuste, ligipääsetavusheli ja teadaannete jaoks, sest nendel juhtudel saab heli sageli valmis teha enne, kui kuulaja seda vajab. Mudeli tugi mitmele levinud vormingule muudab selle praktiliseks ka rakendustes, mis peavad genereeritud kõnet salvestama või levitama.
Millal võib mõni teine valik olla sobivam?
Vali väiksema latentsusega kõnemudel siis, kui peamine nõue on kohene vestluslik vastus ja kvaliteedile keskenduv mudel tekitaks vastuvõetamatult pika viivituse. Sõsarmudel TTS-1 on asjakohane OpenAI võrdlusvariant juhul, kui latentsuse vähendamine on olulisem kui kvaliteedile keskenduva TTS-1 HD valimine.
Uuem juhiste abil juhitav tekst-kõneks-võimalus võib olla sobivam siis, kui rakendus vajab esitamisjuhiste üksikasjalikku kontrolli, sest TTS-1 HD ei toeta parameetrit instructions. Transkribeerimiseks või heli mõistmiseks on vaja samuti mudelit, mis on selleks loodud, kui ülesanne algab salvestatud kõnest, mitte tekstist. TTS-1 HD ei suuda helisalvestist kuulata ega seda transkribeerida või analüüsida.
Lõpuks ei ole TTS-1 HD õige valik rakendustele, mis vajavad arutlemist, programmeerimist, veebiotsingut, piltide mõistmist või multimodaalset vestlust. Need ülesanded eeldavad vastavate sisendi-, väljundi- ja tööriistavõimalustega mudelit; TTS-1 HD-d tuleks üldjuhul kasutada kõne genereerimise komponendina pärast seda, kui mõni teine süsteem on teksti loonud.
Kokkuvõte
TTS-1 HD on OpenAI keskendunud kõnemudel, mis teisendab teksti kvaliteetseks genereeritud heliks. Selle peamised eelised on kvaliteedile suunatud positsioon võrreldes mudeliga TTS-1, mitme helivormingu tugi, lai valik eelseadistatud hääli, reguleeritav taasesituse kiirus ja ühilduvus Audio API kõne lõpp-punktiga. Peamised piirangud on 4096 märgi piirang ühe taotluse kohta, märgipõhine hind 30 dollarit 1 miljoni märgi kohta, pildi- ja helisisendi puudumine, arutlemise ja tööriistade kasutamise puudumine ning juhistepõhise häälejuhtimise puudumine.
See sobib kõige paremini ettevalmistatud või osaliselt ettevalmistatud kõnesisu jaoks, mille puhul on kvaliteet minimaalsest latentsusest olulisem. Väga interaktiivsete rakenduste, juhisterohke häälejuhtimise, transkribeerimise või üldotstarbeliste AI-ülesannete korral võib sobivam olla teist tüüpi mudel.