Mis on TTS-1?
TTS-1 on OpenAI tekstikõnesünteesi mudel. See võtab vastu kirjutatud teksti ja tagastab kõneldava heli, mitte tekstivastust, pilti ega videot. Mudel on mõeldud rakendustele, kus kõne esitamise alustamiseks kuluv aeg on oluline, näiteks häälliidestele, veebisisu ettelugemisele, automaatteadetele, juurdepääsetavustööriistadele ja muudele interaktiivsetele kogemustele.
OpenAI tutvustas TTS-1 mudelit 6. novembril 2023 koos mudeliga TTS-1 HD. Mõlemad mudelid täidavad üldjoontes sama eesmärki, kuid nende positsioneerimine on erinev: TTS-1 on optimeeritud väiksema latentsuse jaoks, samas kui TTS-1 HD on mõeldud pakkuma kvaliteetsemat väljundit. Seetõttu on TTS-1 praktiline valik siis, kui rakendus peab kõne kiiresti esitama ega vaja sama mudeliperekonna kõige kvaliteetsemat võimalust.
TTS-1 on praegu loetletud OpenAI mudelikataloogis ja kõnesünteesi dokumentatsioonis. Sellele pääseb ligi Audio API kõne genereerimise lõpp-punkti kaudu, mitte üldotstarbelise vestlusliku lõpetamisliidese kaudu.
Kuidas TTS-1 töötab?
Arendaja saadab teksti, valib hääle ja väljundvormingu ning saab vastu helifaili või helivoo. Asjakohane API-toiming on kõne genereerimise lõpp-punkt aadressil /v1/audio/speech. TTS-1 saab heli voogedastada tükikaupa edastamise kodeeringu abil, võimaldades rakendusel hakata tulemust esitama enne kogu vastuse genereerimist. OpenAI dokumentatsiooni kohaselt ei toetata selle mudeli puhul serveri saadetud sündmuste voo vormingut.
Mudel toetab MP3-, Opus-, AAC-, FLAC-, WAV- ja PCM-väljundit. Valik sõltub rakendusest: tihendatud vormingud, näiteks MP3, võivad olla edastamisel mugavad, samas kui PCM või WAV võib sobida paremini töövoogudesse, kus on vaja tihendamata heli. Esitatud dokumentatsioon ei täpsusta TTS-1 maksimaalset teksti pikkust, kontekstiakent ega väljundi maksimaalset kestust, seega ei tohiks neid piire eeldada.
Toetatud sisend- ja väljundtüübid
| Võimekus | TTS-1 tugi |
|---|---|
| Tekstisisend | Jah |
| Kõneldava heli väljund | Jah |
| Pildisisend | Ei |
| Helisisend | Ei |
| Videosisend | Ei |
| Tekstiväljund | Ei; peamine väljund on kõne |
| Pildi- või videoväljund | Ei |
| Heli voogedastus | Jah, tükikaupa edastamise kodeeringu abil |
Seega tuleks TTS-1 käsitleda kõnesünteesi komponendina, mitte heli mõistmise mudelina. See ei transkribeeri salvestisi, tõlgenda häälkäsklusi, vasta küsimustele ega arutle iseseisvalt dokumentide üle. Rakendus, mis vajab neid võimalusi, vajaks enne teksti TTS-1-le saatmist eraldi mudelit või teenust.
Hääled ja toetatud keeled
Dokumenteeritud sisseehitatud hääled on alloy, ash, coral, echo, fable, onyx, nova, sage ja shimmer. Need hääled annavad arendajatele mitu eelseadistatud hääleidentiteeti, ilma et oleks vaja hääle treenimist või peenhäälestust.
OpenAI kirjeldab neid hääli praegu inglise keele jaoks optimeerituna, kuid dokumenteerib kõne genereerimise ka paljudes teistes keeltes. See erinevus on tootmiskasutuse puhul oluline: mitmekeelne genereerimine võib olla võimalik, kuid hääle kvaliteet ja hääldus ei pruugi olla kõigis keeltes võrdselt head. Enne mitmekeelse toote jaoks hääle valimist peaksid meeskonnad katsetama tüüpilisi nimesid, tehnilisi termineid, numbreid, lühendeid ja piirkondlikke hääldusviise.
TTS-1 hinnakujundus
OpenAI hinnakirjas maksab TTS-1 15 dollarit 1 miljoni genereeritud kõnetähemärgi eest. Hinnakujundus põhineb tähemärkidel, mitte eraldi sisend- ja väljundmärgi hindadel. Esitatud mudeliteabes ei ole eraldi märgipõhiselt hinnastatud väljundkomponenti.
Lihtsa hinnangu järgi maksaks 100 000 tähemärgi genereerimine loetletud hinna alusel ligikaudu 1,50 dollarit, arvestamata muid võimalikke teenustasusid. Tegeliku kasutuse kavandamisel tuleks arvesse võtta korduvaid päringuid, uuesti proovimisi, iga vastuse juurde lisatavaid sissejuhatusi või lahtiütlusi ning rakenduse tehtavat teksti eeltöötlust.
TTS-1 HD hinnaks on märgitud 30 dollarit 1 miljoni tähemärgi eest ehk kaks korda rohkem kui TTS-1 puhul. Erinevus näitab selle mudeliperekonna peamist hinna ja kvaliteedi kompromissi: TTS-1 on odavam ja väiksema latentsusega valik, TTS-1 HD on aga suunatud kvaliteetsemale väljundile. Need hinnad pärinevad esitatud avaldatud mudelihindadest ning enne juurutamist tuleks need üle kontrollida OpenAI kehtivast hinnakirjast.
Kiiruse, kvaliteedi ja juhtimisvõimaluste kompromissid
TTS-1 kõige selgem teenusepakkuja toetatud omadus on selle positsioneerimine väikese latentsusega mudelina. Praktikas on see kasulik siis, kui süsteem peaks alustama kõne esitamist kohe pärast teksti kättesaadavaks muutumist. Voogedastus võib seda eelist veelgi tugevdada, sest klient võib hakata heli vastu võtma ajal, mil hilisemaid osi alles genereeritakse.
Kompromiss seisneb selles, et TTS-1 ei ole positsioneeritud OpenAI kõige kvaliteetsema kõnevalikuna. TTS-1 HD on sobivam sõsarmudel siis, kui väljundi kvaliteet on tähtsam kui võimalikult väike latentsus või hind. OpenAI praegune dokumentatsioon soovitab intelligentsete reaalajar rakenduste ja aktsendi, emotsiooni, intonatsiooni, kiiruse ning tooni suurema kontrolli jaoks ka uuemat GPT-4o mini TTS mudelit. See soovitus ei tähenda, et TTS-1 oleks kasutuskõlbmatu; see täpsustab, et TTS-1 eristub eelkõige oma väljakujunenud kõne lõpp-punkti ühilduvuse, prognoositava tähemärgipõhise hinna ja väikese latentsuse poolest.
TTS-1 ei toeta esitamisstiili juhiseid. Praeguse API viite kohaselt ei tööta parameeter instructions TTS-1 ega TTS-1 HD puhul. Arendajad ei tohiks eeldada, et selle parameetri abil saab usaldusväärselt määrata juhiseid, nagu „räägi elevil toonil“, „kasuta rahulikku tooni“ või „räägi aeglasemalt“. Kui väljendusrikas juhtimine on toote keskne nõue, võib uuem kõnemudel olla sobivam.
Arutlus-, kodeerimis- ja tööriistavõimekus
TTS-1 ei ole üldotstarbeline keelemudel. Selle töö algab pärast seda, kui rakendusel on juba olemas tekst, mis tuleb ette lugeda. See ei paku kõne genereerimise ülesande osana üldist arutlusvõimet, koodi genereerimist, veebotsingut, funktsioonikutseid, struktureeritud andmete genereerimist, piltide genereerimist ega heli mõistmist.
See võib ette lugeda teise mudeli või rakenduse loodud teksti, sealhulgas selgitusi, koodiga seotud juhiseid, klienditeeninduse vastuseid ja genereeritud jutustust. See ei tähenda, et TTS-1 materjalist aru saaks või seda hindaks. Näiteks võib eraldi süsteem analüüsida dokumenti ja koostada kokkuvõtte ning saata selle seejärel TTS-1-le esitamiseks. TTS-1 sünteesiks kokkuvõtte, kontrollimata iseseisvalt selle täpsust.
Olulised piirangud
- Dokumenteeritud konteksti- või väljundipiirangud puuduvad: Esitatud uuringus ei ole toodud kontekstiakna suurust, maksimaalset sisendi pikkust ega väljundi maksimaalset märgipiirangut. Arendajad peaksid tööpiirangud üle kontrollima kehtivast API dokumentatsioonist ja katsetama pikki päringuid.
- Ainult tekstisisend: TTS-1 ei võta sisendina vastu pilte, heli ega videot. See ei saa otse pilti kirjeldada, salvestist transkribeerida ega videot töödelda.
- Ainult kõne süntees: Mudel ei ole mõeldud küsimustele vastamiseks, arutlemiseks, koodi kirjutamiseks ega tavaliste tekstivastuste genereerimiseks.
- Piiratud esitamisstiili juhtimine: Parameeter
instructionsei tööta TTS-1 puhul, mis piirab emotsiooni, tooni, aktsendi, intonatsiooni ja kõnestiili otsest juhtimist. - Häälte ja keeltega seotud piirang: Hääled on praegu optimeeritud inglise keele jaoks, mistõttu tuleb mitmekeelseid juurutusi testida, mitte eeldada kõigis keeltes ühesugust kvaliteeti.
- Tehisintellekti kasutamise avalikustamine: Arendajad peaksid lõppkasutajatele teada andma, et hääl on tehisintellekti loodud, mitte inimese hääl.
Millal valida TTS-1?
Vali TTS-1 siis, kui peamine nõue on kiire ja prognoositav kõne genereerimine ning rakendus ei vaja täiustatud väljenduslikku juhtimist. Sobivad kasutusjuhud on järgmised:
- Reaalajale suunatud häälliidesed, mille vastused peavad kiiresti algama.
- Veebisaidi või rakenduse sisu ettelugemine, kus väike viivitus on tähtsam kui esmaklassiline häälekvaliteet.
- Juurdepääsetavusfunktsioonid, mis loevad teksti ette.
- Automaatsed teated, märguanded ja operatiivsed sõnumid.
- Suured genereeritud kõne mahud, mille puhul 15 dollarit miljoni tähemärgi eest on atraktiivne hind.
- Olemasolevad integratsioonid, mis põhinevad Audio API kõne lõpp-punktil ja selle toetatud väljundvormingutel.
TTS-1 sobib vähem olukordadesse, kus toode vajab väga väljendusrikast esitust, aktsendi või emotsiooni täpset juhtimist, heli mõistmist, transkribeerimist või üldotstarbelist arutlusvõimet. Sellistel juhtudel tuleks kasutada konkreetse ülesande jaoks loodud mudelit ning intelligentsema ja paremini juhitava reaalajakõne vajaduse korral kaaluda GPT-4o mini TTS-i. TTS-1 HD on otsesem võrreldav alternatiiv siis, kui eelistatakse kõrgemat kõnekvaliteeti TTS-1 väiksemale latentsusele ja madalamale hinnale.
Kas TTS-1 on õige OpenAI kõnemudel?
TTS-1 on endiselt mõistlik valik lihtsate tekst-kõneks töövoogude jaoks. Selle rolli on lihtne määratleda: võta tekst, vali üks dokumenteeritud hääl, määra helivorming ja genereeri kõne avaldatud tähemärgipõhise hinna alusel. Väikese latentsuse, voogedastuse toe ja laia vormingutoe kombinatsioon sobib rakendustele, kus heli tuleb genereerida usaldusväärselt ja kiiresti.
See ei ole parim valik pelgalt seetõttu, et rakendus sisaldab häält. Õige valik sõltub sellest, mis toimub enne ja pärast sünteesi. Kui süsteem peab ainult ettevalmistatud teksti heliks muutma, pakub TTS-1 selleks keskendunud ja suhteliselt säästliku lahenduse. Kui süsteem peab kõnest aru saama, esitust üksikasjalikult juhtima või looma täpsema ja kvaliteetsema hääle, võib uuem või spetsialiseeritum lahendus õigustada oma suuremat hinda või teistsuguseid võimalusi.