Mis on SeamlessStreaming?
SeamlessStreaming on Meta Seamless Communicationi mudeliperre kuuluv mitmekeelne kõnetõlkemudel. Selle peamine eripära on sünkroontõlge ehk voogtõlge: selle asemel et oodata terve lause või kõnelõigu lõppu, töötleb süsteem saabuvat heli ja hakkab tulemust koostama juba siis, kui kõneleja jätkab rääkimist.
Selline ülesehitus on mõeldud otsevestlusteks, suulise tõlke süsteemidele, ligipääsetavustööriistadele, keeleõpperakendustele ja muudeks olukordadeks, kus terve lausungi ootamine muudaks suhtluse aeglaseks. Meta andmetel on latentsus ligikaudu kaks sekundit, kuigi tegelik latentsus sõltub riistvarast, tarkvarakonfiguratsioonist, helist, keelepaarist ja juurutusviisist.
Mudel avaldati avalikult 30. novembril 2023. See põhineb mudelil SeamlessM4T v2 ning laiendab selle mitmekeelse kõne- ja tõlketehnoloogia vundamenti Meta EMMA-mehhanismiga, mis võimaldab järkjärgulist töötlemist. SeamlessStreamingut ei tohiks segi ajada mudeliga SeamlessExpressive, mis keskendub rohkem väljenduslike omaduste, näiteks hääletooni, emotsioonide, pauside ja kõnetempo säilitamisele.
Mida see mudel teha suudab?
SeamlessStreaming toetab kolme omavahel tihedalt seotud töövoogu. Esiteks saab see teha voogesituspõhist automaatset kõnetuvastust, teisendades saabuva kõne tekstiks kohe heli saabumisel. Teiseks saab see tõlkida kõne tekstiks, ootamata kõneleja lausungi lõppu. Kolmandaks saab see tõlkida kõnet kõneks, võimaldades ühes kõneldavas keeles öeldu esitada teises kõneldavas keeles otsevestluse ajal.
Esitatud mudeliteave näitab järgmist keelekatvust:
- Voogesituspõhine automaatne kõnetuvastus 96 keeles.
- Kõnesisendiga tõlge 101 lähtekeelest.
- Tekstitõlke väljund 96 sihtkeeles.
- Kõnetõlke väljund 36 sihtkeeles.
Neid arve ei saa omavahel võrdsustada. Kõnet saab vastu võtta rohkematest lähtekeeltest, kui seda saab kõnena genereerida, ning tõlgitud teksti sihtkeelte katvus on laiem kui tõlgitud kõne puhul. Seetõttu peaksid kõnest kõneks rakenduse kavandajad kontrollima, kas nii lähte- kui ka sihtkeel on konkreetse töövoo jaoks toetatud.
Peamine sisend on kõne. Olenevalt valitud ülesandest võib väljund olla transkribeeritud tekst, tõlgitud tekst, tõlgitud kõne või eraldi komponentide loodud teksti ja kõne kombinatsioon. See ei ole üldotstarbeline tekstipõhine vestlusrobot ning esitatud spetsifikatsioonid ei nimeta tavalist tekstisisendit toetatud sisendviisina.
Kuidas voogedastuslik arhitektuur töötab?
SeamlessStreaming kasutab UnitY2 arhitektuuri koos Efficient Monotonic Multihead Attentioni ehk lühendatult EMMA-ga. Lihtsustatult aitab EMMA mudelil otsustada, millal on ta saanud lähtekõnest piisavalt teavet, et toota tõlke järgmine kasulik osa.
See otsus on sünkroontõlke puhul oluline. Tavapärane võrguühenduseta süsteem saab kasutada tervet lauset ja oma tõlgendust enne vastuse genereerimist korrigeerida. Voogedastussüsteem peab tasakaalustama kaht vastandlikku eesmärki: väljastada tulemus kiiresti, vältides samal ajal ennatlikke tõlkeid, mis vajaksid hiljem ulatuslikku parandamist. Monotoonne tähelepanu pakub mehhanismi, mille abil saab saabuvat kõnet järjest töödelda ja väljundit järk-järgult genereerida.
Avaldatud uurimistöö kontrollpunkt sisaldab ligikaudu 2,5 miljardit parameetrit. Meta juurutus on levitatud Seamless Communicationi repositooriumi kaudu ning kasutab fairseq2 ökosüsteemi koos SimulEvalil põhinevate tööriistadega voogedastuse hindamiseks. Seetõttu sobib mudel paremini arendajatele ja teadlastele, kes tunnevad kohalike mudelite juurutamist, kui kasutajatele, kes otsivad lihtsat veebipõhist lõpp-punkti.
Keele- ja väljundkatvus
SeamlessStreamingu keelenäitajaid on kõige kasulikum vaadelda ülesannete kaupa, mitte käsitleda neid ühe universaalse keelte arvuna. Projekt, mis vajab ainult kõnetuvastust, võib kasutada rohkem keeli kui projekt, mis vajab kõnetõlget. Samamoodi saab subtiitrite või transkriptsiooni töövoog kasutada laiemat tekstiväljundi katvust, ilma et sihtkeele jaoks oleks vaja toetatud kõnesüntesaatorit.
Näiteks võib rakendus kasutada mudelit mitmekeelse otsekoosoleku transkribeerimiseks ja transkriptsiooni tõlkimiseks ühte mudeli 96 tekstiväljundi sihtkeelest. Otsetõlke rakendusel on rangemad nõuded: lähtekeel peab olema toetatud kõnesisendiga tõlkimiseks ning soovitud kõneldav sihtkeel peab kuuluma 36 kõneväljundi keele hulka.
Esitatud uurimistöö ei määra universaalset kontekstiakna suurust, väljundi maksimaalset tokenipiirangut ega kindlat heli kestuse piirangut. Voogedastussüsteemi puhul on need puuduvad andmed vähem olulised kui tavapärase tekstigeneratsiooni API korral, sest sisendit ja väljundit töödeldakse järk-järgult, kuid neid tuleks siiski käsitleda teadmata väärtustena, mitte eeldada, et piiranguid pole.
Kättesaadavus, hind ja litsents
SeamlessStreaming on avatud uurimismudelina saadaval Meta Seamless Communicationi projekti, avaliku repositooriumi ja Hugging Face’i AI at Meta organisatsiooni kaudu. Hugging Face’i mudelikaardil on litsentsina märgitud CC BY-NC 4.0. Kommertskasutajad peaksid kehtiva litsentsi ja sellega seotud tingimused hoolikalt üle vaatama; mudeli avalik kättesaadavus ei tähenda iseenesest luba piiranguteta kommertskasutuseks.
SeamlessStreamingu jaoks ei ole esitatud tavapärase hostitud API hinda ega tokenipõhist sisendi- ja väljunditariifi. Mudelit levitatakse pigem uurimis- ja juurutuspaketina kui tavalise tasulise järeldusteenusena. Seetõttu määravad kuluprofiili peamiselt taristu, GPU-kasutus, arendustöö, salvestusruum ja hooldus, mitte avaldatud tokenipõhine hind.
Meta dokumentatsioon märgib, et CPU-põhist järeldust ei soovitata, sest see võib sünkroontõlke ajal põhjustada suuri viivitusi. Kohalik juurutus võimaldab vältida hostitud API tasusid, kuid selleks on endiselt vaja sobivat riistvara ja konfiguratsiooni. Väikese prototüübi puhul võivad arendus- ja riistvaranõuded kaaluda API-tasude puudumise üles.
Peamised tugevused ja kompromissid
Kõige selgem tugevus on väikese latentsusega mitmekeelne kõnetöötlus. Süsteem, mis alustab tõlkimist enne kõneleja lausungi lõppu, võib muuta vestluse kasutatavamaks kui võrguühenduseta töövoog, mis ootab tervete lausete valmimist. SeamlessStreaming ühendab ühes mudeliperes ka mitu omavahel seotud ülesannet: kõnetuvastuse, kõnest tekstiks tõlkimise ja kõnest kõneks tõlkimise.
Teine oluline eelis on keelekatvus, eriti projektide puhul, mis vajavad enamat kui mõnda suuremat keelt. Teksti- ja kõneväljundi eraldamine annab arendajatele ka praktilise valikuvõimaluse. Tekstiväljundit saab kasutada subtiitrite, transkriptsioonide, otsingu või edasise töötlemise jaoks, kõneväljund aga otseseks suuliseks suhtluseks.
Kompromissiks on juurutamise keerukus. See ei ole kerge üldotstarbeline keelemudel, mida saab kasutada lihtsa vestluspäringuga. Ligikaudu 2,5 miljardi parameetriga kontrollpunkt, fairseq2-põhine tarkvarakiht, mitu töötlemiskomponenti ja GPU soovitus muudavad selle käitamise keerukamaks kui hostitud tõlke-API kasutamise.
Voogedastus hõlmab ka loomupärast kvaliteedi ja latentsuse vahelist kompromissi. Kiire väljundi loomine tähendab, et süsteemil võib olla vähem lähtekonteksti kui võrguühenduseta tõlkijal. Esitatud uurimistöö toetab Meta ligikaudset kahe sekundi latentsuse väidet, kuid ei esita universaalset kvaliteediskoori ega taga ühesugust jõudlust eri keelte, aktsentide, keskkondade ja riistvara korral.
Arutlus, kodeerimine ja tööriistade tugi
SeamlessStreaming on spetsialiseerunud kõnetuvastusele ja tõlkimisele, mitte üldotstarbelisele arutlusele. See ei paku sellist avatud planeerimist, küsimustele vastamist ega põhjalikku analüüsi, mida seostatakse üldotstarbelise keelemudeliga. Esitatud spetsifikatsioonid ei nimeta kodeerimisvõimekust, tööriistade kutsumist, funktsioonikutsunguid, veebotsingut, struktureeritud väljundi režiimi ega agenditoiminguid.
See ei takista rakendusel mudelit suuremasse tarkvarasüsteemi paigutamast. Arendaja võib kasutada selle transkriptsiooni- või tõlkeväljundit töövoo ühe etapina ning edastada teksti seejärel teisele mudelile või teenusele kokkuvõtete, otsingu või töövoo automatiseerimise jaoks. Need lisavõimalused pärineksid siiski ümbritsevast süsteemist, mitte SeamlessStreamingust endast.
Parimad kasutusjuhud
- Mitmekeelne otsetõlge: kõneldavate vestluste tõlkimine väiksema viivitusega kui voorupõhises võrguühenduseta töövoos.
- Voogesituspõhine transkriptsioon: kõne tekstiks teisendamine koos koosoleku, loengu, intervjuu või ülekande edenemisega.
- Tõlgitud subtiitrid: tekstiväljundi loomine mitmekeelse video või otseürituse jaoks, kui sihtkeel on toetatud.
- Ligipääsetavuse prototüübid: kõnest tekstiks teisendamise või keeltevahelise suhtluse kasutajaliideste katsetamine.
- Keeleõppetööriistad: peaaegu reaalajas transkriptsiooni ja tõlke pakkumine suuliste harjutuste ajal.
- Tõlkealane uurimistöö: sünkroontõlkestrateegiate hindamine Meta SimulEvaliga seotud tööriistade abil.
See sobib eriti hästi siis, kui kontroll kohaliku juurutuse üle, mitmekeelne kõnekatvus ja voogedastuse toimimine on lihtsa integratsioonikogemusega võrreldes olulisemad.
Millal valida SeamlessStreaming?
Vali SeamlessStreaming siis, kui sinu keskne probleem on reaalajas toimuv mitmekeelne kõnetöötlus ja suudad hallata uurimistööle suunatud kohalikku juurutust. See on tugev kandidaat meeskondadele, kes vajavad võimalust mudelit uurida või kohandada, soovivad vältida sõltuvust ühest hostitud API-st või katsetada sünkroontõlke latentsusomadusi.
Hostitud kõnetõlketeenus võib olla sobivam, kui vajad prognoositavat operatiivtuge, lihtsat API-integratsiooni, paindlikku skaleerimist või läbipaistvat kasutuspõhist arveldamist. Võrguühenduseta tõlkemudel võib olla eelistatum siis, kui maksimaalne tõlkekontekst ja lõplik kvaliteet on olulisemad kui kohene osaline väljund. Vestluse, kodeerimise, struktureeritud arutluse, tööriistade kasutamise või dokumendianalüüsi jaoks sobib paremini üldotstarbeline keelemudel.
Meta Seamlessi mudeliperes võib SeamlessExpressive olla asjakohasem siis, kui peamine nõue on hääle väljendusrikkuse säilitamine. SeamlessStreaming on otsesem valik siis, kui prioriteet on tõlkimise alustamine juba kõneleja lausungi ajal.
Piirangud, mida enne juurutamist kontrollida
Enne mudeli kasutamist tootmises kontrolli täpset lähte- ja sihtkeele paari, eriti kõneväljundi puhul. Kontrolli, kas litsents lubab kavandatud kasutust, testi jõudlust rakenduse jaoks oluliste aktsentide ja akustiliste tingimustega ning mõõda täielikku otsast lõpuni latentsust riistvaral, mida kavatsed kasutada.
Esitatud andmetes ei ole tavapärast kontekstipiirangut, väljundi maksimaalset tokenipiirangut ega hostitud teenuse hinnakirja. Samuti puuduvad viited sisseehitatud tööriistade kasutamisele, kodeerimise toele, üldotstarbelisele arutlusele või standardsele kommerts-API-le. Seetõttu tuleks mudelit hinnata spetsialiseeritud voogedastusliku kõnesüsteemina, mitte vestlusmudeli või pilvepõhise tõlke-lõpp-punkti otsese asendusena.