端到端语音语言大模型（Lite）

Mis on End-to-End Speech Language Model Lite?

End-to-End Speech Language Model Lite on Baidu väiksema kuluga ja väikese latentsusega mudel kõnedialoogi jaoks. Selle asemel et käsitleda kõnetuvastust, teksti genereerimist ja kõnesünteesi kasutaja jaoks täiesti eraldiseisvate etappidena, kasutab see Baidu Cross-Attentioni otsast lõpuni kõnekeele arhitektuuri, et töödelda kõnel põhinevat suhtlust pideva vestlusena. Praktiline eesmärk on pakkuda vastust, mis tundub vahetu, kui inimene suhtleb assistendi, seadme või rakendusega.

Mudel on kommertskasutuseks saadaval ja kuulub Baidu End-to-End Speech Language Modeli mudeliperre. Esitatud dokumentatsioonis nimetatakse kahte kanoonilist API mudelitunnust: audio-mini-realtime-near lähivälja stsenaariumide jaoks ja audio-mini-realtime-far kaugvälja stsenaariumide jaoks. Mudeli nimi on esitatud kujul „End-to-End Speech Language Model Lite“, samas kui API tunnustes kasutatakse Baidu audio-mini nimetust.

„Lite’i“ tuleks mõista reaalajas ja kulutundlike juurutuste positsioneerimisena, mitte väitena, et see mudel suudab asendada kõiki üldotstarbelisi teksti- või multimodaalseid mudeleid. Kõige paremini sobib see kõnepõhiseks suhtluseks, kus vastuse kiirus ja heli töötlemine on olulisemad kui arutlemise lai sügavus.

Peamine eesmärk ja koht mudelivalikus

Baidu positsioneerib seda mudelit väikese latentsusega häälassistentidele, emotsionaalse kaaslase rakendustele, nutiriistvarale, mobiilirakendustele ja loomulikule kõnedialoogile. Neid kasutusjuhtumeid ühendab üks nõue: süsteem peab kuulama, kiiresti vastama ja vestlust jätkama, sundimata kasutajat läbima jäika nupuvajutusega kõne alustamise töövoogu.

Lähivälja ja kaugvälja tunnused viitavad sellele, et Baidu pakub eri helisalvestustingimuste jaoks erinevaid variante. Esitatud uuringus ei avaldata üksikasjalikku jõudlustabelit, mis neid kahte varianti eristaks, seega ei tohiks neid ilma lisadokumentatsioonita käsitleda erinevate võimekustasemetena. Dokumenteeritud erinevus seisneb kavandatud akustilises keskkonnas: lähivälja kasutus viitab üldjuhul mikrofoni lähedalt salvestatud helile, kaugvälja kasutus aga kaugemalt salvestatud helile.

See asetab Lite’i pigem reaalajas töötava vestlusliku kõnemootori kui tavapärase tekstikeskse suure keelemudeli rolli. Tekstikeskne mudel võib olla parem valik pikkade dokumentide, keerukate programmeerimisülesannete või struktureeritud äriprotsesside jaoks. Lite sobib paremini olukordadesse, kus peamine liides on kõne ja kasutaja saab kiirest vastusest kasu.

Toetatud sisendid ja väljundid

Mudel toetab nii heli- kui ka tekstisisendit. Helisuhtlus kasutab 16 kHz PCM16-heli ning Baidu dokumentatsioon kirjeldab reaalajas WebSocketi kaudu toimivat suhtlust. Mudel võib tagastada nii heli kui ka teksti, sealhulgas helivastuseid ja heli transkriptsioone. See võimaldab rakendusel esitada kõneldud vastust ning samal ajal säilitada teksti subtiitrite, logide, ligipääsetavusfunktsioonide või järgmise etapi kuvamise jaoks.

Mudel toetab ka katkestuste käsitlemist ja serveripoolset kõneaktiivsuse tuvastust. Kõneaktiivsuse tuvastus aitab teenusel kindlaks teha, millal inimene on rääkima hakanud või rääkimise lõpetanud, samas kui katkestuste käsitlemine on loomuliku dialoogi jaoks oluline: kasutaja saab vahele rääkida, selle asemel et oodata vaikides pika genereeritud vastuse lõppu. Need funktsioonid on eriti olulised seadmetesse või rakendustesse integreeritud assistentide puhul, kus vestluse ajastus mõjutab kasutusmugavust.

Latentsus ja vestluskäitumine

Baidu märgib otsast lõpuni vastuse latentsuseks ligikaudu ühe sekundi. See on teenusepakkuja esitatud positsioneerimisväide, mitte sõltumatu võrdlustesti tulemus, ning tegelik latentsus sõltub võrgutingimustest, heli edastamisest, serveri koormusest, rakenduse käitumisest ja konkreetse vastuse genereerimiseks kuluvast ajast. Sellest hoolimata näitab väide selgelt mudeli peamist disainiprioriteeti: kiiret kõnevoorude vahetumist.

Kiire vastus on väärtuslik näiteks hääljuhitava kodumasina, mobiiliassistendi või suulise kliendisuhtluse puhul. Liiga kaua vastust ootav mudel võib panna kasutaja end kordama või eeldama, et süsteem ei tööta. Lite’i voogedastusliides, serveripoolne kõneaktiivsuse tuvastus ja katkestuste tugi on kavandatud sellise vestlusliku hõõrdumise vältimiseks.

Kompromiss seisneb selles, et seda mudelit ei tohiks automaatselt valida ülesannete jaoks, kus peamine nõue on maksimaalne arutlemissügavus, ulatuslik kontekst või keerukas koodi genereerimine. Esitatud uuringus ei anta kontekstiakna suurust ega väljundi maksimaalset tokenipiirangut, seega tuleks neid väärtusi käsitleda määratlemata, mitte eeldada, et need on piiramatud.

Arutlemis-, programmeerimis- ja tööriistavõimekus

Esitatud toimetuslikus hinnangus saab End-to-End Speech Language Model Lite arutlemise eest 6 punkti 10-st ja programmeerimise eest 3 punkti 10-st. Need on toimetuslikud hinnangud, mis põhinevad mudeli dokumenteeritud reaalajas kõne kasutusotstarbel, mitte Baidu avaldatud võrdlustestide tulemustel. Need viitavad sellele, et mudel saab hakkama tavapärase vestlusliku arutlemisega, kuid pole eelkõige mõeldud keerukaks mitmeetapiliseks analüüsiks ega tarkvaraarenduseks.

Näiteks võib Lite olla mõistlik valik, kui kasutaja esitab häälassistendile lühikese faktiküsimuse, palub vestluslikku vastust või suhtleb nutiseadmega. See on nõrgem valik siis, kui ülesanne hõlmab suure koodibaasi genereerimist, keeruka tarkvara silumist, pika tehnilise dokumendi analüüsimist või struktureeritud mitmeetapilise töövoo haldamist.

Üldist tööriista- või funktsioonikutsete tuge ei ole esitatud uuringus dokumenteeritud. Andmebaasis on tööriistade kasutus märgitud kättesaamatuks. Baidu loetleb küll otsingu täiustamise valikulise ja eraldi tasustatava võimalusena hinnaga ¥0.036 kõne kohta järelmaksuga. Seda otsingufunktsiooni ei tohiks segi ajada üldise agentse tööriistatoega: tegemist on konkreetse valikulise täiustusega, mitte tõendiga, et mudel suudab vabalt kutsuda suvalisi rakenduse funktsioone.

Hinnakujundus ja kulustruktuur

Baidu loetleb heli- ja tekstitokenitele eraldi hinnad. Helisisend maksab ¥0.016 iga 1000 helisisendi tokeni kohta, tekstisisend aga ¥0.002 iga 1000 tekstisisendi tokeni kohta. Heliväljund maksab ¥0.06 iga 1000 heliväljundi tokeni kohta ja tekstiväljund ¥0.016 iga 1000 tekstiväljundi tokeni kohta.

Baidu reklaamib ka ettemakstud pakette, mille hinnad ulatuvad ¥70-st 2 miljoni tokeni eest kuni ¥25 000-ni 1 miljardi tokeni eest. Esitatud teave ei täpsusta, kuidas iga pakett jaotab heli- ja tekstisisendi ning heli- ja tekstiväljundi kasutust, seega ei tohiks pakettide hindadest tuletada ühtset universaalset tokenipõhist määra.

Toimetuslik kuluskoor on 9 punkti 10-st, mis kajastab mudeli väikese kuluga positsioneerimist, eriti reaalajas kõneteenuse puhul. See skoor on subjektiivne ja seda ei tohiks tõlgendada teenusepakkuja garantiina. Tegelik kulu sõltub heli ja teksti kombinatsioonist, genereeritud heli hulgast, vestluse pikkusest, katkestustest ja kõigist eraldi tasustatavatest otsingukõnedest.

Peamised tugevused ja piirangud

Tugevused

• Reaalajas suhtlus: WebSocketi voogedastus, serveripoolne kõneaktiivsuse tuvastus ja katkestuste käsitlemine on loodud vestluslikuks kõnevoorude vahetamiseks.
• Helikeskne toimimine: Mudel võtab vastu kõnesisendit ja toodab kõneväljundit, mistõttu ei pea rakendus kogu kõnetöötluse torustikku iseseisvalt üles ehitama.
• Kaks väljundivormingut: Heli- ja tekstivastused võivad samal ajal toetada taasesitust, subtiitreid, transkriptsioone ja rakenduse liideseid.
• Väikese latentsusega positsioneerimine: Baidu märgib otsast lõpuni vastuse latentsuseks ligikaudu ühe sekundi.
• Kulutundlik juurutus: Eraldi sisendi- ja väljundihinnad ning ettemakstud paketid toetavad juurutusi, kus kasutuse majanduslik tõhusus on oluline.
• Hiina keele kõne fookus: Baidu loetleb toetatud kõnevariantidena mandariini ja mitu Hiina piirkondlikku murret.

Piirangud

• Esitatud uuringus pole avaldatud konteksti- ega väljundipiiri: Konteksti pikkus ja väljundi maksimaalne tokenite arv on määratlemata.
• Piiratud modaalsuste ulatus: Pildi ja video mõistmist ega genereerimist pole dokumenteeritud, mistõttu ei sobi mudel visuaalsete rakenduste jaoks.
• Nõrk sobivus programmeerimiseks: Selle madal toimetuslik programmeerimisskoor kajastab kõnekeskset eesmärki, mitte arendustööks mõeldud disaini.
• Üldist tööriistakutsete tuge pole dokumenteeritud: Funktsioonide käivitamist või ulatuslikke agentseid töövooge vajavad rakendused peaksid kasutama lahendust, millel on selgesõnaline tööriistade tugi.
• Ei ole mõeldud pakettöötluseks: Esitatud positsioneerimine rõhutab reaalajas WebSocketi seansse, mitte pakett-API töökoormusi.
• Heliväljund võib olla kallim: Heliväljundi tokenite hind on helisisendi tokenitest kõrgem, seega peaksid pikki kõnevastuseid genereerivad rakendused kasutust hoolikalt jälgima.

Millal valida End-to-End Speech Language Model Lite?

Vali see mudel siis, kui kõne on keskne liides ja kiire kõnevoorude vahetumine on oluline. See sobib hästi mandariinikeelsele häälassistendile, interaktiivsele nutiseadmele, mobiilirakenduse häälfunktsioonile, emotsionaalse kaaslase kogemusele või muule rakendusele, kus kasutajad eeldavad, et saavad kõnepõhist vestlust loomulikult katkestada ja jätkata.

See on mõistlik valik ka siis, kui rakendus vajab nii heli taasesitust kui ka tekstilisi transkriptsioone. Näiteks võib seade esitada genereeritud PCM16-vastuse ja kuvada samal ajal ekraanil transkriptsiooni või võib mobiilirakendus säilitada teksti ligipääsetavuse ja vestlusajaloo jaoks.

Kaalu teist tüüpi mudelit siis, kui peamine ülesanne on pika teksti genereerimine, pildi- või videoanalüüs, täiustatud programmeerimine, keerukas tööriistade orkestreerimine, peenhäälestus või pakettöötlus. Tekstikeskne arutlusmudel sobib tõenäoliselt paremini süvaanalüüsiks, samas kui pildi- ja keelemudel sobib paremini piltide või video jaoks. Esitatud uuringus ei nimetata konkreetset Baidu sõsarmudelit, mis peaks Lite’i nende ülesannete puhul asendama, seega tuleks neid võrdlusi mõista võimekuspõhiste, mitte otseste mudelisoovitustena.

Kokkuvõte

End-to-End Speech Language Model Lite on Baidu sihipärane toode kiire kõnedialoogi jaoks. Selle väärtus tuleneb helisisendi ja -väljundi, reaalajas WebSocketi voogedastuse, katkestuste käsitlemise, kõneaktiivsuse tuvastuse ja väikese latentsusega kommertsliku positsioneerimise kombinatsioonist. Seda ei esitata üldotstarbelise mudelina, mis sobiks kõigi modaalsuste või töökoormuste jaoks. Kõige selgem põhjus selle valimiseks on vajadus taskukohase, loomuliku ja kiire häälinteraktsiooni järele; kõige selgem põhjus valida midagi muud on vajadus visuaalse mõistmise, ulatusliku arutlemise, programmeerimise, üldise tööriistakasutuse või dokumenteeritud suure konteksti töötlemise järele.