Mis on Whisper?
Whisper on OpenAI üldotstarbeline automaatse kõnetuvastuse mudel. Automaatne kõnetuvastus ehk ASR tähendab kõneheli teisendamist kirjalikuks tekstiks. Whisper suudab tuvastada ka kõneldava keele ning tõlkida teistes keeltes kõne inglise keelde.
Nimetus hõlmab kahte omavahel seotud asja. OpenAI algne Whisperi projekt on avatud lähtekoodiga kõnetuvastussüsteem, mille eri suuruses mudeli kontrollpunkte saab alla laadida. Eraldi on whisper-1 hostitud mudeli identifikaator, mis on saadaval OpenAI API kaudu. Neid ei tohiks käsitleda identsete toodetena: API-mudel on hallatav teenus, samal ajal kui avatud lähtekoodiga projekti saab avaldatud kontrollpunktide abil iseseisvalt käitada.
OpenAI tutvustas Whisperit 21. septembril 2022. OpenAI tootekataloogis on selle põhifunktsioon kõnest tekstiks teisendamine, mitte üldine vestlus, arutlemine, programmeerimine, piltide mõistmine või kõne genereerimine.
Praegune olek ja positsioon OpenAI tootekataloogis
Hostitud whisper-1 API-mudel on aegunud, kuid üleminekuperioodil endiselt ligipääsetav. OpenAI esitatud dokumentatsioonis on sulgemiskuupäevana märgitud 26. veebruar 2027 ning soovitatakse üle minna uuematele kõne töötlemisele suunatud võimalustele, näiteks gpt-live-transcribe või gpt-transcribe.
Seda olekut tuleb Whisperi uue rakenduse jaoks valides arvesse võtta. See võib endiselt olla kasulik olemasoleva integratsiooni, lühiajalise projekti või töövoo puhul, mille vajadused sobivad selle lihtsa transkribeerimisliidesega. Süsteem, mis peab töötama ka pärast sulgemiskuupäeva, ei tohiks aga muuta Whisperit oma pikaajaliseks sõltuvuseks ilma dokumenteeritud üleminekuplaanita.
Mida Whisper suudab teha
- Heli transkribeerimine: teisendab kõne tekstiks.
- Kõne tõlkimine: tõlgib muukeelse kõne ingliskeelseks tekstiks.
- Keele tuvastamine: tuvastab helis kasutatava keele.
- Ajatemplitega väljund: toetatud juhtudel esitab lõigu- või sõnataseme ajastuse, mis on kasulik subtiitrite ja otsitava meedia puhul.
- Mitu väljundvormingut: tagastab tulemused JSON-i, lihtteksti, SRT, üksikasjaliku JSON-i ja VTT-vormingus.
OpenAI dokumentatsiooni kohaselt toetab mudel 98 keelt. Transkribeerimise tegelik kvaliteet võib erineda sõltuvalt keelest, salvestustingimustest, aktsendist, taustmürast, kattuvast kõnest ja salvestise teemast. Esitatud spetsifikatsioonid ei sisalda universaalset täpsusnäitajat, mistõttu tuleks transkriptsioon üle kontrollida, kui vead võivad mõjutada juriidilisi, meditsiinilisi, finants-, nõuetele vastavuse või avaldamisega seotud otsuseid.
Sisendid, väljundid ja tehnilised piirangud
Whisper võtab sisendiks heli ja väljastab teksti. Dokumenteeritud konfiguratsiooni kohaselt ei võta see vastu pilte ega videot ning ei tooda otse heli, pilte ega videot.
| Võimekus | Whisperi spetsifikatsioon |
|---|---|
| Hostitud mudeli ID | whisper-1 |
| Peamine sisend | Heli |
| Peamine väljund | Tekst |
| Toetatud keeled | OpenAI dokumentatsiooni kohaselt 98 keelt |
| Tõlkesuund | Teistes keeltes kõne tõlkimine inglise keelde |
| Ajatemplivormingud | Toetatud juhtudel lõigu- või sõnataseme ajatemplid |
| Väljundvormingud | JSON, lihttekst, SRT, üksikasjalik JSON ja VTT |
| Avaldatud konteksti pikkus | Esitatud dokumentatsioonis täpsustamata |
| Avaldatud väljundi maksimaalne tokenite arv | Esitatud dokumentatsioonis täpsustamata |
Tokenipiirang ei ole selle mudeli hindamiseks kõige kasulikum näitaja, sest Whisper on loodud heli transkribeerimiseks, mitte vabas vormis teksti genereerimiseks. OpenAI esitatud mudeliandmetes ei ole siiski märgitud kontekstiakna ega väljundi maksimaalse tokenite arvu väärtust. Seetõttu peaksid rakendused eeldatava piirangu asemel lähtuma kehtivast API dokumentatsioonist, kus kirjeldatakse lubatud helifailide piiranguid ja vastuse käitumist.
Whisperi API hinnastamine
Esitatud OpenAI hinnainfo kohaselt maksab Whisper 0,006 dollarit helimälu minuti kohta. See on helikestusel põhinev hind, mitte korduv kuutellimus. Lõplik maksumus sõltub töödeldud heli kogusest, seega hinnatakse näiteks ühe tunni pikkust salvestist 60 esitatud heliminuti põhjal, enne võimalike konto- või platvormiga seotud asjaolude arvestamist.
Esitatud uuringus ei ole Whisperi kohta eraldi väljundtokenite tasu märgitud. Seetõttu on selle partii-transkribeerimise maksumust lihtne hinnata: korrutage töödeldud heliminutite arv 0,006 dollariga. Enne juurutamist peaksid meeskonnad siiski kontrollima kehtivat hinnakirja, sest teenusepakkujate hinnad ja mudelite saadavus võivad muutuda, eriti mudeli kasutusest eemaldamise ajal.
Kiiruse, hinna ja võimekuse kompromissid
Whisperi suurim eelis on keskendunud funktsionaalsus. Kui ülesanne on lihtsalt salvestatud kõne tekstiks teisendada, on see üldotstarbelise multimodaalse või reaalajas töötava mudeli kasutamisest odavam ja kontseptuaalselt lihtsam. Samuti pakub see subtiitrite jaoks kasulikke vorminguid ja ajatempleid, ilma et oleks vaja üldist vestlusmudelit.
Sama olulised on selle piirangud. Siin ei ole Whisperit kirjeldatud arutlusmudeli, programmeerimismudeli, tööriistu kasutava agendi, kõnelejate eristamise süsteemi ega kõne genereerimise mudelina. See ei paku loomupärast piltide või video mõistmist ega ole mõeldud transkriptsiooni kohta iseseisvalt küsimustele vastama. Töövoog, mis vajab kokkuvõtete koostamist, teabe eraldamist, klassifitseerimist või interaktiivset vestlust, võib pärast transkribeerimist vajada eraldi tekstimudelit või uuemat mudelit, mis ühendab kõnetöötluse täiendavate võimekustega.
Esitatud toimetuslikus hinnangus on selle kiirust ja hinda hinnatud soodsalt, kuid need on toimetuslikud hinded, mitte OpenAI avaldatud võrdlustulemused. Võrdlustulemust ega garanteeritud latentsusnäitajat ei ole esitatud, mistõttu ei tohiks neid tõlgendada teenusetaseme garantiidena.
Peamised tugevused ja piirangud
Tugevused
- Lai mitmekeelne tugi: kasulik paljudes keeltes sisu transkribeerimiseks ja kõne inglise keelde tõlkimiseks.
- Praktiline subtiitrite tugi: SRT, VTT, üksikasjalik JSON ja ajatemplid sobivad subtiitrite ning meediatöövoogudega.
- Ettearvatav hinnastamine: avaldatud hind põhineb heliminutitel, mistõttu on partiitöötluse maksumust suhteliselt lihtne prognoosida.
- Keskendunud liides: meeskonnad, kes vajavad ainult kõnetuvastust, ei pea esialgseks transkribeerimiseks kasutama üldotstarbelist vestlusmudelit.
- Avatud lähtekoodiga päritolu: seotud Whisperi projekti saab hostitud API-st eraldi uurida või käitada, järgides selle enda juurutusnõudeid.
Piirangud
- Kasutusest eemaldamine: hostitud API-mudel on kavandatud sulgema 26. veebruaril 2027.
- Dokumenteeritud konteksti- või väljundtokenite arv puudub: esitatud uuringus ei ole neid piiranguid märgitud.
- Kõnelejate eristamine puudub: uuringus on kõnelejate eristamine konkreetselt märgitud mudeli kavandatud kasutusalast välja jäävaks.
- Ainult tekstiväljund: see ei genereeri loomulikku kõnet ega muud meediat.
- Ei ole arutlussüsteem: see transkribeerib ja tõlgib heli, kuid seda ei esitata analüüsi, programmeerimise ega üldise tekstigenereerimise mudelina.
- Transkriptsiooni veatus ei ole garanteeritud: müra, aktsentide, mitme kõneleja või keerulise terminoloogiaga salvestised tuleks üle kontrollida.
Whisperi parimad kasutusjuhud
Whisper sobib, kui peamine vajadus on teisendada salvestatud heli kasutatavaks tekstiks ja teada on minuti põhine hind. Näited:
- Intervjuude, koosolekute, loengute, taskuhäälingute ja salvestiste mustandtranskriptsioonide loomine.
- Subtiitrifailide genereerimine SRT- või VTT-vormingus.
- Otsitavate tekstiarhiivide loomine mitmekeelsest helist.
- Muukeelse kõne tõlkimine ingliskeelseks tekstiks ülevaatamiseks või edasiseks töötlemiseks.
- Meediatranskriptsioonidele navigeerimiseks ja subtiitrite redigeerimiseks ajatemplite lisamine.
- Transkribeerimisetapi kasutamine enne teksti saatmist eraldi kokkuvõtete, otsingu või teabe eraldamise süsteemi.
Tootmisvoo puhul on mõistlik säilitada algne heli, salvestada töötlemata vastus, hoida alles keele- ja ajatemplite metaandmed ning lisada oluliste transkriptsioonide jaoks ülevaatamise võimalus. Kuna hostitud mudelil on avaldatud sulgemiskuupäev, tuleks transkribeerimise teenusepakkuja töövoos eraldada liidese taha, mis lihtsustab hilisemat üleminekut.
Millal Whisper valida?
Valige Whisper, kui vajate taskukohast mitmekeelset transkribeerimist või salvestatud heli tõlkimist inglise keelde, eriti juhul, kui subtiitrite vormingud ja ajatemplid on olulised. See võib olla praktiline valik olemasoleva süsteemi jaoks, mis juba kasutab whisper-1 ja vajab lähiajal stabiilset, keskendunud kõnetuvastust.
Valige mõni muu võimalus, kui pikaajaline saadavus on nõue. OpenAI esitatud uuring soovitab konkreetselt kaaluda üleminekut mudelitele gpt-live-transcribe või gpt-transcribe. Reaalajas kõnemudel võib sobida paremini otsevestlusteks või väikese latentsusega suhtluseks, samas kui laiem multimodaalne või üldotstarbeline mudel võib olla eelistatav juhul, kui sama süsteem peab tõlgendama pilte, arutlema transkriptsioonide põhjal, kasutama tööriistu või genereerima vestlusvastuseid. Need alternatiivid võivad pakkuda laiemat võimekust, kuid võivad kaasa tuua ka teistsugused hinna, latentsuse, integratsiooni ja saadavusega seotud kompromissid.
Whisper sobib halvasti ka juhul, kui vajalik väljund on kõne kujul vastus, usaldusväärsed kõnelejate tähised on hädavajalikud või rakendus eeldab, et mudel teostab otse heli põhjal keerukat arutlust. Sellistel juhtudel kasutage puuduva võimekuse jaoks loodud töövoogu või mudelit, mitte ärge käsitlege transkribeerimist täieliku vestlussüsteemina.
Kokkuvõte
Whisper on endiselt keskendunud OpenAI kõnetuvastusmudel, mis toetab mitmekeelset transkribeerimist, kõne tõlkimist inglise keelde, keele tuvastamist ja ajatemplitega tekstiväljundit. Selle hind 0,006 dollarit minuti kohta ning tuttavad subtiitrite vormingud muudavad selle salvestatud heli töövoogudes kasulikuks. Otsustav puudus on selle elutsükkel: hostitud whisper-1 API on aegunud ja kavandatud sulgema 26. veebruaril 2027. See võib endiselt sobida ühilduvatele lühiajalistele või olemasolevatele töökoormustele, kuid uued süsteemid peaksid hindama soovitatud asendusmudeleid ja kavandama algusest peale üleminekuvõimaluse.