Gemini 3.5 Transcribe on Google'i spetsiaalne kõnest tekstiks teisendamise mudel, mis muudab eelsalvestatud heli kirjalikuks transkriptiks. Üldotstarbelise vestlus- või arutlusmudelina toimimise asemel keskendub see kõne täpsele ja tõhusale eraldamisele helifailidest. Mudel on Gemini API kaudu saadaval kanoonilise mudelitunnusega gemini-3.5-transcribe ning on märgitud üldiselt kättesaadavaks.
Mudel kuulub Google'i Gemini 3.5 Audio mudeliperre. Selle roll selles tootevalikus on teadlikult kitsas: see tegeleb pakett- ehk mittevoogedastusega transkribeerimisega, samal ajal kui Google'i eraldi gemini-3.5-transcribe-live-lõpp-punkt on mõeldud reaalajas transkribeerimiseks. Seda erinevust tuleb rakenduse valimisel arvestada, sest Gemini 3.5 Transcribe ei ole loodud reaalajas heliseansi hoidmiseks.
Mida Gemini 3.5 Transcribe teeb
Kõige lihtsamal kujul võtab mudel vastu helifaili ja tagastab selle tekstilise transkriptsiooni. Samuti võib see lisada struktuuri ja metaandmeid, mis muudavad tulemuse toorest kõnetuvastusest kasulikumaks. Toetatud võimaluste hulka kuuluvad automaatne keele tuvastamine, mitmekeelne transkribeerimine, keelte vaheldumine ühes vestluses, kõnelejate eristamine, sõnataseme ajatemplid, nutikas vormindamine ja kohandatud sõnavara eelistamine.
Kõnelejate eristamine tuvastab salvestisel eri hääled ja märgistab need. See on kasulik intervjuude, koosolekute, paneeldiskussioonide ja klienditeeninduse salvestiste puhul. Mudel toetab kuni kaheksat kõnelejat, kuigi kolme või enama kõneleja tuvastamist kirjeldatakse eksperimentaalsena. Sõnataseme ajatemplid seovad üksikud sõnad nende asukohaga helis, mis võib olla abiks subtiitrite loomisel, salvestiste otsitavaks muutmisel, monteerimisel ja sünkroonitud transkriptide koostamisel.
Nutikas transkribeerimine on mõeldud loetavama transkripti loomiseks, eemaldades kõhklused ja täites vormindust. Seetõttu sobib väljund märkmete, dikteerimise ja dokumenditöövoogude jaoks paremini kui rangelt sõnasõnaline transkript. Kui oluline on säilitada iga kõhklus või täitesõna, peaks kasutaja saadud tulemuse hoolikalt üle vaatama, mitte eeldama, et nutikas vormindamine on sõnasõnaline režiim.
Toetatud sisendid ja väljundid
Gemini 3.5 Transcribe võtab vastu helisisendit ja toodab tekstiväljundit. See ei loo heli, pilte, videot, muusikat, manuseid ega muid mittetekstilisi väljundeid. Esitatud spetsifikatsioonides on heli märgitud selle ainsa multimeediumisisendina ja tekst ainsa väljundvorminguna.
| Võimalus | Gemini 3.5 Transcribe |
|---|---|
| Põhiülesanne | Eelsalvestatud, mittevoogedastusega heli transkribeerimine |
| Helisisend | Toetatud |
| Tekstiväljund | Toetatud |
| Pildi-, video- või tekstisisend | Selle spetsialiseeritud mudeli puhul pole toetatuna loetletud |
| Heliväljund | Ei ole toetatud |
| Voogedastus | Selle mudeli puhul ei ole toetatud |
| Tööriista- või funktsioonikutsed | Ei ole toetatud |
Mudel toetab enam kui 85 keelt ja suudab käsitleda keelte vaheldumist ühes vestluses. See tähendab, et salvestis võib liikuda ühelt keelelt teisele, selle asemel et jääda täielikult ühte keelde. Uuringus nimetatakse keelekatvust ja keelte vaheldumist toetatud funktsioonideks, kuid esitatud spetsifikatsioonides ei ole täielikku keelte kaupa loendit.
Helipiirangud ja transkribeerimise valikud
Ühe päringuga saab töödelda kuni ühe tunni pikkust helifaili. Kaks valikulist funktsiooni vähendavad seda maksimumi: kõnelejate eristamist või sõnataseme ajatempleid kasutavate päringute piirang on 30 minutit. Seega peavad pikemaid salvestisi töötlevad rakendused need osadeks jagama, kui selliseid märkusi on vaja lisada.
Kohandatud sõnavara eelistamine võib aidata tuvastajal käsitleda erialatermineid, näiteks tootenimesid, meditsiiniterminoloogiat, pärisnimesid või ettevõttesisest projektikeelt. Esitatud dokumentatsiooni kohaselt toetab kohandatud sõnavara kuni 1000 terminit. Kohandatud sõnavara ei saa kasutada koos kõnelejate eristamise ega sõnataseme ajatemplitega, mistõttu võib rakendus vajada eraldi transkribeerimiskäike, kui vaja on nii erisõnavara käsitlemist kui ka üksikasjalikke märkusi.
Mudeli konteksti pikkuseks on märgitud 96 000 tokenit ja väljundi maksimumlimiidiks 32 000 tokenit. Need on API mudelipiirangud, mitte garantii, et iga ühetunnine salvestis mahub ühte vastusesse, sest genereeritava teksti hulk sõltub kõnekiirusest, keelest, vormindusest ja soovitud märkustest.
Hind ja väärtus
Esitatud uuringu kohaselt on Gemini 3.5 Transcribe'il tasuta kasutustase. Tasulisel tasemel on sisendi hinnaks märgitud 2,00 dollarit miljoni helisisenditokeni kohta, ligikaudse hinnanguga 0,003 dollarit minuti kohta. Tekstiväljundi hinnaks on märgitud 12,00 dollarit miljoni tekstiväljundtokeni kohta, ligikaudse hinnanguga 0,002 dollarit minuti kohta.
| Hinnakomponent | Loetletud hind |
|---|---|
| Helisisend | 2,00 dollarit 1 miljoni helisisenditokeni kohta |
| Tekstiväljund | 12,00 dollarit 1 miljoni tekstiväljundtokeni kohta |
| Tasuta kasutustase | Saadaval |
Tegelik hind sõltub tokenite kasutusest ja tagastatava transkripti teksti mahust. Minutipõhised näitajad on mudeliuuringus esitatud ligikaudsed hinnangud, seega tuleks tootmiseelarve koostamisel lähtuda tokenipõhisest hinnast ja enne juurutamist kontrollida Google'i kehtivaid hindu. Mudeli toimetuslik kuluskoor on 8 punkti 10-st, kuid see on esitatud andmetes antud hinnang, mitte Google'i avaldatud võrdlustulemus ega hinnagarantii.
Tugevused ja kompromissid
Gemini 3.5 Transcribe'i peamine tugevus on spetsialiseeritus. Transkribeerimisele keskenduv mudel sobib salvestiste tekstiks muutmiseks otsesemalt kui üldotstarbeline mudel, mis lihtsalt toetab helisisendit. Funktsioonide valik katab ühes teenuses mitu levinud tootmisvajadust: mitmekeelne tuvastus, keelte vaheldumine, kõnelejate märgistamine, sõnade ajastamine, vormindamine ja valdkonnaspetsiifiline sõnavara.
Teine praktiline eelis on kiirus. Esitatud toimetuslikus hinnangus saab mudel kiiruse eest 9 punkti 10-st ja kulude eest 8 punkti 10-st. Neid skoore tuleks käsitleda võrdlevate toimetuslike hinnangutena, mitte teenusepakkuja avaldatud jõudlusmõõdikutena. Need näitavad, et mudel on mõeldud kiireks ja säästlikuks transkribeerimiseks, mitte seda, et Google tagaks kindla latentsuse või täpsustaseme.
Kompromissid on sama olulised. Gemini 3.5 Transcribe ei ole üldotstarbeline arutlusmudel: esitatud hinnangus on selle arutlusvõime skoor 2 punkti 10-st ja kodeerimisskoor 1 punkt 10-st. Sellel puudub loetletud tööriista- või funktsioonikõnede tugi, voogedastusvõimekus ja heliväljund. Seetõttu sobib see halvasti agendile, mis peab pidevalt kuulama, vastama heli kohta käivatele küsimustele reaalajas, kutsuma väliseid tööriistu, kirjutama mahukat koodi või esitama vastuse kõnena.
Millal valida Gemini 3.5 Transcribe
Vali Gemini 3.5 Transcribe siis, kui põhiülesanne on olemasoleva heli muutmine kasutatavaks tekstiks. See sobib eriti hästi järgmisteks eesmärkideks:
- Intervjuude, koosolekute, loengute, taskuhäälingute ja salvestatud kõnede transkribeerimine.
- Transkriptide loomine suurele mitmekeelsele sihtrühmale.
- Salvestiste käsitlemine, milles vahelduvad eri keeled.
- Kõnelejate järgi märgistatud transkriptide loomine vestluste ja paneeldiskussioonide jaoks.
- Sõnade ajastusega teksti genereerimine subtiitrite, otsitava meedia või monteerimistööriistade jaoks.
- Erialase materjali transkribeerimine kuni 1000 kohandatud sõnavaraterminiga, kui samal ajal ei ole vaja kõnelejate eristamist ega sõnataseme ajatempleid.
- Pakett-transkribeerimise töövoogude loomine olukordades, kus reaalajas voogedastust pole vaja.
See ei pruugi olla õige valik siis, kui rakendus vajab pidevat väikese latentsusega transkribeerimist. Sellisel juhul on esitatud uuringu kohaselt Google'i jaoks sobivam valik eraldi Gemini 3.5 Transcribe Live'i mudel. Üldotstarbeline multimodaalne mudel võib olla asjakohasem, kui transkribeerimine on ainult üks samm suuremas töövoos, mis hõlmab helisisu kohta küsimustele vastamist, salvestise üle arutlemist, tööriistakutseid või koodi genereerimist. Gemini 3.5 Transcribe tuleks valida selle transkribeerimisvõimaluste tõttu, mitte käsitleda seda nende laiemate mudelikategooriate asendajana.
Praktilised piirangud, millega arvestada
Salvestise pikkus ja valikulised märkused tekitavad kõige olulisema töökorraldusliku piirangu. Üldiselt toetatakse kuni ühe tunni pikkuseid faile, kuid kõnelejate eristamine ja sõnataseme ajatemplid vähendavad maksimumi 30 minutini. Töötlustorustik peaks pikemad salvestised osadeks jagama ning otsustama, kas vaja on kõnelejate märgistamist, sõnade ajastamist, kohandatud sõnavara või nende kombinatsiooni, mida mudel ei luba ühe päringuga kasutada.
Ka kõnelejate omistamine vajab kvaliteedikontrolli. Spetsifikatsiooni kohaselt toetatakse kuni kaheksat kõnelejat, kuid kolme või enama kõneleja tuvastamine on eksperimentaalne. Oluliste õigus-, meditsiini- või äridokumentide puhul peaks rakendus sisaldama ülevaatamisetappi, mitte eeldama, et iga märgistus on õige.
Samuti on nutikas transkribeerimine kasulik siis, kui loetavus on rangest sõnasõnalisusest tähtsam, kuid kõhkluste eemaldamise tõttu tuleb see sobitada kavandatud kasutusega. Viimistletud kokkuvõtlikul transkriptil ja tõenduslikul sõnasõnalisel protokollil on erinevad nõuded.
Üldhinnang
Gemini 3.5 Transcribe'i on kõige õigem käsitleda Google'i Gemini tootekataloogi kuuluva keskendunud heli tekstiks teisendamise teenusena. Selle mitmekeelse toe, keelte vaheldumise käsitlemise, kõnelejate eristamise, sõnataseme ajastamise, vormindamise ja sõnavara eelistamise kombinatsioon annab sellele laia transkribeerimisfunktsioonide valiku, säilitades samal ajal toote selge eesmärgi. Ühetunnine üldine helipiirang ja 30-minutiline märkuste piirang on olulised rakendusdetailid, nagu ka kohandatud sõnavara ning üksikasjalike märkuste omavaheline ühildamatus.
Eelsalvestatud heli puhul pakub mudel head tasakaalu funktsioonide ulatuse, kiiruse ja märgitud kulutõhususe vahel. Selle piirangud ei seisne niivõrd üldise intelligentsuse puudumises, kuivõrd teadlikus spetsialiseerumises: see ei edasta voogedastust, ei kutsu tööriistu, ei arutle laialt, ei genereeri kõnet ega toimi üldotstarbelise audioagendina. Meeskonnad, kes vajavad neid võimalusi, peaksid kasutama sobivamat reaalaja- või üldotstarbelist mudelit, samal ajal kui meeskonnad, kes vajavad peamiselt usaldusväärseid ja struktureeritud transkripte, saavad kasutada Gemini 3.5 Transcribe'i keskendunud lahendusena.