Mis oli GPT-4o Audio
GPT-4o Audio oli OpenAI eelvaatemudel, mis oli mõeldud kõnet kasutavatele vestlusrakendustele. Selle kanooniline API-identifikaator oli gpt-4o-audio-preview. Mudel võttis sisendina vastu kas teksti või heli ning suutis vastata kas teksti või helina. See võimaldas arendajatel luua häälepõhiseid suhtlusi, ilma et transkriptsiooni, keele mõistmist ja kõne genereerimist oleks tulnud käsitleda täiesti eraldiseisvate etappidena.
OpenAI tutvustas mudelit Chat Completions API jaoks 17. oktoobril 2024. Mudel kasutas sama alusmudelit nagu OpenAI Realtime API helikogemus, kuid dokumenteeritud GPT-4o Audio lahendus oli Chat Completionsi ja seotud lõpp-punktide kaudu saadaval eelvaatemudelina.
GPT-4o Audio ei ole uue API-kasutuse jaoks enam saadaval. OpenAI teatas, et kanooniline mudel eemaldatakse 7. mail 2026, ning nimetas soovituslikuks asenduseks mudeli GPT-Audio 1.5. Praeguse tootmissüsteemi hindamisel on see aegumine olulisem kui mudeli ajaloolised võimekused.
Võimekused ja tehnilised piirangud
Mudeli peamine eripära oli heli mõistmise ja heli genereerimise kombinatsioon. See suutis tõlgendada kõnesisendit ja anda suulise vestlusliku vastuse, toetades samal ajal tavalist teksti sisendi ja väljundina. Mudel ei võtnud vastu pilte ega videot ning ei genereerinud pilte ega videot.
| Spetsifikatsioon | Dokumenteeritud käitumine |
|---|---|
| API-identifikaator | gpt-4o-audio-preview |
| Kontekstiaken | 128 000 tokenit |
| Väljundi maksimum | 16 384 tokenit |
| Sisendmodaalsused | Tekst ja heli |
| Väljundmodaalsused | Tekst ja heli |
| Voogedastus | Toetatud |
| Funktsioonikutsed | Toetatud |
| Struktureeritud väljundid | Ei ole toetatud |
| Peenhäälestus | Ei ole toetatud |
| Teadmiste lõppkuupäev | 1. oktoober 2023 |
Kontekstiaken näitab tokeniseeritud vestluse ja muu sisendi hulka, mida mudel suutis korraga arvesse võtta. Selle 128 000 tokeni suurune maht oli pikkade vestluste jaoks märkimisväärne, kuigi heli kasutamise eest esitati arve helitokenite, mitte sama teksttokenite hinna alusel. 16 384 tokeni suurune väljundipiirang kirjeldab mudeli vastuse maksimaalset pikkust, mitte garantiid, et helivestlus annaks alati sellise pikkusega vastuse.
Funktsioonikutsed võimaldasid mudelil taotleda rakenduses määratletud toimingut, näiteks kontoandmete otsimist või ettevõtte infosüsteemist teabe hankimist. Funktsioonikõnesid ei tohi siiski segi ajada struktureeritud väljunditega: kaasasolevas dokumentatsioonis on märgitud, et struktureeritud väljundeid ei toetata, mistõttu ranget JSON Schema jõustamist vajavad töövood ei olnud selle mudeli jaoks sobivad.
Heli- ja tekstipõhised töövood
GPT-4o Audio oli mõeldud rakendustele, kus kõne oli suhtluse enda osa. Häälassistent võis vastu võtta suulise küsimuse ja vastata sellele valjusti. Klienditeenindusrakendus võis võtta vastu helistaja kõne, kasutada funktsioonikutsungut rakenduse toimingu käivitamiseks ning anda suulise vastuse. Keeleõpperakendus võis kasutada mudeli heli sisendi ja väljundi võimalusi vestlusharjutuste jaoks.
Mudel võis tagastada heli asemel ka teksti. See oli kasulik juhul, kui rakendus vajas transkriptsioonilaadset vastust, kasutajaliidese jaoks mõeldud teksti või tekstivastust, mida töötleks mõni teine süsteem. Heli sisend ja heli väljund olid seevastu kasulikud siis, kui eesmärk oli loomulik suuline vestlus, mitte tavaline vestlusaken.
Selle heliväljund oli mõeldud suuliste vestluslike vastuste jaoks. Kaasasolevates spetsifikatsioonides ei kirjeldata seda muusika genereerimise mudelina ning muusika genereerimine ei olnud sobiv kasutusjuht.
Ajalooline API-hinnastamine
GPT-4o Audio kasutas teksti- ja helitokenite jaoks eraldi hinnastamist. Enne aegumist olid dokumenteeritud hinnad järgmised:
- Tekstisisend: 2,50 dollarit 1 miljoni tokeni eest.
- Tekstiväljund: 10 dollarit 1 miljoni tokeni eest.
- Helisisend: 40 dollarit 1 miljoni tokeni eest.
- Heliväljund: 80 dollarit 1 miljoni tokeni eest.
Helitöötlus oli seega miljoni tokeni kohta oluliselt kallim kui tekstitöötlus. Süsteem, mis suunas iga suhtluse heli kaudu, võis maksta rohkem kui süsteem, mis kasutas heli valikuliselt või tagastas teksti siis, kui suuline väljund polnud vajalik. Need on üksnes ajaloolised API-hinnad; neid ei tohiks käsitleda praeguste ostuvõimalustena, sest mudel on aegunud.
Tugevused ja kompromissid
Mudeli olulisim praktiline tugevus oli modaalsuste lõimimine. Arendajad said kasutada üht mudelit kõnesisendi, keele mõistmise, tööriistapäringute ning suuliste või kirjalike vastuste jaoks. See võis lihtsustada häälepõhise kasutuskogemuse loomist võrreldes eraldiseisvate kõnetuvastus-, keelemudeli- ja kõnesünteesikomponentide kombineerimisega.
Samuti ühendas see suure, 128 000 tokeni suuruse kontekstiakna voogedastuse ja funktsioonikutsed. Need võimalused olid kasulikud interaktiivsetes vestlustes, kus vastused pidid saabuma järk-järgult ja assistent pidi suhtlema rakenduse süsteemidega.
Kompromissid olid sama olulised. Helitokenid olid teksttokenitest palju kallimad, mudel ei toetanud struktureeritud väljundeid ega peenhäälestust ning eelvaatestaatuse tõttu ei olnud see stabiilne pikaajaline valik. Samuti puudusid sellel pildi- ja videovõimekused. Rakendused, mis vajasid rangeid masinloetavaid skeeme, visuaalset mõistmist, kohandatud peenhäälestust või odavamat tekstitöötlust, vajasid teistsugust mudelit.
Kaasasolevad hindamisandmed annavad GPT-4o Audio toimetuslikuks hindeks arutlusvõime eest 7, kodeerimise eest 7, kiiruse eest 6 ja hinna eest 4. Need on võrdlevad toimetuslikud hinnangud, mitte OpenAI avaldatud võrdlustulemused. Need viitavad, et mudelit peeti arutlus- ja kodeerimisülesannete jaoks üsna võimekaks, kuid heli kõrge hind vähendas selle kulueelist.
Parimad kasutusjuhud
- Häälassistendid: suulised küsimused ja vastused vestluslikus kasutajaliideses.
- Suuline klienditeenindus: helisuhtlus koos rakenduse funktsioonide ja äriandmetega.
- Helivõimekusega agendid: assistendid, kes peavad kõnest aru saama ja vastama ilma eraldi kõnetöötluseta.
- Keel harjutamine: interaktiivsed suulised harjutused teksti- või helivastustega.
- Hübriidliidesed: rakendused, mis võtavad vastu heli, kuid tagastavad mõnikord teksti, või võtavad vastu teksti ja vastavad valjusti.
Need kasutusjuhud kirjeldavad, milleks mudel enne aegumist sobis. See ei tähenda, et GPT-4o Audio tuleks täna uue juurutuse jaoks valida.
Millal valida mõni muu lahendus
Uue häälerakenduse puhul on kõige olulisem alternatiiv teenusepakkuja soovitatud järglane GPT-Audio 1.5. Kaasasolev uurimismaterjal ei anna selle järglase kohta täielikku spetsifikatsiooni ega hinnavõrdlust, mistõttu üksikasjalikud väited jõudluse või maksumuse kohta oleksid põhjendamatud. Sellest hoolimata on see GPT-4o Audio asendamisel asjakohane suund, sest OpenAI nimetas selle pärast aegumist mudeli asendajaks.
Tekstikeskne mudel võib olla sobivam juhul, kui rakendus ei vaja suulist väljundit, eriti kuna GPT-4o Audio helitokenite hinnad olid kõrged. Eraldi kõnesünteesi- või transkriptsioonitöötlus võib samuti olla eelistatav siis, kui rakendus vajab iseseisvalt asendatavaid kõnekomponente, kuigi kaasasolev uurimismaterjal ei kinnita nende alternatiivide võrdluslikku jõudlust.
GPT-4o Audio ei olnud õige valik pildi- ega videotöövoogude, range JSON Schema väljundi, mudeli peenhäälestuse ega muusika genereerimise jaoks. Need nõuded jäävad väljapoole mudeli dokumenteeritud võimekust ja neid tuleks käsitleda valikut välistavate tingimustena, mitte väikeste piirangutena.
Saadavus ja aegumise ajalugu
OpenAI dokumenteeris mitu kuupäevaga hetktõmmist, sealhulgas gpt-4o-audio-preview-2024-10-01, gpt-4o-audio-preview-2024-12-17 ja gpt-4o-audio-preview-2025-06-03. 1. oktoobri 2024 hetktõmmise varasemaks eemaldamiskuupäevaks oli määratud 10. oktoober 2025. Seda hetktõmmise tasemel sulgemist tuleb eristada kanoonilise gpt-4o-audio-preview-aliase hilisemast eemaldamisest 7. mail 2026.
Kokkuvõttes oli GPT-4o Audio spetsialiseeritud eelvaatemudel otseseks helipõhiseks vestluseks: see suutis kõnet vastu võtta ja genereerida, toetas voogedastust ja funktsioonikutsunguid ning töötas pika kontekstiga. Selle ajalooline väärtus seisneb eelkõige OpenAI helimudelite arengu mõistmises, samal ajal kui praegustes rakendustes tuleks järgida teenusepakkuja nimetatud järglast, mitte proovida selle aegunud mudeliga uut integratsiooni alustada.