Mis on GPT-Realtime-1.5?
GPT-Realtime-1.5 on OpenAI reaalajas töötav audiomudel rakendustele, mis peavad kasutajat kuulma ja vestluse ajal loomulikult vastama. Selle peamine kasutusviis on kõnest kõnesse töötlus: rakendus saab saata kõneaudiot ja vastu võtta kõneaudiot, ilma et oleks vaja eraldi ühendada kõnetuvastusmudelit, tekstipõhist keelemudelit ja kõnesünteesiteenust.
OpenAI avaldas mudeli Realtime API jaoks 23. veebruaril 2026. Teenusepakkuja kirjeldab seda kui kiiret, töökindlat ja mittemõtlevat reaalajamudelit, millel on varasemate reaalaja eelversioonidega võrreldes parem juhiste järgimine, tööriistade kutsumine, mitmekeelne tugi ja häälekvaliteet. Need on teenusepakkuja positsioneerimisväited; allpool esitatud spetsifikatsioonid ja hinnad on selle mudeli kohta dokumenteeritud konkreetsed üksikasjad.
GPT-Realtime-1.5 kuulub OpenAI reaalajamudelite valikusse ega ole mõeldud kõigi teksti- või arutlusmudelite üldotstarbeliseks asendajaks. See on mõeldud hääleagentidele, klienditoesüsteemidele, interaktiivsetele assistentidele ja teistele rakendustele, kus vastuse kiirus ja vestluse sujuv jätkumine on olulisemad kui põhjalik sisemine analüüs.
Toetatud sisend- ja väljundvormingud ning võimalused
Mudel võtab sisendina vastu teksti, pilte ja audiot. Väljundina genereerib see teksti või audiot. Pildid annavad visuaalset konteksti, kuid mudel neid ei genereeri, ning videosisendit ei toetata.
- Tekstisisend ja -väljund: Toetatud.
- Audiosisend ja -väljund: Toetatud reaalajas toimuvateks häälvestlusteks.
- Pildisisend: Toetatud visuaalse konteksti jaoks.
- Pildi- ja videoväljund: Ei ole toetatud.
- Videosisend: Ei ole toetatud.
- Funktsioonikutsed: Toetatud, võimaldades mudelil taotleda toiminguid rakenduse tööriistadelt või taustateenustelt.
- Struktureeritud väljundid: Mudeli kirjelduse kohaselt ei ole toetatud.
- Peenhäälestus: Ei ole toetatud.
Funktsioonikutsed on hääleagentide jaoks eriti olulised. Näiteks võib ajakava koostamise assistent koguda kasutajalt kõne kaudu teavet, kutsuda kalendri- või broneerimissüsteemi ning seejärel kasutajale tulemust öelda. Mudel ei tee neid taustatoiminguid iseseisvalt; rakendus peab tööriistad määratlema ja heakskiidetud päringud täitma.
Kontekstiaken ja tehnilised spetsifikatsioonid
| Spetsifikatsioon | GPT-Realtime-1.5 |
|---|---|
| Mudeli ID | gpt-realtime-1.5 |
| Mudeli tüüp | Reaalajas audio ja kõnest kõnesse töötlus |
| Kontekstiaken | 32 000 tokenit |
| Maksimaalne väljund | 4096 tokenit |
| Teadmiste lõppkuupäev | 30. september 2024 |
| Peenhäälestus | Ei ole toetatud |
| Struktureeritud väljundid | Ei ole toetatud |
| Funktsioonikutsed | Toetatud |
Token on ühik, mida kasutatakse teksti ning muu mudeli sisendi või väljundi esitamiseks. 32 000 tokeni suurune kontekstiaken piirab seda, kui palju vestlusajalugu, juhiseid, tööriistateavet ja multimodaalset konteksti saab korraga kättesaadavana hoida. 4096 tokeni suurune maksimum kehtib mudeli väljundile; reaalajas toimuvad audiosessioonid väljastavad vastuse koostamise ajal ka järk-järgult sündmusi.
GPT-Realtime-1.5-le pääseb ligi reaalajaliideste kaudu, sealhulgas WebRTC-l ja WebSocketil põhinevate töövoogude kaudu. Audiot saab saata tükikaupa, samal ajal kui teenus edastab vastuse ajal audio- ja transkriptsioonisündmusi. Mudeli kirjelduses märgitakse, et tavapärast tokenite voogedastust ei toetata, mistõttu ei tohiks seda segamini ajada standardse tekstilõpetuse voogedastusseadega. Reaalajas sündmuste edastus ja audio järkjärguline kättetoimetamine on siiski selle kavandatud kasutuse keskmes.
GPT-Realtime-1.5 hinnad
Hind põhineb vormingupõhisel tokenikasutusel, mitte ühel kindlal päringu hinnal.
| Kasutuse tüüp | Hind 1 miljoni tokeni kohta |
|---|---|
| Tekstisisend | $4.00 |
| Puhverdatud tekstisisend | $0.40 |
| Tekstiväljund | $16.00 |
| Audiosisend | $32.00 |
| Puhverdatud audiosisend | $0.40 |
| Audioväljund | $64.00 |
| Pildisisend | $5.00 |
| Puhverdatud pildisisend | $0.50 |
Vahemällu salvestamata audio on tekstist märksa kallim, eriti väljundi puhul. Seetõttu peaks häälerakenduse eelarve koostamisel hindama genereeritava kuulamise ja kõnelemise mahtu, mitte lähtuma ainult vestluste või API-päringute arvust. Puhverdatud sisendi hinnastamine võib vähendada korduva audio-, teksti- või pildikonteksti kulusid, kui vastav sisend sobib vahemällu salvestamiseks.
Mudel võib olla majanduslikult atraktiivne rakenduste puhul, kus otsene kõnest kõnesse suhtlus vähendab eraldi transkriptsiooni-, keele- ja kõnesünteesiteenuste ühendamisega seotud arendus- ja latentsuskulusid. Üldine soodsamus sõltub vestluse pikkusest, audiomahust, vahemälu kasutamisest, tööriistade kasutusest ja alternatiivsest arhitektuurist.
Arutlemine, kodeerimine ja tööriistade kasutamine
GPT-Realtime-1.5 on selgelt mittemõtlev mudel. See suudab järgida juhiseid, pidada reaalajas vestlust ning valida rakenduse tööriistu või nende kasutamist taotleda, kuid see ei ole parim valik keerukaks mitmeetapiliseks planeerimiseks, põhjalikuks analüüsiks ega ülesanneteks, mis nõuavad eriti usaldusväärset arutlusvõimet. Hääleliides võib keeruka arutluse jaoks kasutada mõnda muud teenust, jättes GPT-Realtime-1.5 vestluse sisendi ja väljundi töötlejaks, kuid see suurendab süsteemi keerukust ja latentsust.
Esitatud uuringus ei tuvastata GPT-Realtime-1.5 puhul spetsiaalset kodeerimisvõimet ega kodeerimisele suunatud optimeerimist. See suudab töödelda teksti ja kutsuda tööriistu, mistõttu võib rakendus sellele anda juurdepääsu kodeerimis- või tarkvaraarendustoimingutele, kuid seda ei tohiks tõlgendada tõendina, et tegemist on spetsiaalse kodeerimismudeliga. Koodirohke töö puhul võib üldine kodeerimisele suunatud mudel olla sobivam.
Funktsioonikutsed on kinnitatud võimalus. Praktikas määrab rakendus sellised funktsioonid nagu search_customer, book_appointment või check_order_status. GPT-Realtime-1.5 saab kindlaks teha, millal funktsiooni vaja on, ja esitada argumendid, samal ajal kui rakendus valideerib need argumendid, teeb toimingu ning tagastab tulemuse. Kinnitamisreeglid on olulised maksete, tühistamiste, kontomuudatuste või muude pöördumatute tagajärgedega toimingute puhul.
Peamised tugevused ja piirangud
Millistes valdkondades on GPT-Realtime-1.5 kõige tugevam
- Väikese latentsusega häälsuhtlus: See on loodud vestlusteks, kus eraldi transkriptsiooni- ja kõnesünteesietappide ootamine muudaks kasutuskogemuse aeglaseks.
- Otsene kõnest kõnesse töötlus: Audio võib jääda peamiseks suhtlusvorminguks, ilma et seda peaks nähtavalt eraldiseisva töövoo kaudu teisendama.
- Tööriistadega ühendatud assistendid: Funktsioonikutsed võimaldavad hääleagendil teavet hankida või rakenduses toiminguid algatada.
- Multimodaalne kontekst: Sisendina saab kombineerida teksti, audiot ja pilte, mis on kasulik assistentidele, kes peavad rääkides arutama dokumenti, ekraanivaadet või pilti.
- Reaalaja andmeedastus: WebRTC ja WebSocketi töövood toetavad pidevaid sessioone ning audio või sündmuste järkjärgulist edastamist.
Olulised piirangud
- See ei ole arutlusmudel ja võib keeruka planeerimise või raskete analüüsiülesannete puhul olla vähem sobiv.
- Struktureeritud väljundeid ei toetata, mistõttu sobib see halvemini töövoogudesse, kus on vaja mudelilt otse garanteeritud skeemile vastavat JSON-väljundit.
- Peenhäälestust ei toetata.
- See ei genereeri pilte ega videot ega võta vastu videosisendit.
- Audiosisendi ja -väljundi hinnad on tekstist kõrgemad.
- 30. septembri 2024 teadmiste lõppkuupäeva tõttu tuleb ajakohane teave hankida rakenduse tööriistade või otsingusüsteemide kaudu.
- Reaalajas häälesüsteemid nõuavad katkestuste, häälduse, isikuandmete, kinnituste ja varukäitumise hoolikat testimist.
Need piirangud ei ole lihtsalt kataloogiandmed. Näiteks võib klienditoeagent kasutada reaalajas tellimuse staatuse tööriista, kuid mudeli sisseehitatud teadmised ei muutu seetõttu automaatselt ajakohaseks. Samamoodi võib rangelt masinloetavat väljundit vajav rakendus vajada eraldi töötlemisetappi, sest struktureeritud väljundeid ei toetata.
Parimad kasutusjuhud
GPT-Realtime-1.5 on tugev kandidaat juhul, kui kasutaja peamine suhtlusviis on kõne ja rakendus vajab kohest vestluslikku vastust. Sobivad näited on järgmised:
- Klienditoe- ja kontaktkeskuste hääleagendid.
- Müügi-, ajakava- ja teenindusassistendid, mis ühenduvad äritööriistadega.
- Interaktiivsed häälvastussüsteemid koos taustatoimingutega.
- Keelte õppimise ja vestluspraktika rakendused.
- Hääleliidesed brauseritele, mobiilirakendustele, telefonisüsteemidele ja SIP-süsteemidele.
- Assistendid, kes peavad rääkides arutama pilte või visuaalset konteksti.
See sobib halvemini võrguühenduseta pakktöötluseks, pildi- või videogenereerimiseks, peenhäälestatud domeenimudeliteks, rangeks struktureeritud andmete eraldamiseks või töökoormustele, kus domineerib keerukas arutlemine. Tekstipõhine mudel võib olla soodsam, kui kasutajad ei vaja audiot, samal ajal kui arutlusele suunatud mudel võib olla sobivam juhul, kui täpsus sõltub kiire vestluse asemel pikkadest analüüsiahelatest.
Millal valida GPT-Realtime-1.5?
Vali GPT-Realtime-1.5 siis, kui toote keskne kasutuskogemus on sujuv häälevestlus ja süsteem saab kasu sisseehitatud audio sisendist ja väljundist. See on eriti sobiv juhul, kui integratsioonietappide vähendamine, katkestuste käsitlemine ja tööriistade kutsumine reaalajas toimuva sessiooni ajal on olulisemad kui arutluse maksimaalne sügavus.
Vali teist tüüpi mudel siis, kui töökoormus on peamiselt kirjalik, väga analüütiline, kodeerimiskeskne või sõltub rangetest JSON-skeemidest. Tekstimudelid võivad tekstipõhise liikluse puhul pakkuda paremat kuluprofiili ning arutlus- või spetsialistimudelid võivad olla keeruka planeerimise ja tehnilise analüüsi jaoks eelistatumad. GPT-Realtime-1.5 võib endiselt olla suurema süsteemi häälekiht, kuid selle ühendamine teise mudeliga suurendab orkestreerimistööd ja võib vähendada otsese kõnest kõnesse lahenduse lihtsuseelist.
Saadavus ja hetkeseis
23. septembri 2026 seisuga on GPT-Realtime-1.5 loetletud OpenAI praeguses mudelikataloogis ja see on endiselt Realtime API kaudu saadaval. OpenAI dokumenteeritud vanemate GPT-4o reaalaja eelversioonide kasutuselt kõrvaldamise juhistes soovitatakse asendusena GPT-Realtime-1.5. Esitatud uuringu põhjal ei ole GPT-Realtime-1.5 kohta avaldatud kasutuselt kõrvaldamise ega sulgemise kuupäeva.
Enne tootmises kasutuselevõttu peaksid arendajad OpenAI dokumentatsioonist üle kontrollima kehtivad hinnad, mudeli saadavuse, transpordinõuded ja kasutuselt kõrvaldamise teated. Samuti peaksid nad mõõtma vestluste tegelikke kulusid tüüpiliste audio kestuste põhjal, sest audio väljundi ja sisendi kasutus võib arvet oluliselt mõjutada isegi siis, kui sessioonide arv tundub mõõdukas.