Mis on computer-use-preview?
computer-use-preview on OpenAI spetsialiseeritud mudel arvuti kasutamise automatiseerimiseks. Selle asemel et peamiselt vestluslikke vastuseid genereerida, analüüsib see arvuti visuaalset liidest ja loob toimingu, mida rakendus saab täita. Tüüpiline tsükkel näeb välja nii: rakendus saadab juhised ja ekraanipildi, mudel tagastab arvutitoimingu, rakendus täidab selle brauseris või töölauakeskkonnas ning järgmise otsuse tegemiseks saadetakse mudelile uus ekraanipilt.
Selle toimingute valik on mõeldud tavaliste graafilise kasutajaliidese toimingute jaoks, sealhulgas hiire liigutamine, klõpsamine, teksti sisestamine, kerimine ning muud klaviatuuri- ja kursoriinteraktsioonid. Mudel ise ei võta arvutit juhtimise alla. Ümbritsev käituskeskkond peab selle vastuse täitma, haldama õigusi, koguma uuendatud vaatlusi ja otsustama, kas toimingu sooritamine on ohutu.
OpenAI tutvustas computer-use-preview’d 11. märtsil 2025 uurimiseelse mudelina, mis oli seotud ettevõtte computer-use’i tööriista ja Operatoriga seotud arendustööga. Praegu loetleb OpenAI kanoonilise mudeli aegununa. See staatus on oluline: mudel võib endiselt olla kasulik olemasoleva integratsiooni mõistmiseks või hooldamiseks, kuid toetatud järglase või üldotstarbelise arvutikasutusvõimaluse olemasolu korral ei ole see uue tootmissüsteemi loomisel loomulik vaikevalik.
Kuidas mudel rakenduses töötab
computer-use-preview on dokumenteeritud Responses API jaoks. Arendajad annavad tekstina ülesande ning võivad lisada ekraanipilte või muid pildilisi vaatlusi. Seejärel tagastab mudel tekstipõhise API-sisu, mis sisaldab struktureeritud arvutitoiminguid. Kliendirakendus teisendab need toimingud brauseri- või operatsioonisüsteemi sündmusteks ning saadab tulemuseks saadud oleku mudelile tagasi.
Sellise ülesehituse korral on mudel juhtimistsüklis toimingute kavandaja, mitte eraldiseisev automatiseerimisskript. Näiteks võib töövoog paluda mudelil leida veebirakenduses kindla sätte. Mudel saab vaadata nähtavat lehte, klõpsata tõenäolisel juhtnupul, jälgida ekraani muutumist ja jätkata. Rakendus vastutab endiselt tsükli rakendamise ning peatamise eest, kui ülesanne on lõpetatud või toiming vajab inimese heakskiitu.
Funktsioonikutseid toetatakse ning mudel võib tagastada struktureeritud arvutitoiminguid, mida integratsioon saab töödelda. See on kasulik siis, kui rakendus vajab proosajuhiste asemel masinloetavaid toiminguid. See ei tähenda, et iga tagastatud toiming oleks kindlasti õige, ohutu või sobiks järelevalveta täitmiseks.
Sisendid, väljundid ja modaalsused
Kontrollitud sisendmodaalsused on tekst ja pildid. Ekraanipildid on arvutikasutuse töövoogude keskne visuaalne sisend, mis võimaldab mudelil arutleda nuppude, väljade, menüüde, lehepaigutuste ja muude nähtavate liideseelementide üle. Esitatud teave ei dokumenteeri loomulikku heli- ega videosisendit.
Mudeli väljund on peamiselt tekstipõhine API-sisu, mis sisaldab arvutitoiminguid. See ei genereeri otse pilte, heli ega videot, seega toimub selle multimodaalne töö peamiselt sisendi poolel. Selle eripärane väljund on struktureeritud toiminguinfo, näiteks hiire- ja klaviatuuritoimingud, mida hostrakendus saab täita.
| Võimekus | Kontrollitud olek |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend ja ekraanipildid | Toetatud |
| Helisisend või -väljund | Ei ole dokumenteeritud |
| Videosisend või -väljund | Ei ole dokumenteeritud |
| Arvutikasutuse toimingud | Toetatud |
| Funktsioonikutsed | Toetatud |
| Voogedastus | Ei ole toetatud |
| Structured Outputs | Ei ole toetatud |
| Peenhäälestus | Ei ole toetatud |
Konteksti piirang, väljundipiirang ja hinnastus
OpenAI loetletud kontekstiaken on 8 192 tokenit ja maksimaalne väljund on 1 024 tokenit. Kontekstiaken hõlmab teksti ja muud teavet, mis mudelisuhtluse osana edastatakse. Ekraanipiltidel põhineva tsükli kavandamisel peaksid arendajad arvestama ülesande juhiste, varasema suhtlusajaloo, tööriistade tulemuste ja praeguste visuaalsete vaatluste mahuga ning kavandama vastavalt viibad ja olekuhalduse.
Loetletud API hinnad on 3,00 dollarit 1 miljoni sisendtokeni ja 12,00 dollarit 1 miljoni väljundtokeni eest. OpenAI märgib ka, et computer-use’i tööriistakutsed võivad kaasa tuua eraldi tööriistapõhiseid tasusid. Automatiseeritud ülesande tegelik maksumus sõltub seega lisaks tokenite mahule ka sellest, mitu vaatlus- ja toimingutsüklit rakendus sooritab ning kas need tsüklid tekitavad täiendavaid tööriistatasusid.
| Spetsifikatsioon | Väärtus |
|---|---|
| Pakkuja | OpenAI |
| Väljalaskekuupäev | 11. märts 2025 |
| Olek | Aegunud |
| Kontekstiaken | 8 192 tokenit |
| Maksimaalne väljund | 1 024 tokenit |
| Sisendi hind | 3,00 dollarit 1 miljoni sisendtokeni eest |
| Väljundi hind | 12,00 dollarit 1 miljoni väljundtokeni eest |
| Peamine API | Responses API |
| Teadmiste lõppkuupäev | 1. oktoober 2023 |
Tugevused ja praktilised kompromissid
Mudeli peamine tugevus on spetsialiseeritus. See on loodud tegelema keeruka sammuga, mille käigus visuaalsest liidesest aru saamine muudetakse järgmise interaktsiooni väljenduseks kujul, mida tarkvara saab täita. Seetõttu sobib see brauseritöövoogude ja liidese testimise jaoks otsesemalt kui ainult tekstil põhinev mudel, mis suudab kirjeldada, millele kasutaja peaks klõpsama, kuid ei saa luua vastavat arvutikasutuse toiminguformaati.
Samuti ühendab see ekraanipiltide tõlgendamise ja korduva toimingute valimise. See on kasulik liideste puhul, mille paigutus, olek või saadaolevad juhtnupud ülesande käigus muutuvad. Täielikult fikseeritud koordinaatidele või hapratele skriptidele toetumise asemel saab rakendus paluda mudelil pärast iga toimingut praegune ekraan uuesti üle hinnata.
Nende eelistega kaasnevad olulised kompromissid. Mudel on uurimiseelne versioon, selle kontekstiaken on suhteliselt väike (8 192 tokenit) ja iga vastuse pikkus on piiratud 1 024 tokeniga. See ei toeta voogedastust, Structured Outputs’i ega peenhäälestust. Aegunud olek suurendab elutsükliriski, eriti uue süsteemi puhul, mis vajab pikaajalist tuge.
Esitatud uurimus sisaldab mõtlemise, kodeerimise, kiiruse ja kulu toimetuslikke hinnanguid, kuid need hinded on võrdlevad hinnangud, mitte OpenAI avaldatud garantiid. Hinnanguprofiil kirjeldab computer-use-preview’d oma kategoorias suhteliselt kiire ja mõõduka hinnaga mudelina, kuid hindab selle mõtlemise ja kodeerimise kasulikkust madalamaks, kui üldotstarbeliselt mudelilt tavaliselt eeldataks. Neid hindeid tuleks käsitleda suunavate hinnangutena, mitte ametlike võrdlustestide spetsifikatsioonidena.
Töökindluse ja ohutuse piirangud
Arvutiga suhtlemine võib põhjustada tegelikke kõrvalmõjusid: ekslik klõps võib vormi esitada, andmeid muuta, faili alla laadida või käivitada välise tehingu. OpenAI avaldas computer-use-preview’ uurimiseelse versioonina osaliselt seetõttu, et sellised ülesanded nõuavad ettevaatlikkust. Käivitamise ajal tehtud süsteemikaardi testides saavutati OSWorldi ülesannetes edukuse määraks 38,1% ning OpenAI tõi esile väiksema töökindluse brauserivälistes keskkondades. See on pakkuja esitatud hinnanguline tulemus väljalaske kontekstis, mitte konkreetse rakenduse või töövoo garantii.
Juurutamisel tuleks kasutada isoleeritud keskkondi ning piirata veebisaite, kontosid ja toiminguid, millele mudel ligi pääseb. Ekraanisisu tuleks käsitleda ebausaldusväärse sisendina, sest nähtav tekst võib sisaldada eksitavaid juhiseid või sisu, mis on vastuolus kasutaja ülesandega. Tagajärgedega toimingud peaksid nõudma kinnitust, eriti ostud, kontomuudatused, suhtlus, kustutamine ja andmete esitamine.
Kontrollimine on hädavajalik. Rakendus peaks kontrollima tulemusel kuvatavat lehte või süsteemi olekut, mitte eeldama, et tagastatud toiming õnnestus. Ajalõpud, taastamisvõimalused, õiguste piirid ja inimese kaasamine on eriti olulised ülesannete puhul, mida täidetakse väljaspool kontrollitud brauserit või mis võivad mõjutada tundlikke andmeid.
Parimad kasutusjuhud
- Kontrollitud brauseriautomaatika: kindlaksmääratud veebisaitidel navigeerimine või korduvate sisemiste töövoogude täitmine isoleeritud seansis.
- Liidese testimine: kasutaja teekonna läbimine algusest lõpuni ning rakenduse käitumise kontrollimine, kui kasutaja suhtleb selle nähtava liidese kaudu.
- Korduvad arvutitoimingud: väikese mõjuga sammude täitmine, mida ümbritsev rakendus saab hõlpsalt kontrollida.
- Agentide uurimine ja prototüüpimine: hindamine, kuidas arvutit kasutav agent saab ühendada ekraanipildid, otsused, toimingud ja tagasiside.
- Toimingute täitmise töövood: rakendused, mis suudavad mudeli loodud hiire- ja klaviatuuritoimingud sündmusteks teisendada ning tulemust iseseisvalt kontrollida.
Millal seda mudelit valida?
Vali computer-use-preview peamiselt siis, kui hooldad olemasolevat OpenAI arvutikasutuse integratsiooni, testid algse uurimiseelse versiooni käitumist või lood rangelt kontrollitud prototüüpi, mis vajab spetsiaalselt ekraanipiltidel põhinevaid arvutitoiminguid. Selle spetsialiseeritus võib olla tavapärasest vestlusmudelist asjakohasem, kui põhiprobleem on graafilise liidesega suhtlemine, mitte selgituse või koodinäite koostamine.
Uue tootmisjuurutuse puhul peaks aegunud olek olema tugev argument selle vastu. Kui oluline on elutsükli stabiilsus, uuendatud võimekus või dokumenteeritud üleminekutoetus, on praegu toetatud arvutikasutuse võimekusega mudel üldjuhul parem lähtekoht. Tavaline üldotstarbeline mudel võib olla sobivam kavandamiseks, teksti genereerimiseks, kodeerimiseks või teadmistepõhiseks tööks, kus otsesed GUI-toimingud pole vajalikud. Kui lehe struktuur on stabiilne ja töökindlus on paindlikkusest olulisem, on eelistatav deterministlik brauseriautomaatika raamistik.
See ei sobi hästi üldiseks vestluseks, värske teabe otsimiseks, piltide genereerimiseks, heli- või videotöötluseks ega suure töökindlusega järelevalveta töölauajuhtimiseks. Selle 1. oktoobri 2023 teadmiste lõppkuupäev tähendab samuti, et seda ei tohiks käsitleda värske teabe allikana; välised vaatlused ja tööriistad võivad anda ajakohase oleku, kuid need ei muuda mudeli aluseks olevat treeninguandmete lõppkuupäeva.
Kokkuvõte
computer-use-preview’d on kõige parem mõista varajase, spetsialiseeritud arvutiga suhtlemise mudelina, mitte üldotstarbelise assistendina. See võtab vastu juhiseid ja ekraanipilte, tagastab Responses API kaudu struktureeritud hiire- ja klaviatuuritoiminguid ning võib toetada kontrollitud automatiseerimist ja liidese testimist. Selle piiratud konteksti- ja väljundimahud, voogedastuse ja peenhäälestuse puudumine, ohutusnõuded, uurimiseelse versiooni töökindlus ning aegunud olek muudavad hoolika isoleerimise ja kontrollimise vajalikuks. Olemasolevate katsete jaoks on see endiselt tehniliselt eripärane, kuid uue tootmistöö puhul tuleks esmalt hinnata toetatud alternatiivi.