Mis on UI-TARS-1.5-7B?
UI-TARS-1.5-7B on ByteDance Seedi avatud kaaludega multimodaalne agendimudel. Selle eriala on arvuti kasutamine: ekraanipildi või muu visuaalse liidese tõlgendamine, selle sidumine loomulikus keeles antud juhisega ning sobiva toimingu valimine, näiteks koordinaadil klõpsamine, teksti sisestamine, klahvi vajutamine või kerimine.
Erinevalt üldotstarbelisest vestlusmudelist on UI-TARS-1.5-7B loodud tajumise ja tegutsemise vahelise suhtlusringi ümber. Tüüpilises töövoos antakse mudelile ekraanipilt ja juhis „ava seadete menüü ning lülita tume režiim sisse“. Mudel analüüsib nähtavat liidest, tuvastab tõenäolise sihtkoha, mõtleb järgmise sammu üle ja tagastab toimingu kirjelduse. Seejärel sooritab eraldi käituskeskkond toimingu ning edastab järgmise vooru jaoks uue ekraanipildi.
Mudel avaldati 17. aprillil 2025 UI-TARS-1.5 perekonna avalikult allalaaditava 7B-klassi kontrollpunktina. Mudelikaardi järgi on kontrollpunktil ligikaudu 8 miljardit parameetrit, kuigi tootenimes kasutatakse tähistust 7B. Suurem UI-TARS-1.5 süsteem on laiem uurimismudel; 7B-versioon on mõeldud peamiselt üldisteks arvutikasutuse ülesanneteks ning seda ei esitata suurema süsteemi samaväärse asendusena mängudega seotud stsenaariumides.
Kuidas mudel liideseid mõistab ja nendega tegutseb
UI-TARS-1.5-7B ühendab visuaalse mõistmise ja tegevusele suunatud arutlemise. ByteDance Seed kirjeldab UI-TARS-1.5 perekonda agendiarhitektuurina, mis ühendab visuaalse taju, arutlemise, mälu ja tegevuste modelleerimise. Avaldatud 7B-kontrollpunkti kohta hõlmavad kaasasolevas dokumentatsioonis kirjeldatud praktilised võimalused järgmist:
- Ekraanipiltide ja graafiliste kasutajaliideste mõistmine.
- Teksti ja pilte ühendavate juhiste järgimine.
- Liideselementide asukoha tuvastamine või nende visuaalne sidumine ning koordinaatide ennustamine.
- Mitmeastmeliste arvutikasutuse ülesannete kavandamine.
- Hiire- ja klaviatuuritoimingute genereerimine struktureeritud tekstiesituses.
- Võimalus suhelda brauseri ja töölauaga, kui mudel on ühendatud sobiva täitmiskeskkonnaga.
Mudel kasutab „mõtle ja seejärel tegutse“ stiili: enne toimingu valimist võib see esitada vahepealse arutluskäigu. Selle peamine väljund on siiski tekst. Mudel ei tagasta algupäraselt pilte, heli, videot ega muud otsest mittetekstilist väljundit. „Toimingu väljund“ tähendab, et tekst võib kirjeldada või kodeerida graafilise kasutajaliidese toiminguid; see ei tähenda, et mudel saadaks iseseisvalt operatsioonisüsteemi sündmusi.
Tehnilised andmed ja modaalsused
| Spetsifikatsioon | Kontrollitud teave |
|---|---|
| Pakkuja | ByteDance Seed |
| Väljalaskekuupäev | 17. aprill 2025 |
| Mudeliperekond | UI-TARS-1.5 |
| Kontrollpunkt | ByteDance-Seed/UI-TARS-1.5-7B |
| Mudeli suurus | Mudelikaardi järgi ligikaudu 8 miljardit parameetrit; mudeli nimes kasutatakse tähistust 7B |
| Konteksti pikkus | Avaldatud konfiguratsioonis 128 000 positsiooni |
| Sisend | Tekst ja pildid |
| Väljund | Tekst, mis sisaldab arutluskäiku ja graafilise kasutajaliidese toimingute esitusi |
| Litsents | Apache 2.0 |
| Majutatud API hinnastus | Selle kontrollpunkti ametlikku sümbolipõhist hinda ei ole kontrollitud |
| Väljundi maksimaalne sümbolite arv | Kontrollimata |
128 000 positsiooniga kontekst on kasulik töövoogudes, kus tuleb säilitada pikk jada juhiseid, ekraanipilte, vaatlusandmeid ja varasemaid toiminguid. Seda ei tohiks tõlgendada garantiina, et iga juurutus toetab sama tõhusat visuaalset ajalugu: pildi eraldusvõime, teeninduskonfiguratsioon, täpsus ja ümbritsev agendiraamistik võivad mõjutada mälukasutust ning praktilisi piiranguid.
Olemasolevad uuringud ei kinnita selle konkreetse kontrollpunkti puhul ametlikku majutatud API-t, väljundi maksimaalset sümbolipiirangut, teadmiste lõppkuupäeva, peenhäälestusteenust, vahemällu salvestamise võimalust, pakktöötlus-API-t ega eraldi JSON-režiimi. Seetõttu ei tohiks selle struktureeritud toiminguesitusi segi ajada eraldi dokumenteeritud pakkuja JSON-režiimiga.
Avaldatud jõudlus ja arutlemiskäitumine
ByteDance Seed avaldab tulemusi nii suurema UI-TARS-1.5 süsteemi kui ka UI-TARS-1.5-7B võrdluse kohta. Avaldatud võrdluses sai UI-TARS-1.5 OSWorldi testis tulemuseks 42,5 ja ScreenSpotPro testis 61,6, samal ajal kui 7B-versiooni tulemused olid vastavalt 27,5 ja 49,6. Need on pakkuja avaldatud võrdlustulemused ning tegeliku juurutuse tulemused võivad erineda sõltuvalt ekraanipiltide jäädvustamisest, toimingute parsimisest, koordinaatide teisendamisest, keskkonna olekust ja ülesannete ülesehitusest.
Mudeli arutlemine on praktiline, mitte väide laiaulatusliku intellektuaalse võimekuse kohta. Selle eesmärk on siduda visuaalsed tähelepanekud järgmise arvutitoiminguga. See muudab vahepealse arutluskäigu kasulikuks, kui soovitakse välja selgitada, miks agent konkreetse nupu või koordinaadi valis, kuid ebaselge või sammude vahel muutuva liidese korral võivad ilmneda ka ebausaldusväärsed eeldused.
Esitatud uuring hindab mudeli arutlemisvõimet selle kavandatud agendifunktsiooni jaoks kõrgelt, samal ajal kui kodeerimisvõime on piiratum ega ole mudeli peamine eesmärk. UI-TARS-1.5-7B-d saab kasutada automatiseeritud töövoogudes, mis hõlmavad teksti sisestamist või arendustööriistu, kuid seda ei tohiks automaatselt valida spetsiaalseks kodeerimismudeliks.
Juurutus ja puuduva täitmiskihi roll
UI-TARS-1.5-7B on saadaval Hugging Face'is ning seda saab juurutada ühilduvate Transformersi tööriistade või järeldusserveritega, näiteks vLLM-i ja SGLangiga. Mudeli dokumentatsioon kirjeldab ka OpenAI-ga ühilduvaid kohaliku teeninduse lõpp-punkte. Need viited kirjeldavad mudeli teenindamise viise; need ei kinnita ByteDance'i majutatud kommerts-API-t avaldatud sümbolihindadega.
Tegelik arvuti juhtimine nõuab täiendavaid komponente. Vähemalt peab rakendus jäädvustama praeguse ekraani või brauseri oleku, saatma asjakohase vaatluse ja juhise mudelile, parsima tagastatud toimingu, teisendama vajaduse korral koordinaate, käivitama hiire- või klaviatuurisündmuse ning koguma järgmise vaatluse. Neid rolle võivad täita näiteks brauseridraiver, töölaua automatiseerimise teek või kohandatud agendikäituskeskkond, kuid selle kontrollpunkti puhul ei ole kinnitatud ühtegi konkreetset algupärast tööriista ega funktsioonikutsete võimalust.
Riistvaranõuded sõltuvad juurutusest. Täpsus, kvantimine, pakisuurus, pildi eraldusvõime ja valitud teenindusraamistik mõjutavad kõik mälukasutust ja läbilaskevõimet. Kuna kaalud paiknevad kasutaja enda taristus, määravad kulud dokumenteeritud sisend- või väljundsümboli hinna asemel operaatori riistvara ja taristu. See võib olla katsetamisel ja kontrollitud töökoormuste korral atraktiivne, kuid annab seadistamise, skaleerimise, jälgimise ja turvalisuse eest vastutuse kasutajale.
Tugevused ja piirangud
UI-TARS-1.5-7B kõige selgem tugevus on spetsialiseerumine. See on loodud visuaalse liidese oleku sidumiseks konkreetsete toimingutega, mistõttu on see graafilise kasutajaliidese agentide uurimisel otsesemalt asjakohane kui ainult tekstipõhine keelemudel. Avatud kaalud ja Apache 2.0 litsents muudavad selle sobivaks ka iseseisvaks juurutamiseks, võrdlustestideks ja katsetamiseks ilma ametlikust majutatud lõpp-punktist sõltumata.
Mudeli 128 000 positsiooniga konfiguratsioon jätab ruumi pikkadele mitmeastmelistele suhtlusajalugudele ning teksti- ja pildisisend toetab ekraanipildipõhiseid töövooge. Väiksem versioon võib olla ka praktiline lähtekoht kasutajatele, kes soovivad UI-TARS-i lähenemist katsetada ilma suuremat UI-TARS-1.5 uurimismudelit juurutamata.
Piiranguid on siiski mitu. Kontrollpunkt ise arvutit ei juhi, seega on usaldusväärne toimingute täitmiskihi kohustuslik. Mudel võib juhtnuppe valesti tuvastada, liidest valesti mõista, visuaalseid üksikasju välja mõelda või valida ebatõhusa toimingu, eriti kui ekraan on ülekoormatud, ebaselge, tundmatu või kiiresti muutuv. Igas autonoomses töövoos tuleks piirata õigusi ning lisada autentimise, finantstoimingute, tundlike failide, pöördumatute toimingute ja kaitstud veebisaitide puhul kinnitussammud.
7B-versioon ei ole ka mängudega seotud stsenaariumide jaoks UI-TARS-i perekonna tugevaim valik. ByteDance Seed teatab, et suuremal UI-TARS-1.5 süsteemil on mängudega seotud ülesannetes märkimisväärne eelis. Lisaks võivad kontrollitud majutatud hinnastuse, teenusetaseme garantiide, väljundi maksimaalsete piirangute ja pakkuja hallatava täitmise puudumine muuta selle mudeli vähem mugavaks tootmismeeskondadele, kes otsivad kohe kasutusvalmis API-t.
Millal valida UI-TARS-1.5-7B?
Vali UI-TARS-1.5-7B siis, kui peamine probleem on visuaalsete liideste mõistmine ja nendega tegutsemine ning oled valmis haldama ka ümbritsevat käituskeskkonda. See on mõistlik kandidaat järgmisteks kasutusjuhtudeks:
- Arvutikasutuse ja graafilise kasutajaliidese agentide uurimine.
- Brauseri või töölaua automatiseerimise prototüübid.
- Ekraanipildipõhine liideselementide tuvastamine.
- Avatud kaaludega visuaalsete toimingumudelite katsetamine.
- Koordinaate ja liidese toiminguid ennustavate mudelite võrdlustestid.
Avatud kaaludega juurutus on eriti asjakohane siis, kui organisatsioon soovib järeldusprotsessi üle kohalikku kontrolli või peab täitmiskeskkonda kohandama, selle asemel et toetuda pakkuja majutatud arvutikasutusteenusele.
Teine võimalus võib olla sobivam juhul, kui esmatähtsad on üldine vestlus, spetsiaalne koodigenereerimine, hallatav API prognoositava sümbolipõhise hinnastusega või algupärane täielik arvutikontroll. Suurem UI-TARS-1.5 süsteem on parem võrdlusvariant siis, kui otsustavaks teguriks on mängudega seotud jõudlus või laiem uurimismudel, kuigi esitatud teave ei paku otsest kommertshindade võrdlust. Stabiilsete ja deterministlike töövoogude puhul võib eelistada ka tavapärast automatiseerimissüsteemi, kus fikseeritud selektorid ja selged reeglid on mudeli genereeritud toimingutest turvalisemad.
Hinnastus, saadavus ja praktilised kompromissid
UI-TARS-1.5-7B ametlikku majutatud sümbolipõhist hinda ei ole kontrollitud. Mudel on Apache 2.0 litsentsi alusel saadaval avatud kaaludega Hugging Face'i kontrollpunktina, mistõttu hindavad kasutajad kulusid üldjuhul kohaliku või iseseisvalt hallatava järeldustaristu põhjal. See ei tähenda, et mudel oleks tasuta: riistvara, salvestusruum, arendustöö, jälgimine ja täitmistaristu mõjutavad endiselt kogukulu.
Sellega kaasneb selge kompromiss. Majutatud mudeliga võrreldes võib isemajutamine pakkuda suuremat kontrolli ja vältida sõltuvust avaldamata pakkuja-API hinnast, kuid see nõuab rohkem tehnilist tööd ning võib pakkuda väiksemat kasutusmugavust või muutlikku läbilaskevõimet. Väikese deterministliku automatiseerimisskriptiga võrreldes saab UI-TARS-1.5-7B hakkama visuaalselt muutlikumate liidestega, kuid mudeli järeldusprotsess lisab latentsust ja valede toimingute riski.
Kokkuvõttes tuleks UI-TARS-1.5-7B-d käsitleda pigem arvutikasutuse agentide alusena kui valmis töölauaabilisena. Selle väärtus seisneb avatud juurutuses, visuaalses sihitamises ja tegevusele suunatud arutlemises; peamised kulud on täitmiskesta vajadus, hoolikalt kavandatud turvakontrollid ja kasutaja hallatav taristu.