Mis on MolmoPoint-GUI-8B?
MolmoPoint-GUI-8B on Allen Institute for Artificial Intelligence’i (Ai2) avatud kaaludega visuaal-keelemudel. Selle eesmärk on kitsam kui üldisel vestlusabilisel: ekraanipildi ja tekstijuhise põhjal tuvastab see küsitud kasutajaliideselemendi asukoha.
Näiteks võidakse mudelil paluda osutada otsingukastile, menüünupule või ekraanil nähtavale kindlale juhtelemendile. Mudel tagastab sihtkohta tähistava üksiku punkti, kuid ei soorita toimingut ise. Väline arvutikasutuse süsteem võib kasutada seda punkti tajusisendina, enne kui otsustab, kas ja kuidas klõpsata, teksti sisestada või mõni muu toiming teha.
Mudel on MolmoPoint-8B GUI-le kohandatud peenhäälestus. See kuulub Ai2 avatud Molmo uurimismudelite perekonda ning seda levitatakse peamiselt allalaaditavate mudelikaaludena, mitte tavapärase majutatud tarbijaabilise või tasulise järeldus-API-na.
Kuidas mudel GUI-asukoha määrab
MolmoPoint-GUI-8B võtab sisendiks ühe pildi, täpsemalt GUI-ekraanipildi, koos juhiselaadse tekstipäringuga. See genereerib punkti, kasutades MolmoPointi maandamislubasid. Need on mudelipõhised väljundmärgid, mis on mõeldud asukoha, mitte tavaliste tekstiliste koordinaadivahemike tähistamiseks.
Tulemuse kasutamiseks on vaja MolmoPointi realisatsiooniga kaasas olevaid dekodeerimisutiliite ja metaandmeid. Praktikas ei tohiks arendajad eeldada, et genereeritud toormärgijada on juba kasutusvalmis pikslikoordinaatide paar. Hoidlas kirjeldatud punktide eraldamise töövoog on kavandatud integratsioonitee osa.
See lahendus muudab mudeli kasulikuks ekraani mõistmise või tajukomponendina. See ei muuda mudelit täielikuks brauseri- ega töölauaautomaatika agendiks. Ennustatud punkti interaktsiooniks teisendamiseks on vaja eraldi toimingukihti, mis peab haldama ka rakenduse olekut, õigusi, ohutuskontrolle ja tõrkeid.
Kontrollitud tehnilised andmed ja toetatud modaalsused
| Tehniline näitaja | Esitatud üksikasjad |
|---|---|
| Pakkuja | Allen Institute for Artificial Intelligence (Ai2) |
| Mudeliperekond | MolmoPoint |
| Mudeli suurus | 8B-klassi kontrollpunkt |
| Peamine sisend | Üksik pilt koos tekstipäringuga |
| Peamine väljund | Üks GUI maandamispunkt ja maandamise töövoos kasutatavad tekstimudeli väljundmärgid |
| Litsents | Apache 2.0 |
| Dokumenteeritud jada pikkus | 36 864 märki kohaldatava 8B MolmoPointi teisendustöövoo puhul |
| Ametlik majutatud teenuse hind | Ei ole tuvastatud; mudelit levitatakse peamiselt allalaaditavate kaaludena |
Dokumenteeritud 36 864 märgi pikkus on seotud 8B MolmoPointi kontrollpunkti teisendustöövooga. Seda tuleks käsitleda kohaldatava mudelikonfiguratsioonina, mitte majutatud API kontekstiakna lubadusena. Esitatud materjalid ei täpsusta MolmoPoint-GUI-8B eraldi maksimaalset väljundmärkide arvu.
Toetatud sisendmodaalsused on pilt ja tekst. Uurimus ei tuvasta selle mudeli puhul heli- ega videosisendit. Mudel ei genereeri pilte, heli ega videot: selle asjakohane mittetekstiline väljund on maandamispunkt, mida kasutatakse ekraanil asukoha tuvastamiseks.
Peamised tugevused
- Fokuseeritud GUI maandamine: Mudel on treenitud konkreetseks ülesandeks – kasutajaliideselementide asukoha tuvastamiseks –, mitte nii, et GUI-le osutamine oleks üldise assistendi juhuslik kõrvalvõime.
- Avatud levitamine: Ai2 pakub kontrollpunkti Apache 2.0 litsentsi alusel, mistõttu sobib see katsetamiseks, uurimiseks ja integreerimiseks, järgides litsentsi ning võimalikke projektipõhiseid nõudeid.
- Kasulik tajupõhikomponent: Punktiennustus võib olla suurema arvutikasutuse töövoo kompaktne sisend. See eraldab visuaalse lokaliseerimise süsteemist, mis otsustab, kas toiming on sobiv.
- Uurimis- ja kohandamisvõimalused: Avalik molmo2 hoidla sisaldab GUI peenhäälestuse koodi ning mudelikaart ja hoidla dokumenteerivad eeldatava maandamislubade ja punktide eraldamise töövoo.
- Esitatud võrdlustulemused: Ai2 teatab tulemustest 61,1 ScreenSpot-Pro ja 70,0 OSWorldG testis ning kirjeldab neid väljalaske ajal täielikult avatud mudelite seas tipptasemel tulemustena. Need on pakkuja esitatud väited, mitte esitatud uurimuse põhjal sõltumatult kinnitatud hinnangud.
Selle kõige olulisem praktiline eelis on spetsialiseerumine. Kui küsimus on „kus asub selle juhisega kirjeldatud juhtelement?“, võib spetsiaalne osutamismudel olla lihtsamini integreeritav ja prognoositavam kui üldise multimodaalse mudeli kasutamine sama kitsa ülesande jaoks.
Piirangud ja kompromissid
MolmoPoint-GUI-8B ei paku täielikku arvutikontrolli algusest lõpuni. See tuvastab punkti, kuid ei sirvi iseseisvalt, ei klõpsa, ei sisesta teksti, ei kontrolli tulemust, ei taastu valest toimingust ega halda töölauaseanssi. Need ülesanded jäävad ümbritseva tarkvara kanda.
Mudelit ei ole samuti mõeldud üldotstarbeliseks vestlussüsteemiks. Selle treening ja väljundvorming on suunatud ekraanipildi maandamisele, mistõttu sobib see halvasti laiapõhjaliseks vestlusabiks, pikkade tekstide arutlemiseks, üldiseks piltide genereerimiseks või töövoogudeks, mis nõuavad heli ja video mõistmist.
Juurutamine nõuab rohkem inseneritööd kui tavapärase majutatud mudeli lõpp-punkti kutsumine. Kasutajad peavad avatud kontrollpunkti hankima ja käivitama, järgima hoidlas toodud teisendamis- ja järeldusjuhiseid ning maandamisväljundi õigesti dekodeerima. Esitatud uurimus ei tuvasta ametlikku hallatud API-t, voogedastusliidest, pakett-API-t ega pakkuja majutatud hinnaplaani.
Esineb ka kasutuslikke kompromisse. 8B avatud mudeli käitamine kohapeal või privaatselt hallatavas taristus võib anda suurema kontrolli juurutamise ja andmekäitluse üle, kuid taristu-, mälu-, latentsus- ja hoolduskulud sõltuvad valitud riist- ja tarkvaravirnast. Ühtset kiiruse- või rahalist kuluarvu ei ole esitatud, seega tuleks neid tegureid mõõta sihtkeskkonnas, mitte mudelinime põhjal oletada.
Arutlemine, kodeerimine ja tööriistade tugi
MolmoPoint-GUI-8B teostab juhise põhjal visuaalset lokaliseerimist. Seda ei tohiks käsitleda spetsiaalse arutlusmudelina, millel oleks eraldi dokumenteeritud mõttekäigu või täiustatud arutlemise režiim. Selle kasulik „arutlemiskäitumine“ on ülesandespetsiifiline: tekstipäringu sidumine vastava nähtava kasutajaliideselemendiga.
See ei ole kodeerimismudel, kuigi arendajad võivad kasutada selle väljundit GUI-automaatika või arvutikasutuse uuringute koodis. Esitatud spetsifikatsioonide kohaselt ei paku mudel ise sisseehitatud funktsioonikutseid, tööriistade käivitamist, veebiotsingut, brauserikontrolli ega koodi käivitamist. Kõik sellised võimalused tuleb rakendada välises rakenduses.
Samuti ei ole punktiennustus sama mis toiminguväljund. Punkt võib teisele programmile näidata, kus sihtobjekt asub, kuid see ei anna toiminguks luba ega soorita seda. See erinevus on oluline ohutustundliku automaatika puhul, kus väline kiht peaks enne pärisrakendusega suhtlemist sihtmärgi kinnitama ja rakendama sobivaid piiranguid.
Hind ja juurdepääs
MolmoPoint-GUI-8B ametlikku majutatud järelduse hinda ei tuvastatud. Ai2 levitab seda peamiselt allalaaditavate avatud kaaludena, mistõttu puudub kontrollitud sisend- või väljundmärgi hind, mida esitada. Praktilise kulu määravad selle asemel salvestusruum, arvutustaristu, majutus ja arendusvajadused.
Esitatud uurimuse kohaselt on mudel saadaval Apache 2.0 litsentsi alusel. Enne mudeli ärilist kasutamist või tootmissüsteemi integreerimist peaksid arendajad siiski üle vaatama ajakohase mudelikaardi, hoidla juhised ning kõik seotud andmestiku- või projektipõhised tingimused.
Millal valida MolmoPoint-GUI-8B?
Vali MolmoPoint-GUI-8B siis, kui peamine nõue on ekraanipildil nimetatud või kirjeldatud kasutajaliideselemendi asukoha tuvastamine ning soovid avatud mudelit, mida saab uurida või oma tajutöövoogu integreerida. See on eriti asjakohane järgmistes kasutusjuhtudes:
- GUI-ekraanipiltide maandamine ja ekraanielementide lokaliseerimine;
- arvutikasutuse agentide uurimine;
- visuaalne taju brauseri- või töölauaautomaatika prototüüpides;
- katsed, mille puhul on vaja avatud kaalusid, mitte suletud majutatud teenust; ning
- süsteemid, kus väline kontroller haldab pärast visuaalset lokaliseerimist toiminguid.
Muu lahendus võib olla sobivam, kui vajad täielikku autonoomset arvutikasutuse agenti, üldist vestlusabilist, sisseehitatud tööriistu, heli- või videotöötlust, piltide genereerimist või hallatud API-t prognoositavate teenusetaseme ja hinnastamise omadustega. Üldine multimodaalne mudel võib olla eelistatav ka siis, kui ekraanil osutamine moodustab suuremast töövoost vaid väikese osa ning ülejäänud ülesanded nõuavad ulatuslikku dialoogi, planeerimist või dokumenditööd.
Avatud mudelite ökosüsteemis on MolmoPoint-GUI-8B-d kõige parem mõista spetsiaalse tajukomponendina, mitte täieliku automaatikatootena. Selle väärtus seisneb ühe olulise ülesande täitmises – juhise sidumises GUI-ekraanipildil asuva asukohaga – vormis, mida teine süsteem saab kasutada.
Kokkuvõte
MolmoPoint-GUI-8B on fokuseeritud avatud kaaludega mudel GUI maandamiseks. See võtab sisendiks ekraanipildi ja juhiselaadse teksti ning tagastab seejärel MolmoPointi maandamislubade kaudu punkti, mis tähistab küsitud kasutajaliideselementi. Apache 2.0 litsentsi alusel avaldamine ning kättesaadavad peenhäälestus- ja dekodeerimisressursid muudavad selle atraktiivseks uurimistööks ja kohandatud arvutikasutuse töövoogudeks.
Sama selged on ka mudeli piirangud: see ei soorita toiminguid, ei paku majutatud API-t ega asenda üldist multimodaalset assistenti. Mudeli valivad meeskonnad peaksid olema valmis ise haldama mudeli juurutamist, punktide dekodeerimist, toimingute juhtimist ja hindamist. Ekraanipiltidelt asukohtade tuvastamisel võib see spetsialiseerumine olla siiski kasulikum kui laiema mudeli eest maksmine või selle kohandamine, kui selle põhiotstarve on mujal.