Mis on GLM-4.6V?
GLM-4.6V on Z.ai 106 miljardi parameetriga avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel ehk VLM töötleb keelt koos visuaalse teabega, mitte ei käsitle pilte või videot vestlusest eraldiseisvana. GLM-4.6V sisendiks võivad olla tekst, pildid, video ja failid ning väljundiks on tekstipõhised vastused.
Mudel on loodud pika konteksti multimodaalseks arutlemiseks. Praktikas tähendab see, et see suudab ühe päringu raames töödelda mahukat visuaalset ja tekstilist materjali: näiteks dokumendilehtede kogumit, pikka videot, kasutajaliidese kuvatõmmist või otsingu- või brauseritööriista tagastatud visuaalset tulemust. Dokumenteeritud konteksti pikkus on 131 072 tokenit, mida kirjeldatakse tavaliselt 128K tokeni suuruse kontekstiaknana. Maksimaalne väljundi pikkus on samuti 131 072 tokenit.
GLM-4.6V kuulub Z.ai GLM-V tooteperesse ning seda esitletakse GLM-4.6V seeria suure jõudlusega 106B mudelina. Seda ei tohiks segi ajada mudeliga GLM-4.6V-Flash, mida esitatud dokumentatsioon kirjeldab eraldi 9B mudelina. Suurem mudel on mõeldud keerukaks multimodaalseks analüüsiks ja agendipõhisteks töövoogudeks, mitte minimaalse kuluga väikese latentsusega teksti genereerimiseks.
Peamised võimekused ja toetatud modaalsused
GLM-4.6V sisendi- ja väljundivõimekused on teadlikult asümmeetrilised. See suudab uurida mitut tüüpi meediat, kuid selle loomulik vastusemodaalsus on tekst.
| Võimekus | Tugi |
|---|---|
| Tekstisisend | Jah |
| Pildisisend | Jah |
| Videosisend | Jah |
| Faili- ja dokumendisisend | Jah |
| Helisisend | Dokumenteeritud tugi puudub |
| Tekstiväljund | Jah |
| Piltide, video või heli genereerimine | Dokumenteeritud natiivne tugi puudub |
See erinevus on mudeli valimisel oluline. GLM-4.6V suudab visuaalset materjali kirjeldada, võrrelda, tõlgendada ja selle üle arutleda, kuid see ei ole pildi-, video-, kõne- ega muusikamudel. See võib osaleda põimitud töövoos, kus tööriist tagastab visuaalset teavet, kuid mudel ise loob endiselt teksti, mitte uut pilti, videot või helifaili.
Visuaali ja dokumentide mõistmine
Mudel sobib kuvatõmmiste, diagrammide, dokumentide, videokaadrite ja muu visuaalse tõendusmaterjali tõlgendamiseks. Dokumenteeritud võimekuste põhjal võib seda kasutada näiteks pikast dokumendist teabe eraldamiseks, diagrammi selgitamiseks, ekraanisalvestise ülevaatamiseks, visuaalse elemendi leidmiseks või kasutajaliidese olekute võrdlemiseks. Mudelikaart toob samas välja piirangud loendustäpsuses ja konkreetsete isikute tuvastamises, mistõttu tuleks visuaalse analüüsi tulemusi kontrollida, kui täpsed loendused või isiku tuvastamisega seotud hinnangud on olulised.
Visuaalsed agendid, otsing ja maandamine
GLM-4.6V toetab natiivset multimodaalset funktsioonikutset. See võimaldab tööriistu kasutaval rakendusel edastada koos tavalise tekstiga visuaalseid sisendeid ja kutsuda arutlusprotsessi ajal välja funktsioone. Esitatud dokumentatsioon loetleb ka veebotsingu toe ning kirjeldab visuaalse veebiotsingu ja maandamise kasutusjuhtumeid.
Maandamine tähendab vastuse sidumist visuaalse materjali konkreetse piirkonna, objekti või asukohaga. Agendipõhises töövoos võib see aidata mudelil enne tegevuse või tööriistakutse valimist arutleda selle üle, mis veebilehel või kuvatõmmisel kuvatakse. Mudeli roll jääb analüütiliseks: see tagastab teksti ja tööriistakutseid, mitte ei loo otse visuaalset töötlust ega muud mittetekstilist artefakti.
Arutlemine, kodeerimine ja tööriistade kasutamine
GLM-4.6V toetab hübriidset mõtlemisrežiimi. See annab rakendustele võimaluse kasutada mudelit ülesannetes, mis nõuavad mitme visuaalse ja tekstilise tõendi põhjal kaalutletud arutlemist. Esitatud toimetuslik hinnang annab selle arutlusvõimele 8 punkti 10-st, kuid tegemist on selle kirje jaoks tehtud hinnanguga, mitte Z.ai avaldatud skoori ega standardiseeritud võrdlustesti tulemusega.
Mudel on asjakohane ka visuaalsetes tarkvaraarenduse töövoogudes. Dokumenteeritud kasutusjuhtumite hulka kuuluvad kasutajaliidese esiotsa jäljendamine ja kuvatõmmisest koodi loomine, mille puhul mudel uurib kasutajaliidese pilti ja aitab nähtavat struktuuri koodis taastada. Samuti võib see toetada visuaalse töötlemise töövooge ja multimodaalseid agente, mis peavad enne tegevuse valimist lehte uurima. Toimetuslik kodeerimishinnang on 8 punkti 10-st; seda tuleks käsitleda praktilise suunisena, mitte teenusepakkuja kinnitatud kodeerimise võrdlustestina.
Natiivne funktsioonikutse on üks mudeli olulisemaid eristavaid omadusi. Funktsioonid võimaldavad rakendusel teha kättesaadavaks selliseid toiminguid nagu otsing, andmete hankimine, sirvimine või valdkonnapõhised tegevused. GLM-4.6V saab neid tööriistu kasutada visuaalsete sisendite töötlemise ajal, mis on kasulik siis, kui järgmine tegevus sõltub pildil, dokumendis või veebilehel kuvatavast. API vastuste puhul toetatakse voogedastust.
JSON-režiimi ei tohiks eeldada. Esitatud API märkmetes öeldakse, et Z.ai dokumenteerib tekstimudelite jaoks vastusevormingus JSON-režiimi, samal ajal kui selle mudeli kirjes märgitakse JSON-režiim toetamata funktsiooniks. Struktureeritud andmeid vajavad rakendused peaksid seetõttu tekstivastuseid valideerima või kasutama rakenduse tasandil andmete eraldamise strateegiat, mitte käsitlema natiivset JSON-režiimi kättesaadavana.
Kontekst, juurutamine ja peenhäälestus
131 072 tokeni suurune kontekst ja 131 072 tokeni suurune maksimaalne väljund on visuaalsete töökoormuste puhul eriti olulised, sest päring võib sisaldada nii juhiseid kui ka mahukat visuaalset või eraldatud sisu. Pikk kontekst ei taga siiski, et iga detail õigesti tõlgendatakse. Mudelikaart toob välja teadaolevad probleemid liigse mõtlemise või kordamise, puhtalt tekstipõhiste küsimustele vastamise ja loendustäpsusega. Täpsuse olulisuse korral tuleks pikad sisendid siiski osadeks jagada, üle kontrollida või kokku võtta.
GLM-4.6V on saadaval Z.ai API kaudu ning allalaaditavate kaaludena Hugging Face'is ja ModelScope'is. Esitatud uuringus on mudeli litsentsina märgitud MIT-litsents, mis on oluline organisatsioonidele, kes hindavad kohaliku juurutamise ja muutmisõiguste võimalusi. Ise majutamine nõuab 106B parameetriga mudeli jaoks sobivat taristut; uuring kinnitab kohaliku juurutamise tuge, kuid ei täpsusta riistvaranõudeid ega järelduskiirust.
Ametlik GLM-V hoidla dokumenteerib standardseid LLaMA-Factory peenhäälestusprotseduure. See viitab toetatud võimalusele mudelit kohandada, kuigi esitatud uuring ei paku garanteeritud treeningretsepti, andmestiku suurust, riistvaranõudeid ega kvaliteedi paranemist. Peenhäälestust tuleks seetõttu käsitleda saadaoleva töövoona, mitte konkreetse tulemuse lubadusena.
API hinnastus
Z.ai hinnakirjas on GLM-4.6V API kasutamise hinnaks 0,30 dollarit miljoni sisendtokeni ja 0,90 dollarit miljoni väljundtokeni kohta. Vahemällu salvestatud sisendi hinnaks on eraldi märgitud 0,05 dollarit miljoni tokeni kohta. Need on kasutuspõhised hinnad, mitte korduva tellimuse kuutasu, ning esitatud teave ei sisalda mudelile eraldi kuupaketti.
| Kasutuse tüüp | Hind |
|---|---|
| Sisendtokenid | 0,30 dollarit 1 miljoni tokeni kohta |
| Vahemällu salvestatud sisendtokenid | 0,05 dollarit 1 miljoni tokeni kohta |
| Väljundtokenid | 0,90 dollarit 1 miljoni tokeni kohta |
Selline hinnastruktuur muudab korduva kontekstiga töövood atraktiivsemaks, kui vahemällu salvestamine rakendub, eriti rakendustes, mis saadavad korduvalt samu süsteemijuhiseid, dokumente või lähtematerjali. Tegelikud kulud sõltuvad edastatava visuaalse ja tekstilise sisu mahust, genereeritud vastuse pikkusest ning sellest, kas konkreetsele päringule rakendub vahemällu salvestatud sisendi hind.
Peamised tugevused ja piirangud
Millistes valdkondades on GLM-4.6V kõige tugevam
- Pikk multimodaalne kontekst: 128K-klassi kontekstiaken sobib mahukate dokumentide, videote, kuvatõmmiste ning teksti ja visuaali kombineerivate töövoogude jaoks.
- Lai visuaalsete sisendite tugi: see toetab pilte, videot, faile ja teksti, mitte ainult pildi- ja tekstipõhiseid viipasid.
- Natiivne multimodaalne tööriistade kasutamine: funktsioonikutsed saab ühendada visuaalsete sisenditega, võimaldades agentidel enne tegutsemist olukorda uurida.
- Avatud kaaludega juurutamine: allalaaditavad kaalud pakuvad alternatiivi kogu töökoormuse saatmisele majutatud API-sse.
- Visuaalsed arendustöövood: kuvatõmmisest koodi loomine, kasutajaliidese esiotsa jäljendamine, visuaalne otsing ja maandamine on selle puhul konkreetselt olulised kasutusjuhtumid.
- Madalad loetletud API-hinnad: reklaamitud sisend- ja väljundtokenite hinnad võivad suure mudeli kohta olla atraktiivsed, eriti juhul, kui vahemällu salvestamine vähendab korduva sisendi kulusid.
Millistes valdkondades sobib see vähem
- See ei ole meediageneraator: mudel loob teksti ega genereeri natiivselt pilte, videot, heli, kõnet ega muusikat.
- See ei ole optimeeritud väikese latentsuse jaoks: toimetuslik kiirusehinnang on 4 punkti 10-st, mis peegeldab suure 106B mudeli kasutamise praktilist kompromissi. See ei ole teenusepakkuja avaldatud võrdlustesti tulemus.
- Võimalik ebatõhus arutlemine: mudelikaart kirjeldab liigset mõtlemist või kordamist, mis võib mõne viiba puhul vastuse pikkust suurendada või tõhusust vähendada.
- Visuaalse täpsuse probleemid: dokumenteeritud piirangud puudutavad loendamist ja konkreetsete isikute tuvastamist.
- Puhas tekst ei pruugi olla selle parim kasutusvaldkond: esitatud märkmetes tuuakse välja nõrkused puhtalt tekstipõhistele küsimustele vastamisel, mistõttu võib väiksem tekstile spetsialiseerunud mudel tavaliste keeleülesannete jaoks paremini sobida.
- Dokumenteeritud natiivne JSON-režiim puudub: struktureeritud väljundit vajavad rakendused peavad kasutama valideerimist või alternatiivset vastuste töötlemise lahendust.
Millal valida GLM-4.6V?
Vali GLM-4.6V siis, kui keskne probleem hõlmab visuaalset tõendusmaterjali, pikki sisendeid või tegevusi, mis sõltuvad ekraani või dokumendi tõlgendamisest. See sobib hästi dokumentide analüüsiks, videote ülevaatamiseks, diagrammide ja kuvatõmmiste tõlgendamiseks, visuaalseks otsinguks, maandatud agentide jaoks ning kasutajaliidese taastamiseks lähtepiltide põhjal. Seda tasub kaaluda ka siis, kui avatud kaalud ja kohalik juurutamine on olulised nõuded.
Selle tasakaal soosib võimekust kiiruse asemel. Toimetuslikus hinnangus saab mudel arutlemise ja kodeerimise eest 8 punkti 10-st, kulude eest 7 punkti 10-st ning kiiruse eest 4 punkti 10-st. Need on subjektiivsed hinnangud, mitte Z.ai ametlikud skoorid, kuid need võtavad kokku spetsifikatsioonide põhjal mudeli praktilise positsiooni: GLM-4.6V on veenvam nõudlike multimodaalsete tööülesannete kui lihtsate ja latentsustundlike päringute jaoks.
Teine valik võib olla sobivam siis, kui ülesanne on tavaline teksti genereerimine, iga millisekund on oluline või rakendus vajab natiivset pildi-, heli-, video- või kõneväljundit. Väiksem mudel võib olla tõhusam ka lühikeste viipade ja tavapärase klassifitseerimise puhul. Samas seerias on GLM-4.6V-Flash määratletud eraldi 9B mudelina, kuid esitatud uuringus ei ole piisavalt võrdlusandmeid jõudluse ega hinna kohta, et väita selle paremust mõne konkreetse töökoormuse puhul.
Kokkuvõte
GLM-4.6V-d tuleks kõige paremini mõista suure avatud kaaludega multimodaalse arutlusmudelina, mitte üldotstarbelise meedialoomesüsteemina. Selle määrav kombinatsioon koosneb 128K-klassi kontekstiaknast, pildi- ja videomõistmisest, natiivsest multimodaalsest funktsioonikutsest, visuaalsest maandamisest ja kohaliku juurutamise võimalusest. Peamised kompromissid on mudeli suurus, eeldatavalt aeglasem vastamine, piiratud sobivus puhtalt tekstipõhiseks tööks ning natiivse mittetekstilise genereerimise puudumine. Visuaalseid agente loovatele või mahukaid segameedia sisendeid analüüsivatele meeskondadele võivad need kompromissid olla põhjendatud; kergekaalulise teksti või reaalajas genereerimise puhul on tõenäoliselt tõhusam väiksem või spetsialiseeritum lahendus.