Mis on Granite Vision 4.1 4B?
Granite Vision 4.1 4B on IBM Researchi välja töötatud avatud kaaludega nägemis-keelemudel. Nägemis-keelemudel võtab vastu nii visuaalset teavet kui ka tekstijuhiseid ning genereerib seejärel tekstipõhise vastuse. See mudel on spetsialiseerunud äridokumentide mõistmisele ja nende visuaalse sisu teisendamisele struktureeritud, masinloetavaks teabeks.
Mudel kuulub IBMi Granite'i mudelite kollektsiooni ning seda esitletakse suhteliselt väikese alternatiivina palju suurematele üldotstarbelistele nägemis-keelemudelitele. Selle ligikaudu 4 miljardit parameetrit jagunevad 3,4 miljardi parameetriga Granite'i keelemudeli ning 0,6 miljardi parameetriga nägemis kodeerija ja projektorite kihi vahel. Selline ülesehitus seab esikohale dokumentidest teabe eraldamise, säilitades samal ajal võimaluse mudelit kohapeal või kontrollitud taristus kasutada.
Granite Vision 4.1 4B avaldati 29. aprillil 2026. Ametlik allalaaditava mudeli identifikaator on ibm-granite/granite-vision-4.1-4b ning mudel on välja antud Apache 2.0 litsentsi alusel.
Milleks mudel on loodud?
Mudeli peamine eesmärk on teisendada visuaalsed dokumendid kasulikeks struktureeritud väljunditeks. Üleslaaditud lehte ei käsitleta üksnes kirjeldatava pildina, vaid mudelile saab anda juhise taastada graafikutes, tabelites, vormidel ja muudes paigutustes sisalduv teave.
Mudeli dokumentatsioonis kirjeldatud töövood hõlmavad järgmist:
- Tabelite eraldamine JSON-, HTML- või OTSL-vormingus
- Graafikute teisendamine CSV-andmeteks
- Graafiku sisu kokkuvõtte koostamine
- Graafiku taasloomiseks vajaliku Pythoni koodi genereerimine
- Semantiliste võtme-väärtus-paaride eraldamine etteantud skeemi alusel
- Dokumendipiltide tekstiline kirjeldamine
- Kokkuvõtete ja muude tekstipõhiste esituste loomine
Semantiline võtme-väärtus-paaride eraldamine on eriti kasulik vormide, arvete, avalduste ja äridokumentide puhul. Kasutaja saab esitada skeemi, mis sisaldab näiteks arve numbrit, tarnijat, kuupäeva ja kogusummat. Seejärel püüab mudel tagastada vastavad väärtused JSON-objektina isegi juhul, kui väljad paiknevad eri dokumentidel erinevates kohtades.
Milles Granite Vision 4.1 4B kõige tugevam on
Granite Vision 4.1 4B peamine eelis on spetsialiseerumine. Selle dokumenteeritud ülesanded vastavad hästi levinud dokumenditöötluse vajadustele, sealhulgas tabelistruktuuri taastamisele, graafikuandmete eraldamisele ja dokumendi sisu seostamisele etteantud väljadega.
Mudelikaardi kohaselt saavutas mudel VAREXi semantilise võtme-väärtus-paaride eraldamise võrdlustestis nullnäitega täpse vaste tulemuseks 94,2%. See on teenusepakkuja esitatud tulemus konkreetse hindamisseadistuse puhul, mitte garantii, et iga dokument annab täpse tulemuse. Tegelik täpsus võib varieeruda sõltuvalt pildikvaliteedist, paigutuse keerukusest, käsikirjast, keelest ja nõutud skeemist.
Mudel on ka multimodaalse süsteemi kohta suhteliselt kompaktne. Selle suurus võib muuta kohapealse kasutuse praktilisemaks kui palju suurema nägemis-keelemudeli kasutamise, eriti juhul, kui ülesanne ei nõua laiaulatuslikke maailmateadmisi ega põhjalikku visuaalset arutlemist. IBM dokumenteerib integratsioonid ja ühilduvad käituskeskkonnad, sealhulgas Transformersi, vLLM-i, MLX VLM-i, Dockeril põhinevad keskkonnad ja Doclingu.
Arhitektuur ja toetatud sisendid
Nägemiskihis kasutatakse SigLIP2 nägemiskodeerijat, akendatud Q-Former-projektoreid ning mitut visuaalsete tunnuste süstimise punkti keelemudelisse. Pilte töödeldakse 384 × 384 pikslisteks paanideks, kusjuures visuaalsed tunnused tihendatakse enne nende Granite'i keelemudelisse edastamist.
Dokumenteeritud sisendvorming koosneb ingliskeelsetest juhistest ning PNG- või JPEG-piltidest. Mudel on peamiselt mõeldud ingliskeelsete dokumenditöövoogude jaoks. IBM märgib, et muudes keeltes kirjutatud dokumentide korral võib jõudlus väheneda, mistõttu tuleks mitmekeelset eraldamist testida, mitte eeldada.
Granite Vision 4.1 4B toetab pildi- ja tekstisisendit. Selle väljund on tekstipõhine, kuigi tekst võib esindada JSON-i, CSV-d, HTML-i, OTSL-i, Pythoni koodi, kokkuvõtteid või tavalisi kirjeldusi. Mudel ei genereeri otse pilte, heli ega videot.
Kontekst, väljund, arutlemine ja tööriistad
Esitatud IBMi dokumentatsioonis ei ole täpsustatud kontrollitud kontekstiakna pikkust, mistõttu ei saa öelda täpset maksimaalset sisendi suurust. Praktikas mõjutavad usaldusväärselt töödeldava teabe hulka pildi mõõtmed, paanideks jaotamise käitumine, käituskeskkonna mälumaht, viiba pikkus ja töödeldavate piltide arv.
Dokumenteeritud maksimaalne väljundi tokenite arv on 4096. Seda tuleks esitatud spetsifikatsiooniandmete põhjal käsitleda mudeli dokumenteeritud piiranguna, kuid tegelik väljund võib sõltuda ka käituskeskkonnast ja genereerimisseadetest.
See ei ole eelkõige keerukate mitmeastmeliste küsimuste lahendamiseks mõeldud arutlusmudel. Selle kasulik arutlemisvõime on ülesandespetsiifiline: see tõlgendab visuaalset paigutust, tuvastab asjakohase sisu ja seostab selle nõutud esituse või skeemiga. Toimetuslik võimekuse hinnang peab mudeli üldist arutlusvõimet tagasihoidlikuks ja kodeerimisvõimet mõnevõrra paremaks, kajastades selle suutlikkust genereerida graafikute taasloomiseks Pythoni koodi. Need hinnangud on toimetuslikud, mitte IBMi avaldatud võrdlustestide tulemused.
Granite Vision 4.1 4B jaoks ei ole dokumenteeritud eraldi teenusepakkuja taseme tööriista- ega funktsioonikutsete võimekust. Mudel võib genereerida koodi ja struktureeritud teksti, kuid seda ei tohiks segi ajada tööriistade käivitamise või toimingute tegemisega. Rakendused, mis vajavad valideerimist, andmebaasi kirjutamist, OCR-i järeltöötlust või töövoo automatiseerimist, peavad need ümbritsevad komponendid ise lisama.
Kasutuselevõtt ja hinnakujundus
Granite Vision 4.1 4B on allalaaditav avatud kaaludega tarkvara, mitte kindlaksmääratud IBM-i hostitud märgipõhise hinnaga mudel. Esitatud uuringud ei tuvasta selle konkreetse mudeli ametlikku hostitud API-hinda, teenusepakkuja hallatavat pakettöötlusteenust ega standardset tellimishinda.
Organisatsioonid saavad mudelit käitada kohapeal või kontrollitud taristus, kasutades toetatud tarkvara, näiteks Hugging Face Transformersi, vLLM-i, MLX VLM-i, Dockeriga ühilduvaid käituskeskkondi või Doclingu integratsioone. Apache 2.0 litsents lubab litsentsitingimustest lähtudes laialdast kasutust, kuid käitamise kulud hõlmavad endiselt arvutusressursse, salvestusruumi, arendust ja hooldust.
Mudeli kompaktne suurus võib võrreldes suuremate multimodaalsete mudelitega parandada kiiruse ja kulu vahelist tasakaalu, kuid selle käitamine ei ole tasuta. Nägemiskodeerija, piltide paanideks jaotamine, mudeli kaalud ja genereerimisprotsess nõuavad kõik mälu ja arvutusvõimsust. Tegelik kiirus sõltub riistvarast, kvantimisest, pakktöötlusest, pildi eraldusvõimest ja valitud järelduskäitusest.
Olulised piirangud
Granite Vision 4.1 4B-d ei tohiks käsitleda universaalse visuaalse assistendina. Selle kõige tugevamad tõendid ja kavandatud kasutusjuhud puudutavad struktureeritud dokumentide töötlemist. IBM toob piirangutena välja vähese üldistatavuse väljaspool dokumendikeskseid ülesandeid, võimalikud hallutsinatsioonid ja nõrgema jõudluse muukeelsete dokumentide korral.
Eraldamisvead võivad hõlmata puuduvate väljade või valede väärtuste tagastamist, tabeliseoste rikkumist või usutavaid, kuid toetamata vastuseid. See on eriti oluline arvete, finantsdokumentide, nõuetele vastavuse dokumentide ja avalduste puhul. Tootmiskeskkonna töövoog peaks valideerima kohustuslikud väljad, kontrollima arvulisi kogusummasid, säilitama algse pildi ja suunama ebakindlad tulemused ülevaatamisele.
Esitatud uuringutes ei ole ka kontrollitud konteksti pikkuse väärtust. Suured mitmeleheküljelised dokumendid võivad vajada piltideks jagamist või lehekülgede kaupa töötlemist. Kasutajad peaksid testima, kuidas nende valitud käituskeskkond käsitleb mitut pilti, pikki juhiseid ja ebatavaliselt keerukaid paigutusi.
Millal valida Granite Vision 4.1 4B?
Vali Granite Vision 4.1 4B siis, kui peamine probleem on struktureeritud teabe eraldamine dokumendipiltidelt ning soovid avatud kaaludega mudelit, mida saab kasutada enda taristus. See sobib hästi järgmisteks ülesanneteks:
- Arvete ja kviitungite väljade eraldamine
- Tabelite teisendamine analüütika või dokumentide migreerimise jaoks
- Graafikute teisendamine CSV-ks või koodiks
- Vormide ja avalduste töötlemine
- Visuaalsete dokumentide otsing ja multimodaalne otsingupõhine genereerimine
- Dokumendiluure süsteemid, mis vajavad kontrollitud või enda hallatavat kasutuselevõttu
Suurem üldotstarbeline nägemis-keelemudel võib olla sobivam avatud pildiküsimuste, ulatusliku mitmekeelse töö, keeruka visuaalse arutlemise või dokumentide töötlemisest märksa kaugemale ulatuvate vestluste jaoks. Tavapärane OCR-i ja dokumendipaigutuse töövoog võib olla eelistatav juhul, kui vaja on väga prognoositavat tekstituvastust, selgeid usaldusväärsusskoore või küpset väljataseme valideerimist. Hostitud multimodaalne API võib olla lihtsam ka meeskondadele, kes ei soovi hallata mudelifailide, GPU-de, järeldusserverite ja uuendustega seotud tööd.
Üldhinnang
Granite Vision 4.1 4B-d on kõige parem käsitleda keskendunud dokumendieraldusmudelina, mitte nägemisvõimega üldise tarbijatele mõeldud vestlusrobotina. Selle struktureeritud väljundite, graafikute ja tabelite töövoogude, skeemipõhise eraldamise, avatud kaalude ning Apache 2.0 litsentsi kombinatsioon muudab selle kasulikuks organisatsioonidele, kes loovad kontrollitud dokumenditöötlussüsteeme.
Selle kompromiss on sama selge: mudeli kompaktne ja spetsialiseerunud ülesehitus ei kõrvalda testimise, valideerimise ega sobiva taristu vajadust. Ostjad ja arendajad peaksid valima selle dokumendiluure ülesannete jaoks, kus kohapealne kontroll ja eraldamise tõhusus on olulisemad kui lai visuaalne vestlus, mitmekeelne tugi või piiramatu arutlusvõime.