Mis on Granite Vision 3.2 2B?
Granite Vision 3.2 2B on IBM-i avatud kaaludega nägemis-keelemudel. See võtab vastu pildi koos ingliskeelse juhisega ja genereerib tekstilise vastuse. Praktikas võimaldab see rakendusel esitada küsimusi skannitud dokumendi, tabeli, diagrammi, infograafiku või muu pildi kohta, selle asemel et töödelda ainult teksti.
Mudel on spetsialiseerunud visuaalsete dokumentide mõistmisele. Tüüpilised ülesanded hõlmavad tabelist väärtuse leidmist, diagrammi selgitamist, dokumendipildilt teksti eraldamist, diagrammi kohta küsimusele vastamist või visuaalse teabe tekstiliseks vastuseks teisendamist. See ei ole pildi-, heli- ega videogenereerimise mudel: selle väljund on tekst.
IBM avaldas Granite Vision 3.2 2B 26. veebruaril 2025 Apache 2.0 litsentsi alusel. Kaalud saab litsentsitingimuste kohaselt alla laadida ning kasutada enda hallatavates või kohaliku järeldamise keskkondades. IBM-i praegustes Granite Visioni repositooriumides on nimetatud uuemaid väljalaskeid, sealhulgas Granite Vision 3.3, 4.0 ja 4.1, kuid need pakuvad endiselt juurdepääsu ka sellele vanemale mudelile.
Milline on selle koht IBM-i Granite'i mudelite valikus?
Granite Vision 3.2 2B on siin käsitletava Granite'i perekonna nägemis-keelemudel, mitte ainult teksti töötlev keelemudel. Selle keelekomponent põhineb mudelil Granite 3.1 2B Instruct, kuid lisatud nägemis-enkooder ja ühenduskomponent võimaldavad töödelda nii pilte kui ka juhiseid.
Tänapäeval tuleks seda mudelit käsitleda eelkõige kättesaadava pärandmudelina, mille kaalud on avatud. See ei muuda mudelit kasutuks: selle kompaktne arhitektuur ja paindlik litsents võivad muuta selle endiselt atraktiivseks kohalikuks juurutamiseks. Uue projekti hindamisel peaksid kasutajad siiski võrdlema ka IBM-i uuemaid Granite Visioni väljalaskeid, eriti juhul, kui neil on vaja võimalusi või täiustusi, mida versiooni 3.2 puhul ei ole dokumenteeritud.
Peamised võimalused ja võrdlustestide tulemused
Granite Vision 3.2 2B toetab pildist tekstiks genereerimist ja visuaalsetele küsimustele vastamist. Selle eesmärk ei ole lihtsalt tuvastada, kas pildil leidub mingi objekt, vaid tõlgendada äri- ja tehnilistes dokumentides esitatud teavet.
- Dokumentide küsimustele vastamine: dokumendipiltide sisu ja paigutust puudutavatele küsimustele vastamine.
- Diagrammide ja tabelite analüüs: väärtuste leidmine, kirjete võrdlemine ja visualiseeritud andmete kohta esitatud küsimustele vastamine.
- OCR-i abil eraldamine: piltidesse paigutatud teksti tuvastamine ja vastuses esitamine.
- Diagrammide ja infograafikute tõlgendamine: visuaalsete seoste ja siltide kasutamine küsimustele vastamiseks.
- Multimodaalsed otsingutöövood: kohaliku pildimõistmise komponendi pakkumine otsinguga täiendatud genereerimise süsteemidele.
IBM esitab hindamistulemused andmekogumitel DocVQA, ChartQA, TextVQA, AI2D, InfoVQA, OCRBench, LiveXiv, MMMU, VQAv2, RealWorldQA, VizWiz ja OK-VQA. Esitatud tulemuste hulka kuuluvad 0,89 DocVQA-s, 0,87 ChartQA-s, 0,78 TextVQA-s ja 0,77 OCRBenchis. Need on teenusepakkuja esitatud võrdlustesti tulemused, mitte garantii iga dokumendi või juurutuse puhul. Jõudlus võib varieeruda olenevalt pildi kvaliteedist, paigutusest, keelest, küsimuse sõnastusest ja järeldamise seadistusest.
Arhitektuur ja konteksti pikkus
Mudel koosneb kolmest peamisest komponendist. SigLIP-i nägemis-enkooder teisendab pildi sisu visuaalseteks esitusteks. GELU-aktiveeringuga kahekihiline mitmekihiline perceptron-ühenduskomponent teisendab need visuaalsed tunnused kujule, mida keelemudel saab kasutada. Keelekomponent on Granite 3.1 2B Instruct.
Granite Vision põhineb LLaVA arhitektuuril ning kasutab mitmekihilisi nägemistunnuseid koos tihedama AnyRes-võrgustikuga. Lihtsustatult on selle lahenduse eesmärk säilitada rohkem kasulikku detaili, kui pilt sisaldab väikest teksti või keerukat dokumendistruktuuri. See on eriti oluline diagrammide, tabelite ja selliste lehekülgede puhul, kus kogu pildi vähendamine võib muuta olulise sisu raskesti loetavaks.
Dokumenteeritud konteksti pikkus on Granite 3.1 2B Instructi keelekomponendi kaudu 128 000 tokenit. Esitatud uurimismaterjal ei määra selle konkreetse mudeli jaoks eraldi maksimaalset pildi eraldusvõimet, pilditokenite limiiti ega genereeritava väljundi maksimaalset pikkust. Seetõttu tuleks need väärtused üle kontrollida valitud järeldamisrakenduse dokumentatsioonist, mitte eeldada neid konteksti pikkuse põhjal.
Sisendid, väljundid ja toetatud funktsioonid
| Võimalus | Granite Vision 3.2 2B |
|---|---|
| Tekstisisend | Jah; dokumenteeritud on ingliskeelsed juhised |
| Pildisisend | Jah |
| Helisisend | Dokumenteeritud tugi puudub |
| Videosisend | Dokumenteeritud tugi puudub |
| Tekstiväljund | Jah |
| Pildi-, heli- või videoväljund | Ei; mudel genereerib teksti |
| Algupärane veebiotsing | Dokumenteerimata |
| Tööriista- või funktsioonikutsed | Selle mudeli puhul dokumenteerimata |
Dokumenteeritud tööriistakasutuse puudumise tõttu ei tohiks rakendus käsitleda mudelit sisseehitatud sirvimis-, otsingu- või väliste toimingute võimalustega agendina. Arendajad võivad paigutada selle suuremasse töövoogu, kuid orkestreerimine, otsing, valideerimine ja välised tööriistad tuleb rakendada eraldi.
Juurutamine, kiirus ja maksumus
IBM dokumenteerib juurutamist Hugging Face Transformersi kaudu koos AutoProcessor ja AutoModelForVision2Seq. Muude dokumenteeritud või seotud võimaluste hulka kuuluvad vLLM, SGLang, Docker Model Runner, llama.cpp-ga ühilduvad kvantiseeritud variandid ja IBM-i GGUF-i tööriistad. IBM pakub BF16-kaalusid ning GGUF-i tööriistad dokumenteerivad variante Q4_K_M, Q5_K_M, Q6_K ja Q8_0.
Kuna mudelil on ligikaudu kaks miljardit keelemudeli parameetrit ja seda saab kvantiseerida, on Granite Vision 3.2 2B mõeldud võrreldes suuremate multimodaalsete mudelitega väiksemate ressurssidega kohalikuks järeldamiseks. See on praktiline kompromiss, mitte avaldatud universaalne kiirusegarantii: tegelik latentsus sõltub kvantiseerimisest, riistvarast, pildi suurusest, paketttöötlusest ja teenindusraamistikust.
Selle avatud kaaludega väljalaske jaoks ei ole esitatud mudelipõhist majutatud tokeni hinda. Seetõttu ei kajasta mudeli otsest maksumust IBM-i API hinnakiri olemasolevas uurimismaterjalis. Kohalikul või enda taristul käitamisel tuleb arvestada riistvara-, salvestus-, majutus- ja kasutuskuludega. IBM ei dokumenteeri spetsiaalselt Granite Vision 3.2 2B jaoks teenusepakkuja hallatavat pakett-API-t ega majutatud hinnataset.
Tugevused ja kompromissid
Kõige selgem tugevus on spetsialiseerumine visuaalsetele dokumentidele. Esitatud DocVQA, ChartQA, TextVQA ja OCRBenchi tulemused toetavad IBM-i seisukohta, et mudel sobib dokumentide, diagrammide ja piltidesse paigutatud teksti töötlemiseks. Apache 2.0 litsents ja avatud kaalude levitamine annavad organisatsioonidele juurutamise üle rohkem kontrolli kui suletud majutatud lõpp-punkti kasutamine.
Mudeli kompaktne suurus võib vähendada taristunõudeid ja muuta katsetamise lihtsamaks. Enda hallatav mudel võib olla eelistatav ka siis, kui dokumente ei saa välisele teenusele saata. Kvantiseeritud variandid pakuvad täiendavaid võimalusi mälukasutuse vähendamiseks, kuigi kvantiseerimine võib mõjutada väljundi kvaliteeti ning esitatud uurimismaterjal ei määra selle mõju iga variandi puhul.
Peamine kompromiss puudutab ulatust ja töökindlust. Kahe miljardi parameetriga nägemis-keelemudel on väiksem kui paljud üldotstarbelised multimodaalsed süsteemid, mistõttu võib see olla vähem võimekas ebatavaliste piltide, keerukate arutlusülesannete või mitmeti tõlgendatavate dokumentide puhul. IBM ja esitatud mudeliteave nimetavad riskidena hallutsinatsioone, ebatäpset eraldamist, kallutatust ja ebaturvalisi vastuseid. Finants-, õigus-, meditsiini- või töökorralduslike dokumentidega seotud tulemusi peaks kontrollima inimene või eraldi valideerimisprotsess.
Praktiline võimekuse hinnang
Esitatud võrdlev hinnang annab Granite Vision 3.2 2B-le kohaliku võrdlusskaala alusel kiiruse hindeks 8 ja maksumuse hindeks 9, mis näitab häid tulemusi kiiruse ja kulude osas. Arutlusvõime hinne 3 ja programmeerimise hinne 2 on toimetuse hinnangud, mitte IBM-i spetsifikatsioonid ega võrdlustesti tulemused. Need kajastavad mudeli kavandatud rolli: visuaalsete dokumentide tõlgendamist, mitte täiustatud üldist arutlusvõimet või tarkvaraarendust.
Dokumenditöövoo puhul võib selline kompromiss olla mõistlik. Väiksem kohalik mudel võib töödelda tavapäraseid pildiküsimusi kiiresti ja odavalt, samas kui suurem multimodaalne mudel võib olla sobivam juhul, kui ülesanne nõuab keerukat mitmeastmelist arutlust, laialdasi üldteadmisi või suuremat töökindlust tundmatu visuaalse sisu puhul.
Millal valida Granite Vision 3.2 2B?
Vali Granite Vision 3.2 2B juhul, kui prioriteet on kohapeal juurutatav avatud kaaludega mudel ingliskeelseks pildist tekstiks töötluseks. See sobib eelkõige järgmisteks kasutusjuhtudeks:
- äritokumentidest teksti eraldamine OCR-i abil;
- küsimused tabelite, diagrammide, graafikute ja infograafikute kohta;
- dokumentidele küsimuste esitamine enda hallatavas keskkonnas;
- multimodaalne otsinguga täiendatud genereerimine;
- prototüübid, mis vajavad pildimõistmist ilma majutatud tokenipaketita; ning
- rakendused, kus väiksema mudeli kiirus ja taristukulu on olulisemad kui maksimaalne üldine võimekus.
Mõni teine võimalus võib olla sobivam, kui rakendus vajab piltide genereerimist, heli- või videotöötlust, algupärast veebiotsingut, dokumenteeritud tööriistakutseid, teenusepakkuja hallatavat API-t või avaldatud väljundtokenite limiiti. Samuti võib olla mõistlik hinnata uuemat Granite Visioni väljalaset, kui projektiga alustatakse algusest, sest IBM-i praegustes mudelirepositooriumides on versioon 3.2 märgitud vanemaks väljalaskeks.
Piirangud, millega enne juurutamist arvestada
Granite Vision 3.2 2B-d ei tohiks käsitleda deterministliku OCR-mootori ega järelevalveta tõeallikana. See genereerib keelt ning keele genereerimine võib anda usutavaid, kuid valesid vastuseid. Kehvad skannid, väike tekst, keerukad paigutused ja küsimused, mille vastus ei ole pildil selgelt nähtav, võivad suurendada vigade riski.
Mudeli täpset teadmiste lõppkuupäeva ei ole avaldatud. Samuti ei tohiks eeldada, et see teab päevakajalisi sündmusi või hangib teavet veebist. Olemasolevad spetsifikatsioonid ei dokumenteeri selle konkreetse mudeli puhul voogedastust, vahemällu salvestamist, JSON-režiimi, struktureeritud väljundit ega algupärast tööriistakasutust. Masinloetavat eraldamist vajavad rakendused peaksid lisama enda valideerimis- ja parsinguetapi, mitte eeldama garanteeritult struktureeritud vastuseid.
Kokkuvõttes on Granite Vision 3.2 2B kõige atraktiivsem kompaktse, kohapeal juurutatava dokumentide mõistmise komponendina. Selle väärtus tuleneb pildisisendi, kasulike dokumentidele keskenduvate võrdlustestide tulemuste, avatud litsentsi ja suhteliselt väikese juurutusjalajälje kombinatsioonist – mitte sellest, et tegemist oleks universaalse multimodaalse assistendiga.