Mis on Granite Vision 3.3 2B?
Granite Vision 3.3 2B on IBM-i avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel võtab vastu nii teksti kui ka pilte ning koostab nende kahe sisendi põhjal tekstilise vastuse. Sel juhul võib pilt olla skannitud leht, finantsgraafik, tabel, tehniline skeem, vorm, infograafik või mõni muu äridokument.
Mudelil on ligikaudu 2 miljardit parameetrit, mis paigutab selle visuaal-keelemudelite turu suhteliselt kompaktsesse ossa. Väiksem suurus on oluline meeskondadele, kes soovivad mudelit käitada oma taristus või kasutada spetsiaalset juurutust, ilma et oleks vaja palju suurematele multimodaalsetele süsteemidele omaseid ressursse.
Granite Vision 3.3 2B on eelkõige dokumendimõistmise mudel. See ei ole pildi-, heli- ega videomudel ning see ei ole mõeldud tekstipõhise Granite’i mudeli asendamiseks tavaliste keeletöötlusülesannete puhul.
Peamine otstarve ja võimalused
Mudel on mõeldud sellise teabe eraldamiseks ja tõlgendamiseks, mille tähendus sõltub nii dokumendis olevatest sõnadest kui ka nende visuaalsest paigutusest. Näiteks saab kasutaja paluda mudelil tuvastada tabelis oleva väärtuse, selgitada graafikut, leida vormilt teavet või vastata skeemi kohta esitatud küsimusele.
Toetatud ja dokumenteeritud kasutusjuhtumid hõlmavad järgmist:
- Visuaalne küsimustele vastamine piltide ja dokumentide põhjal
- Dokumentide põhjal küsimustele vastamine
- OCR-põhine analüüs ja teksti eraldamine
- Graafikute, diagrammide ja tabelite tõlgendamine
- Teabe eraldamine keerukatest paigutustest
- Skeemide ja infograafikute mõistmine
- Eksperimentaalne pildi segmenteerimine
- Eksperimentaalne doctags-märgendite genereerimine
- Kuni kaheksal leheküljel olevate dokumentide põhjal küsimustele vastamine
Mudel võtab vastu ingliskeelseid juhiseid ning PNG- või JPEG-pilte. Selle väljund on tekst. Dokumenteeritud võimalused toetavad seega näiteks visuaalsetest dokumentidest struktureeritud faktide eraldamist, kuid ei kinnita natiivset struktureeritud väljundi jõustamist, funktsioonikutseid ega piltide või muu meedia otsest genereerimist.
Arhitektuur ja konteksti piirangud
Granite Vision 3.3 2B kasutab SigLIP2 visioonikodeerijat, kahekihilist mitmekihilist pertseptronit visuaal-keele ühenduslülina ning Granite’i keelemudelit, mis põhineb mudelil Granite 3.1 2B Instruct. Lihtsustatult muudab visioonikodeerija pildi sisu esitusteks, mida keelemudel saab vastuse genereerimisel kasutada.
IBM kirjeldab mudelit kui LLaVA multimodaalsete arhitektuuride perekonnale tuginevat mudelit. See kasutab mitmekihilisi visioonifunktsioone ja tihedamat pildirasterdust, mis on mõeldud üksikasjaliku dokumendisisu paremaks käsitlemiseks. See lahendus on eriti asjakohane siis, kui oluline teave on väike, leheküljel hajutatud või esitatud graafikus või tabelis, mitte ühe tekstiplokina.
Dokumenteeritud konteksti piirang on 131 072 tokenit. Aluseks oleva keelekomponendi kohta öeldakse samuti, et see toetab 128K suurust kontekstiakent. Olemasolev teave ei täpsusta eraldi maksimaalset väljundtokenite arvu, mistõttu ei tohiks rakendused eeldada kindlat genereerimispiiri peale selle, mille seab valitud käituskeskkond või juurutus.
IBM dokumenteerib kuni kaheksa lehekülge hõlmavate mitmeleheküljeliste dokumentide põhjal küsimustele vastamise. See lehekülgede arv on mudelipõhine dokumenteeritud võimalus, mitte üldine garantii, et iga juurutus töötleb kaheksat lehekülge mis tahes pildisuuruse, vormingu või mälukonfiguratsiooni korral. Piltide eeltöötlus, eraldusvõime ja teenindusraamistik võivad mõjutada tegelikku jõudlust.
Avaldatud jõudlus ja ohutus
IBM teatab varasemate Granite Visioni versioonidega võrreldes parematest tulemustest mitmes dokumendikeskses hindamises. Avaldatud tulemused hõlmavad skoori 0,91 andmekogumis DocVQA, 0,80 andmekogumis TextVQA, 0,68 andmekogumis InfoVQA ja 0,79 andmekogumis OCRBench. Need on teenusepakkuja avaldatud võrdlustulemused, mitte sõltumatu toimetuslik hinnang, ning võrdlusnäitajate põhjal ei tohiks teha järeldusi konkreetse dokumendikogumi garanteeritud tulemuste kohta.
Võrdlustestide valik aitab mõista mudeli positsioneerimist. DocVQA, TextVQA, InfoVQA ja OCRBench mõõdavad visuaalsete dokumentide kohta küsimustele vastamise ning piltidel oleva teksti tuvastamise või tõlgendamise eri aspekte. Need on dokumendist teabe eraldamise seisukohast asjakohasemad kui üldine visuaalse vestluse skoor.
IBM teatab ka varasemate versioonidega võrreldes parematest ohutuse ja joondamise tulemustest hindamistes RTVLM ja VLGuard. Nagu teisedki generatiivsed mudelid, võib Granite Vision 3.3 2B siiski anda ebatäpseid, kallutatud või soovimatuid väljundeid. Finants-, õigus-, meditsiini- või tegevusdokumentidest eraldatud väärtused tuleks enne automatiseeritud otsuses kasutamist või autoriteetse teabena salvestamist võrrelda lähtepildiga.
Juurutamine, litsents ja hinnastamine
Granite Vision 3.3 2B on Apache 2.0 avatud kaaludega mudel, mis on saadaval IBM Granite’i Hugging Face’i organisatsiooni kaudu. Selle kanooniline mudelitunnus on ibm-granite/granite-vision-3.3-2b. Mudelit saab Transformersiga lokaalselt käitada ning seda saab juurutada ka ühilduvate järeldusraamistikega, näiteks vLLM-iga, sõltuvalt raamistiku toest ja kasutatavast riistvarast.
IBM pakub mudeli kohandamiseks erikohaste ülesannete jaoks peenhäälestuse märkmikku. Peenhäälestus võib olla kasulik juhul, kui dokumenditöövoos kasutatakse kindla paigutusega vormi, valdkonnaspetsiifilist terminoloogiat või kitsalt määratletud eraldamiseesmärki. Esitatud teave ei täpsusta riistvaranõudeid, treeningukulusid ega garanteeritud peenhäälestuse tulemusi.
IBM-i dokumentatsioon loetleb mudeli watsonx.ai juurutuskeskkondades saadaolevana. Esitatud allikatest ei leitud kontrollitud mudelipõhist avalikku sisend- ega väljundtokenite hinda. Majutatud kasutust kirjeldatakse juurutuspõhise tunnipõhise arvelduse kaudu, mitte selgelt avaldatud tokenihinnana. Tegelik kulu sõltub seega valitud IBM-i keskkonnast, juurutuse konfiguratsioonist, käitusajast ja taristust. Lokaalne juurutus väldib majutatud teenuse tokenipõhist hinda, kuid infrastruktuuri-, hooldus- ja käituskulud jäävad kasutaja kanda.
Tugevused ja kompromissid
Granite Vision 3.3 2B peamine tugevus on spetsialiseeritus. Dokumendimõistmisele keskenduv mudel võib olla mõistlik valik siis, kui ülesanne hõlmab tabeleid, graafikuid, vorme, skeeme või skannitud lehekülgi, mitte avatud vestlust piltide üle. Selle suhteliselt väike parameetrite arv võib muuta lokaalse või spetsiaalse juurutuse praktilisemaks kui palju suurema visuaal-keelemudeli kasutamine.
Apache 2.0 litsents ja avatud kaaludega levitamine annavad organisatsioonidele rohkem juurutusvabadust kui ainult majutatud mudel. Meeskonnad saavad mudelit oma keskkonnas hinnata, integreerida selle dokumenditöövoogu või kohandada spetsiaalse ülesande jaoks. IBM-i ettevõtetele suunatud ökosüsteem pakub watsonx.ai kaudu täiendavat võimalust organisatsioonidele, kes eelistavad hallatud juurutust.
Piiranguid on siiski olulisel määral. Mudel tagastab ainult teksti ega genereeri pilte, heli ega videot. Olemasolev teave ei kinnita sisseehitatud tööriistade kasutamist, funktsioonikutseid, veebiotsingut, voogedastust, vahemällu salvestamist, partiiliidese kasutamist ega spetsiaalset JSON-režiimi. Arendajad saavad luua ümbritseva rakendusloogika, kuid neid rakenduse funktsioone ei tohiks segi ajada mudeli natiivsete võimalustega.
Eksperimentaalsed segmenteerimise ja doctags-funktsioonid võivad nõuda hoolikat juhiste koostamist, pildi ettevalmistamist ja järeltöötlust. Ka dokumendimõistmise mudel võib teha usutavaid eraldamisvigu, eriti siis, kui pildi eraldusvõime on madal, tekst väga väike, paigutus ebatavaline või vastus sõltub visuaalselt raskesti loetavast teabest.
Arutlus-, programmeerimis- ja kiirusomadused
Granite Vision 3.3 2B-d ei ole kirjeldatud spetsiaalse arutlusmudelina. Selle arutlusvõimet on kõige parem mõista ülesandekeskse visuaalse tõlgendusena: mudel suudab ühendada juhise visuaalsete tõenditega ja koostada nende kohta vastuse, kuid esitatud teave ei kinnita täiustatud arutlusrežiime ega spetsiaalset arutluseelarvet.
Programmeerimine ei ole selle mudeli peamine kasutusjuhtum. Mudel võib juhiste põhjal koostada lühikesi tekste või koodilaadseid vastuseid, kuid olemasolev teave ei kinnita spetsiaalset programmeerimistreeningut ega programmeerimisagendi funktsioone. Tavaliste programmeerimisülesannete puhul on tõenäoliselt sobivam tekstikeskne koodimudel.
Toimetusliku hinnanguna viitab mudeli kompaktne suurus võrreldes suuremate visuaal-keelesüsteemidega soodsale kiiruse ja kulu suhtele, eriti lokaalse või spetsiaalse järelduse puhul. See on praktiline kompromiss, mitte teenusepakkuja avaldatud universaalne kiirusväide: tegelik läbilaskevõime sõltub riistvarast, pildi eraldusvõimest, kvantimisest, partiitöötlusest, konteksti kasutusest ja teenindustarkvarast. Väiksem mudel võib olla atraktiivne siis, kui olulisemad on dokumentide töötlemise läbilaskevõime ja juurutuskulu, mitte maksimaalne üldotstarbeline visuaalne võimekus.
Parimad kasutusjuhtumid
Granite Vision 3.3 2B sobib hästi näiteks järgmiste töövoogude jaoks:
- Reakirjete, summade, siltide või kuupäevade eraldamine äridokumentidest
- Graafikute, diagrammide ja tabelite kohta küsimustele vastamine
- Skeemide ja infograafikute tekstikirjelduste loomine
- Ettevõtte sisemistel dokumentidel põhineva assistendi loomine
- Visuaalse otsingu-täiendatud genereerimise lisamine ettevõtte otsingusüsteemi
- Vormide või korduva paigutusega dokumentide töötlemine kontrollitud taristus
- Multimodaalsete dokumenditöövoogude prototüüpimine avatud kaaludega mudeli abil
Tootmises kasutatava teabe eraldamise korral tuleks mudel tavaliselt ühendada valideerimisega. Kasulik töövoog võib säilitada lähtepildi, salvestada mudeli vastuse, rakendada väljataseme kontrolle ja suunata ebakindlad tulemused inimese ülevaatuseks. See on eriti oluline siis, kui eraldatud teave mõjutab makseid, nõuetele vastavust, õigustatust või kliendiandmeid.
Millal seda mudelit valida?
Valige Granite Vision 3.3 2B siis, kui keskne probleem on visuaalsete dokumentide mõistmine ning väärtustate avatud kaaludega Apache 2.0 mudelit, kompaktset juurutust ja IBM-i suunitlusega ettevõtteintegratsiooni. See on eriti atraktiivne juhul, kui mudeli lokaalne või kontrollitud keskkonnas käitamine on olulisem kui suurima saadaoleva multimodaalse mudeli kasutamine.
Kaaluge muud võimalust siis, kui töökoormus on peamiselt tekstipõhine, nõuab täiustatud programmeerimisabi, sõltub kontrollitud tööriista- või funktsioonikutsetest, vajab pildi- või heligeneratsiooni või eeldab järjepidevalt tugevat jõudlust üldistes visuaalse arutluse ülesannetes väljaspool dokumendianalüüsi. IBM-i uuem Granite Vision 4.0 3B Vision on mudelikaardil märgitud uuema versioonina, mistõttu peaksid uut hindamist alustavad meeskonnad seda võrdlema Granite Vision 3.3 2B-ga, mitte eeldama, et vanem mudel on vaikimisi parim valik.
Üldjoontes tuleks Granite Vision 3.3 2B-d vaadelda kui fokuseeritud visuaalse dokumendi komponenti, mitte universaalset multimodaalset assistenti. Selle väärtus seisneb dokumendikesksete võimaluste, suhteliselt kompaktse avatud kaaludega juurutuse ja ettevõtete teabe-eraldamise stsenaariumide toe ühendamises. Piirangud ilmnevad kõige selgemalt üldotstarbelises arutluses, natiivsetes rakendustööriistades ning teksti mittekuuluva meedia genereerimises.