Mis on Granite Vision 3.1 2B Preview?
Granite Vision 3.1 2B Preview on IBM Granite'i avatud kaaludega visiooni-keelemudel. Visiooni-keelemudel ühendab pilditöötluse keelemudeliga: see suudab visuaalset sisu analüüsida ja seejärel tekstina vastata. Selle mudeli puhul hõlmab visuaalne sisu muu hulgas dokumendilehti, graafikuid, tabeleid, jooniseid, diagramme, infograafikuid ja teksti sisaldavaid pilte.
Mudel võtab vastu pildi- ja tekstisisendeid ning genereerib tekstivastuseid. Näiteks võib kasutaja esitada graafiku ja küsida, millise kategooria väärtus on suurim, saata lehekülje skanni ja paluda selle tekstiks ümber kirjutada või näidata diagrammi ning küsida selle seoste kohta selgitust. IBM positsioneerib seda eelkõige dokumendimõistmise mudelina, mitte üldotstarbelise pildigeneratsiooni- või multimodaalse vestlustootena.
IBM-i Granite Visioni repositooriumis kirjeldatakse seda väljalaset praegu vanema pärandmudelina ning laiemas mudeliperes on saadaval uuemad Granite Visioni mudelid. Seda tuleb uue projekti jaoks mudelit valides arvesse võtta: Granite Vision 3.1 2B Preview on endiselt kasulik juhul, kui olulised on selle avatud kaalud, suhteliselt väike maht või olemasolev ühilduvus, kuid see ei pruugi olla IBM-i uusim multimodaalne valik.
Arhitektuur, parameetrid ja konteksti pikkus
Keelekomponent põhineb mudelil Granite 3.1 2B Instruct. IBM ühendab selle SigLIP-i visioonikodeerijaga, mis teisendab pildi teabeks, mida keelemudel saab kasutada, ning kahekihilise mitmekihilise pertseptron-ühendajaga, mis seob visuaalse ja keelelise komponendi. Terviklikul integreeritud mudelil on ligikaudu 3 miljardit parameetrit. Nimetus „2B” viitab aluseks olevale Granite'i keelemudelile, mitte kombineeritud visiooni-keelesüsteemi parameetrite koguarvule.
Mudel järgib LLaVA-NeXT-i laadset arhitektuuri. See kasutab visioonikodeerija mitut peidetud olekut ning tihedamat pildiruudustiku lähenemist, et tulla toime erinevate pildi külgede suhetega ja säilitada visuaalsetes dokumentides detailid. Aluseks oleva keelemudeli konteksti pikkus on 128 000 tokenit. See on märkimisväärne konteksti maht pika teksti ja visuaalse dokumendi viipade kombineerimiseks, kuigi tegelik kasutatav sisu hulk sõltub pildi eraldusvõimest, pilditöötlusest, viiba suurusest ja olemasolevast riistvarast.
IBM-i esitatud dokumentatsioon ei täpsusta selle mudeli jaoks eraldi maksimaalset väljundtokenite piiri. Seetõttu ei tohiks eeldada, et 128 000 tokeni suurune kontekstiväärtus tähistab väljundi lubatud mahtu; see kirjeldab mudeli konteksti mahutavust, mitte kontrollitud maksimaalset vastuse pikkust.
Milles on mudel kõige tugevam?
Granite Vision 3.1 2B Preview sobib kõige selgemalt töövoogudesse, kus oluline teave on visuaalne, kuid soovitud tulemus on tekst. Mudeli dokumenteeritud sihtülesannete hulka kuuluvad optiline märgituvastus, visuaalne küsimustele vastamine, dokumendi sisu eraldamine, pildi kirjeldamine, graafikute tõlgendamine ning tabelite, jooniste, diagrammide ja infograafikute analüüsimine.
Tüüpilised kasutusviisid on järgmised:
- Teksti ümberkirjutamine piltidelt või skannitud dokumentidest.
- Graafikute ja jooniste väärtusi, suundumusi või seoseid puudutavatele küsimustele vastamine.
- Raportitesse lisatud tabelitest teabe eraldamine.
- Diagrammide ja infograafikute struktuuri selgitamine.
- Dokumendilehe sisu kokkuvõtmine.
- Pildi kohta küsimustele vastamine juhul, kui vastus eeldab nii visuaalset analüüsi kui ka keelelist mõistmist.
IBM-i avaldatud hindamised hõlmavad dokumendi- ja visuaalse küsimustele vastamise teste, sealhulgas DocVQA, ChartQA, TextVQA, AI2D, InfoVQA, OCRBench ja LiveXiv. Esitatud uuringud näitavad mudeli tugevaid tulemusi mitmes dokumendikeskses ülesandes mudelite 1B–4B võrdlusvahemikus, eriti ChartQA, TextVQA, InfoVQA, OCRBenchi ja LiveXivi küsimustele vastamises. Need on teenusepakkuja esitatud hindamistulemused, mitte garantii, et iga tootmiskeskkonnas kasutatav dokument loetakse õigesti. Jõudlus võib märkimisväärselt erineda sõltuvalt skanni kvaliteedist, paigutuse keerukusest, käsikirjast, ebatavalistest fontidest, tihedatest tabelitest ja küsimuse sõnastusest.
Sisendid, väljundid ja põhjendamatud eeldused
Kontrollitud modaalsusprofiil on pildi- ja tekstisisend koos tekstiväljundiga. Mudel ei genereeri algupäraselt pilte, heli ega videot. Seetõttu tuleks seda käsitleda pildist tekstiks ja pildi ning teksti põhise arutlemise süsteemina, mitte generatiivse meediamudelina.
Olemasolevad uuringud ei kinnita algupärast tööriistade kutsumist, funktsioonikutsumist, voogedastust, vahemällu salvestamist, pakktöötlust ega eraldi JSON-režiimi. Rakendused võivad paluda mudelil vormindada vastus JSON-i või mõne muu skeemi järgi, kuid seda ei tohiks pidada samaväärseks teenusepakkuja jõustatud struktureeritud väljundiga. Kui eraldatud andmeid kasutab tarkvara, peab rakendus vastust valideerima ning vigase või puuduliku väljundiga toime tulema.
Granite Vision 3.1 2B Preview'd ei esitleta spetsiaalse kodeerimis- ega täiustatud arutlusmudelina. See suudab järgida tekstijuhiseid ja vastata piltidega seotud küsimustele, kuid selle peamine väärtus seisneb visuaalsete dokumentide tõlgendamises. IBM soovitab kasutada Granite'i keelemudeleid siis, kui töökoormus nõuab ainult tekstitöötlust.
Juurutamine, litsents ja hinnastamine
Mudelit levitatakse IBM-i Hugging Face'i organisatsiooni kaudu Apache 2.0 litsentsi alusel. Kanooniline repositooriumi identifikaator on ibm-granite/granite-vision-3.1-2b-preview. Seda saab lokaalselt käitada koos Transformersi teegiga ning dokumentatsioon kirjeldab selle teenindamist ka selliste raamistike kaudu nagu vLLM ja SGLang. See muudab mudeli sobivaks organisatsioonidele, kes vajavad kontrolli andmekäitluse üle või soovivad hoida järelduste tegemise enda taristus.
Esitatud mudelikaardiga ei ole seotud kontrollitud IBM-i hostitud sisend- ega väljundtokenite hinda. Praktilises mõttes ei ole mudel olemasoleva dokumentatsiooni põhjal tavapärane päringupõhine API-toode. Isehostimise kulud sõltuvad valitud riistvarast, pildi eraldusvõimest, kvantimisest, partii suurusest, kasutusastmest ja teenindusraamistikust. Avatud kaaludega litsents võib muuta tarkvarale juurdepääsu kulud väikeseks, kuid see ei muuda järelduste tegemist tasuta tegevuseks: organisatsioonid peavad endiselt arvestama arvutusressursside, salvestusruumi, juurutamise, seire ja hooldusega.
Avaldatud hostitud hinna puudumine tähendab ka seda, et esitatud tõendite põhjal ei saa mudelit kommertslike API-mudelitega otseselt kulude poolest võrrelda. Väike avatud mudel võib olla atraktiivne juhul, kui suur päringumaht või privaatne juurutus õigustab taristu käitamist. Hostitud alternatiiv võib juhukasutuse korral olla lihtsam, sest see välistab riistvara- ja teenusehalduse kulud.
Piirangud ja riskid
Tegemist on peamiselt dokumendimõistmiseks mõeldud ingliskeelse mudeliga. See ei sobi kõige paremini mitmekeelseteks rakendusteks, ainult tekstiga töökoormusteks, pildigeneratsiooniks, heli- või videogenereerimiseks ega kasutusjuhtudeks, mis nõuavad garanteeritud faktilist eraldamist ilma kontrollita.
Nagu teised visioonikeelemudelid, võib ka see mudel teksti valesti lugeda, graafiku väärtusi segi ajada, visuaalseid detaile märkamata jätta või anda enesekindlana kõlava vastuse isegi siis, kui pilt seda ei toeta. Väikesed multimodaalsed mudelid võivad olla eriti tundlikud keeruliste paigutuste ja nõudliku visuaalse arutlemise suhtes. OCR-i vead võivad kanduda edasi hilisematesse arvutustesse või otsustesse. Tundlikes või suure mõjuga töövoogudes tuleks eraldatud väljad lähte dokumendiga üle kontrollida ning lisada inimkontroll või eraldi ohutuse ja verifitseerimise kiht. IBM-i materjalides mainitakse eraldi ohutuskomponendi näitena Granite Guardiani, kuid see ei kuulu Granite Vision 3.1 2B Preview enda koosseisu.
Mudelikaart ei esita kontrollitud maksimaalset väljundtokenite arvu, hostitud teenusetaseme lepingut ega ametlikku API-hinnastust. Samuti ei kinnita see tööriistade, struktureeritud väljundite ega garanteeritud skeemijärgse väljundi algupärast tuge. Need puudujäägid on tootmiskeskkonna planeerimisel olulised ning neid ei tohiks täita teiste IBM-i mudelite põhjal tehtud oletustega.
Millal valida Granite Vision 3.1 2B Preview?
Valige see mudel juhul, kui keskne nõue on visuaalsete dokumentide mõistmine ning soovite avatud kaalusid, Apache 2.0 litsentsi ja võimalust järelduste tegemist ise käitada. See on mõistlik kandidaat prototüüpide ja sisemiste süsteemide jaoks, mis vajavad OCR-i, graafikute või tabelite kohta küsimustele vastamist, diagrammide tõlgendamist või pildipõhist dokumentidest teabe eraldamist ilma hostitud multimodaalsele API-le tuginemata.
Selle kompaktne maht võib olla kasulik ka siis, kui juurutuse hind, lokaalne kontroll või läbilaskevõime on olulisemad kui võimalikult lai multimodaalne võimekus. Esitatud sisemine hindamine peab selle kiiruse ja kulutõhususe omadusi heaks, kuid need hinnangud on toimetuslikud hinnangud, mitte IBM-i avaldatud spetsifikatsioonid; tegelikud tulemused sõltuvad juurutuskeskkonnast.
Kasutage selle asemel ainult tekstile mõeldud Granite'i mudelit, kui sisend ei sisalda pilte. Uue projekti alustamisel kaaluge uuemat Granite Visioni väljalaset, kui mudelipere uusimad võimalused või tugi on tähtsamad kui ühilduvus selle pärandmudelina käsitletava eelversiooniga. Valige suurem või hostitud multimodaalne lahendus, kui töökoormus eeldab tugevamat keerukat arutlemist, laiemat keelekatvust, hallatud skaleerimist, selget tööriistatuge või dokumenteeritud struktureeritud väljundi lepingut. Need alternatiivid võivad maksta rohkem või pakkuda vähem kontrolli juurutuse üle, kuid vähendada valideerimise ja taristu ümber vajalikku arendustööd.
Praktilise hindamise kontrollnimekiri
Enne Granite Vision 3.1 2B Preview juurutamist testige seda tüüpiliste dokumentidega, mitte ainult võrdlustestide tulemuste põhjal. Kaasake halva kvaliteediga skanne, tihedad tabelid, mitme veeruga lehed, legendidega graafikud, väikeste siltidega diagrammid ja teie kasutajate kasutatavad keeled. Mõõtke nii vastuste täpsust kui ka väljade eraldamise täpsust, sest ladus kokkuvõte võib varjata vale numbrit.
Testige ka kogu teeninduslahendust, sealhulgas piltide eeltöötlust, viiba vormingut, kvantimist, paralleelsust ja vastuste valideerimist. Reguleeritud või oluliste tagajärgedega töövoogude puhul säilitage lähtepilt, salvestage mudeli vastus, kontrollige olulised väärtused üle ja suunake ebakindlad juhud inimkontrolli. Need kaitsemeetmed on eriti olulised, sest mudel tagastab usutavat teksti, kuid ei garanteeri, et selle tõlgendus on õige.