Mis on Granite Vision 3.3 2B Embedding?
Granite Vision 3.3 2B Embedding on IBMi Granite'i mudeliperekonna avatud kaaludega multimodaalne embedding-mudel. Selle konkreetne ülesanne on leida tekstipäringu põhjal asjakohaseid visuaalseid dokumente või dokumendilehti. See ei ole mõeldud vastuste kirjutamiseks, vestluste pidamiseks, piltide loomiseks ega üldotstarbelise assistendina töötamiseks.
Mudel on loodud selliste lehekülgede jaoks nagu aruanded, esitlusslaidid, juhendid, arved, skannitud dokumendid, diagrammid, tabelid ja infograafikud. Nendes dokumentides peitub tähendus sageli nii sõnades kui ka visuaalses paigutuses. Tabeli ridade ja veergude seosed, diagrammi legendi asukoht või slaidi struktuur võivad olla otsingu jaoks olulised isegi siis, kui algne tekst on kättesaadav.
IBM levitab mudelit avatud kaaludega mudelina Apache 2.0 litsentsi alusel. Mudeli ametlik repositoorium on Hugging Face'is ibm-granite/granite-vision-3.3-2b-embedding. See põhineb mudelil Granite Vision 3.3 2B ja paikneb Granite Visioni perekonnas spetsialiseeritud rollis: see on otsingu jaoks mõeldud embedding'u ekstraktor, mitte mudeli proosat genereeriv versioon.
Kuidas selle mitme vektoriga otsing töötab
Paljud embedding-süsteemid tihendavad kogu dokumendi või päringu üheks vektoriks. Granite Vision 3.3 2B Embedding genereerib pildi või lehe kohta selle asemel vektorikogumi. Seda kirjeldatakse sageli kui ColBERTi- või ColPali-laadset hilise interaktsiooniga arhitektuuri.
Mudel teisendab oma peidetud esitused 128-mõõtmelisteks dokumendi- ja päringu-embedding'uteks. Ühe lehe kohta saab genereerida kuni 729 embedding-vektorit. Iga vektor võib esindada erinevat tokenitaseme või visuaalset piirkonda, võimaldades päringul sobituda lehe konkreetsete osadega, selle asemel et tugineda ainult ühele üldisele kokkuvõttele.
Otsingu ajal võrdleb süsteem päringu- ja lehevektoreid MaxSim-põhise skoorimismeetodi abil. Lihtsustatult otsib süsteem tugevaid vasteid päringu üksikute esituste ja kõige asjakohasemate leheesituste vahel ning ühendab need vasted dokumendiskooriks. Nii võib süsteem säilitada segateksti ja piltidega lehtede kohta detailsemat teavet kui ühe koondatud embedding'u korral.
Mudelikaardi kohaselt on embedding'id L2-normaliseeritud. Rakendused peavad siiski ise üles ehitama kogu ümbritseva otsingusüsteemi: piltide eeltöötluse, registri salvestuse, kandidaatide otsingu, hilise interaktsiooniga skoorimise ning vajaduse korral ümberjärjestamise või vastuste genereerimise etapi. Embedding-mudel pakub esitused, kuid ei tagasta iseseisvalt loomulikus keeles vastust.
Toetatud sisendid ja väljundid
Dokumenteeritud sisendid on ingliskeelsed tekstijuhised või -päringud ning PNG- või JPEG-pildid. Tüüpilises töövoos kodeeritakse kasutaja päring tekstina ja iga dokumendileht renderdatakse või edastatakse pildina. Seejärel saab saadud esitusi multimodaalses otsinguindeksis võrrelda.
| Võimekus | Dokumenteeritud käitumine |
|---|---|
| Tekstisisend | Ingliskeelsed tekstipäringud või -juhised |
| Pildisisend | PNG- ja JPEG-dokumendipildid |
| Embedding-väljund | Normaliseeritud tokenitaseme mitme vektoriga esitused |
| Embedding'u mõõtmed | Dokumendi- ja päringuesituste projektsioonid 128 mõõtmega |
| Vektorid pildi kohta | Kuni 729 embedding-vektorit |
| Teksti genereerimine | Ei ole mudeli kavandatud väljundina toetatud |
| Piltide, heli ja video genereerimine | Ei ole toetatud |
Mudelil on märgitud keelekonteksti konfiguratsioon 131,072 tokenit. See on aluseks oleva keelekomponendi konfiguratsiooniväärtus, mitte lubadus, et iga dokumendipilt või otsingu töövoog suudab nii suurt tokenite arvu tõhusalt kasutada. Esitatud uuring ei määratle eraldi maksimaalset genereeritud väljundi piirangut, sest mudel on embedding'u ekstraktor, mitte teksti genereerimise mudel.
Kus mudel on kõige kasulikum
Granite Vision 3.3 2B Embedding sobib hästi olukordadesse, kus dokumendi asjakohasus sõltub nii visuaalsest struktuurist kui ka loetavast tekstist. Sobivad kasutusjuhud on järgmised:
- Ettevõtete aruannete, esitluste, juhendite, arvete ja skannitud lehtede otsing.
- Diagrammide, tabelite, skeemide või infograafikute leidmine loomulikus keeles esitatud küsimuste põhjal.
- Multimodaalsete retrieval-augmented generation'i süsteemide loomine visuaalsete dokumendikogumite jaoks.
- Visuaalse otsingu ühendamine tavapärase tekstipõhise otsingumootoriga.
- ColBERTi-laadsete indeksite loomine, mis säilitavad lehe kohta mitu sobivat piirkonda.
Näiteks võib kvartalitulu käsitlev päring leida lehe, sest sellel on asjakohane diagramm ja legend, isegi kui lehelt eraldatud tekst ei väljenda seda seost lihtsa lausena. Samamoodi võib hooldusprotseduuri puudutav päring saada kasu nii juhiste kui ka nendega seotud skeemi sobitamisest.
Tehniline profiil ja avaldatud hindamistulemused
Aluseks olev arhitektuur kasutab SigLIP-põhist visioonikomponenti koos Granite'i keelemudeliga. Konfiguratsioon kirjeldab pilditöötluseks 384-pikslist paigupaiga suurust ja muutuvaid pildirastereid. Need üksikasjad toetavad mudeli keskendumist visuaalsetele dokumentidele, kuigi tegelikud ressursinõuded sõltuvad teeninduskeskkonnast ja piltide ettevalmistamise viisist.
IBMi mudelikaart esitab avaldatud võrdlustes keskmised NDCG@5 skoorid 57,7 ViDoRe V2 puhul ja 83 REAL-MM-RAGi puhul. Need on teenusepakkuja esitatud võrdlustulemused, mitte konkreetse dokumendikogu garantiid. Otsingu kvaliteet võib varieeruda sõltuvalt dokumenditüüpidest, pildi eraldusvõimest, päringu sõnastusest, indekseerimisvalikutest ja mudeli ümber kasutatavast skoorimisprotsessist.
Piirangud ja juurutamisega seotud kaalutlused
Kõige olulisem piirang on see, et tegemist ei ole vastuste genereerimise mudeliga. See ei selgita otse, miks leht leiti, ega koosta kasutajale lõplikku vastust. Täielik rakendus vajab tavaliselt pärast otsingut otsinguindeksit ja eraldi genereerimis- või ekstraheerimiskomponenti.
Mitme vektoriga väljund seab tavapärase ühe vektoriga embedding'uga võrreldes ka suuremad taristunõuded. Indeks peab salvestama lehe kohta mitu vektorit ja toetama hilise interaktsiooniga skoorimist. Kuna ühe pildi kohta võib olla kuni 729 vektorit, tuleks salvestusmahtu, mälukasutust, indekseerimisaega ja päringu ajal tehtavaid arvutusi hinnata kavandatava dokumendikogu suuruse põhjal.
Repositoorium nõuab Transformer'i kohandatud koodi ning esitatud uuring kirjeldab kohalikku juurutamist funktsiooniekstraheerimise töövoogude kaudu, mitte esimese osapoole hallatava järeldusteenuse kaudu. Selle täpse mudeli kohta ei ole kinnitatud majutatud API hinda ega tokenipõhist hinnastust. Seetõttu sõltub kogukulu valitud riistvarast, pilditöötluse läbilaskevõimest, salvestusest ja teenindustaristust. Toimetuse kiirusskoor 7 ja kuluskoor 9 kirjeldavad kohapeal juurutatava avatud kaaludega mudeli hinnangut; need ei ole IBMi avaldatud võrdlustulemused ega hinnad.
Esitatud dokumentatsiooni kohaselt toetab mudel ingliskeelseid tekstipäringuid. Uuring ei kinnita laiemat keelevalikut, helisisendit, videosisendit, funktsioonikutseid, tööriistade kasutamist, voogedastust, peenhäälestust, vahemällu salvestamist ega struktureeritud JSON-väljundit. Neid võimekusi ei tohiks multimodaalse sisendi toe põhjal eeldada.
Millal seda mudelit valida
Valige Granite Vision 3.3 2B Embedding siis, kui visuaalsete dokumentide otsing on keskne nõue ja suudate indekseerimise ning skoorimise taristut ise hallata. See sobib eriti hästi juhul, kui ainult OCR-il põhinev otsing jätab tähelepanuta tabelid, lehepaigutuse, diagrammid, skeemid või muud visuaalsed signaalid ning eelistate hallatavale otsinguteenusele avatud kaaludega Apache 2.0 mudelit.
See võib olla ühe vektoriga tekstilise embedding-mudeliga võrreldes parem valik siis, kui lehe detailid on olulised. Samuti võib see täiendada tavapärast tekstipõhist otsingumootorit: tekstipõhine otsing võib pakkuda odavat laia kandidaatide valikut, samal ajal kui see mudel saab visuaalselt sobitada lehti, mille puhul on paigutus ja graafika tähtsad.
Mõni teine lahendus võib olla sobivam siis, kui rakendus vajab majutatud tokenipõhist API-t, loomulikus keeles vastuste otsest genereerimist, vestluslikku käitumist, programmeerimisabi, funktsioonikutseid või väga lihtsat ja vähese salvestusvajadusega vektorotsingut. Tavapärast tekstilist embedding-mudelit võib olla lihtsam juurutada siis, kui dokumendid on juba puhtalt tekstina esitatud ja visuaalne paigutus lisab otsingule vähe väärtust. Samuti sobib üldine visioon-keelemudel paremini juhul, kui süsteem peab lehte analüüsima ja koostama kirjaliku vastuse, mitte ainult asjakohaseid lehti järjestama.
Koht Granite Visioni kataloogis
See mudel kuulub Granite Visioni tootesarja, kuid seda tuleks hinnata spetsiaalse otsingukomponendina, mitte kõigi teiste Granite Visioni kasutusjuhtude asendajana. Selle seos mudeliga Granite Vision 3.3 2B on otsene: embedding-mudel põhineb sellel mudelil ja lisab otsingule suunatud esituste jaoks projektsioonikihi. Esitatud kataloogiteave näitab ka seda, et Granite Visioni perekonda kuuluvad uuemad mudelid, kuid see konkreetne embedding-mudel on endiselt eraldi tuvastatav ja allalaaditav.
Selline positsioneerimine teeb mudeli kompromissi selgeks. See keskendab oma väljundivormingu ja arhitektuuri detailsele visuaalsele otsingule, leppides vastutasuks mitme vektoriga indekseerimise keerukama haldamisega, et otsing saaks arvestada lehe piirkondade ja dokumendi struktuuriga.