Mida Granite-Docling-258M teeb
Granite-Docling-258M on avatud kaaludega nägemise ja keele mudel, mis on loodud spetsiaalselt dokumentide teisendamiseks ja mõistmiseks. Selle peamine sisend on dokumendilehe pilt, millele võib lisanduda tekstijuhis. Peamine väljund on tekstipõhine DocTags ehk struktureeritud märgistus, mis kirjeldab nii lehel olevat sisu kui ka selle paigutust.
See fookus eristab mudelit üldotstarbelisest vestlusrobotist või laia kasutusalaga pildi- ja küsimuste-vastuste süsteemist. Granite-Docling-258M on mõeldud PDF-ide, skannide ja muude lehepiltide teisendamiseks andmeteks, mida tarkvara saab indekseerida, otsida, töödelda või edastada järgmistesse dokumenditöötluse etappidesse.
Mudeli pakub IBM Research ning seda levitatakse IBM Granite’i Hugging Face’i organisatsiooni kaudu identifikaatoriga ibm-granite/granite-docling-258M. Esitatud uuringu kohaselt on tegemist praeguse avatud kaaludega mudeliga, mis avaldati 17. septembril 2025 Apache 2.0 litsentsi alusel.
DocTags ja dokumendi struktuur
Tavapärane OCR eraldab sageli sõnad, kuid kaotab lehe elementide vahelised olulised seosed. Granite-Docling-258M on loodud nii, et säilitada suurem osa sellest struktuurist. Selle DocTags-esitus võib kirjeldada lugemisjärjekorda, pealkirju, tabeleid, diagramme, matemaatilisi valemeid, koodi, pealdisi, joonealuseid märkusi ja muid dokumendielemente.
DocTags on tekstipõhine, mitte visuaalne väljund, kuid see on mõeldud dokumenditöötlustarkvara sisendiks. Doclingi ökosüsteemi kaudu saab tulemuse laadida objekti DoclingDocument või eksportida sellistesse vormingutesse nagu Markdown, HTML ja JSON. See muudab mudeli kasulikuks juhul, kui sihtkohaks on otsitav korpus, struktureeritud andmestik, otsingupõhise generatsiooni süsteem või ettevõtte dokumenditöötluse konveier.
Näiteks saab pealkirja, kahe lõigu, tabeli ja valemiga lehe teisendada väljundiks, kus need elemendid on eraldi registreeritud, selle asemel et esitada neid ühe eristamata tekstiplokina. Tulemuse täpne kvaliteet sõltub lähtepildist, dokumendi keerukusest, käituskeskkonnast ja järeldamise seadistusest.
Arhitektuur ja tehniline profiil
Granite-Docling-258M sisaldab ligikaudu 258 miljonit parameetrit. See põhineb IDEFICS3 arhitektuuril ning ühendab SigLIP2 Base Patch16 512 nägemis-enkoodri, pixel-shuffle-projektori ja Granite 165M keelemudeli. IBM-i andmetel treeniti mudelit nanoVLM-i raamistikuga, kasutades avalikult kättesaadavaid andmeid ja ettevõttesiseselt loodud sünteetilisi andmeid.
Treeningandmed sisaldasid näiteid dokumendilehtede, koodi, matemaatiliste valemite ja diagrammide kohta. IBM lisas juhendatud peenhäälestuse andmetesse ka DocTagsi, et parandada mudeli tundlikkust sihtvormingu suhtes ja aidata sellel jõuda struktureeritud dokumendiväljunditeni.
Mudeli dokumenteeritud kontekstiaken on 8192 tokenit. IBM-i dokumentatsioon ja näited kirjeldavad ka seadistusi, milles genereeritakse kuni 8192 uut tokenit. Need on tokenipiirangud, mitte garantii selle kohta, kui palju kasutatavat teksti konkreetne leht annab; praktilist käitumist mõjutavad endiselt pildi eraldusvõime, viiba sisu ja käituskeskkonna seadistus.
Toetatud sisendid ja väljundid
| Kategooria | Granite-Docling-258M |
|---|---|
| Tekstisisend | Toetatud, üldjuhul dokumenditöötlusega kaasneva juhise või viibana |
| Pildisisend | Toetatud; dokumendilehtede pildid on peamine visuaalne sisend |
| Helisisend | Ei ole toetatud |
| Videosisend | Ei ole toetatud |
| Tekstiväljund | Toetatud; peamine väljund on tekstipõhine DocTags |
| Natiivne pildi-, heli- või videoväljund | Ei ole toetatud |
| Struktureeritud dokumendiväljund | DocTagsi saab teisendada Markdowni, HTML-i, JSON-i ja DoclingDocumenti esituseks |
Struktureeritud dokumendi eksporti ei tohiks segi ajada üldotstarbelise majutatud JSON-režiimiga. Esitatud uuring ei kinnita eraldi teenusepakkuja hallatavat JSON-režiimi funktsiooni. Selle asemel luuakse struktureeritud vormingud mudeli DocTagsi töövoo ja seda ümbritsevate Doclingi tööriistade abil.
Peamised dokumenditöötluse võimalused
- OCR ja teksti eraldamine: Teisendab dokumendipiltidel oleva teksti masinloetavaks väljundiks.
- Paigutuse säilitamine: Esitab lehe sisu ülesehituse ja lugemisjärjekorra, mitte ainult lameda tekstivoona eraldatud teksti.
- Tabelid: Tuvastab tabeleid ja suudab esitada need struktureeritud järgnevates vormingutes.
- Valemid: Töötleb tekstisiseseid ja eraldi plokina esitatud matemaatilisi valemeid.
- Kood: Tuvastab dokumentides esitatud koodi ja teisendab selle tekstiks.
- Diagrammid: Suudab diagrammide sisu teisendada struktureeritud tabeliteks.
- Dokumendielemendid: Tuvastab selliseid elemente nagu pealkirjad, pealdised, joonealused märkused ja muud lehe osad.
- Piiratud struktuuriküsimused: Toetab mõningast dokumendielementide tuvastamist ja küsimustele vastamist dokumendi struktuuri kohta.
IBM kirjeldab ka eksperimentaalset tuge jaapani-, araabia- ja hiinakeelsetele dokumentidele. Esitatud uuring hoiatab, et neid mitmekeelseid töövooge ei ole valideeritud samal tasemel kui mudeli peamisi inglise ja ladina kirja kasutusjuhtumeid.
Kuidas mudelit juurutada
Soovitatav integreerimisviis on avatud lähtekoodiga Doclingi teek, mis saab Granite-Docling-258M-i alla laadida ja seda nägemise ning keele põhises dokumenditeisenduse konveieris kasutada. Otsejäreldamine on võimalik ka Transformersiga ühilduvate klasside, vLLM-i, MLX-il põhinevate tööriistade ja ühilduvate kohalike käituskeskkondade kaudu.
Kuna mudel on avatud kaaludega, mitte eeskätt IBM-i pakutav tokenipõhine teenus, lasub juurutamise eest vastutus kasutajal või valitud järeldamisteenuse pakkujal. Riistvara, pildi eraldusvõime, pakktöötlus, kvantimine ja käituskeskkonna teostus võivad oluliselt mõjutada mälukasutust, latentsust ja läbilaskevõimet. Mudeli suhteliselt väike parameetrite arv muudab kohaliku järeldamise praktilisemaks kui palju suuremate nägemise ja keele süsteemide juurutamise, kuid esitatud uuring ei kehtesta universaalset riistvaranõuet ega garanteeritud latentsust.
Kiiruse, hinna ja võimekuse kompromissid
Granite-Docling-258M-i peamine kompromiss on spetsialiseerumine. See on väike ja loodud kitsaks, kuid väärtuslikuks ülesandeks: dokumentide teisendamiseks struktureeritud esitusteks. Seetõttu võib see olla tõhus valik kohalikuks partiitöötluseks, privaatseteks dokumenditöövoogudeks ja rakendusteks, mille puhul ei soovita lehti majutatud API-le saata.
Seda ei tohiks automaatselt võrrelda suurte üldotstarbeliste multimodaalsete mudelitega laiapõhise arutlemise või avatud visuaalse mõistmise osas. Suuremad mudelid võivad olla sobivamad siis, kui rakendus vajab ulatuslikku vestluslikku arutlemist, keerukat visuaalset tõlgendamist väljaspool dokumente või üldteadmisi. Granite-Docling-258M seab selle asemel esikohale dokumendi struktuuri, kompaktse mahu ja Doclingiga integreerimise.
Esitatud toimetuslik hinnang annab selle kiirusele 9 punkti 10-st ja kulutõhususele kavandatud kasutusjuhus 9 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte IBM-i avaldatud võrdlustulemused. Sama hinnang annab arutlusvõimele 4 punkti 10-st ja kodeerimisele 3 punkti 10-st, mis peegeldab mudeli spetsialiseerumist dokumentide teisendamisele, mitte suutmatust dokumentidesse lisatud valemeid või koodi tuvastada.
Hinnakujundus ja API kättesaadavus
IBM ei avalda esitatud uuringus selle kontrollpunkti kohta ametlikku majutatud API sisend- ega väljundhinna tokeni kohta. Granite-Docling-258M on avatud kaaludega mudel, mis on mõeldud kohalikuks juurutamiseks või kasutamiseks ühilduva kolmanda osapoole järeldamistaristu kaudu.
Seetõttu ei ole tsiteerimiseks kontrollitud IBM-i kuutellimuse ega tokenipõhist hinda. Tegelik kulu sõltub kasutaja valitud riistvarast, pilveeksemplarist, järeldamisteenusest, töötlemismahust ja teeninduse seadistusest. See võib olla eelis prognoositava mahuga partiitöötluse puhul, kuid tähendab ka seda, et kasutaja peab juurutamist ise haldama või valima eraldi teenusepakkuja.
Piirangud ja toetamata funktsioonid
Granite-Docling-258M ei ole üldotstarbeline vestlusmudel. IBM soovitab üldiste pildi- ja tekstiülesannete jaoks laiema kasutusalaga Granite Visioni mudeleid. Mudel võib anda ebatäpseid, kallutatud või puudulikke tulemusi, eriti juhul, kui lehed on visuaalselt keerukad, sisaldavad ebatavalist paigutust või jäävad väljapoole selle kõige paremini toetatud dokumendimustreid.
Selle eksperimentaalset mitmekeelset tuge tuleks enne tootmiskasutust hoolikalt hinnata. Jaapani, araabia ja hiina keele töötlemist kirjeldatakse eksperimentaalsena, samal ajal kui mudel on optimeeritud peamiselt inglise ja ladina kirja töövoogude jaoks.
Mudel ei paku natiivset pildi-, heli- ega videoloomet. Esitatud uuring ei kinnita ka tööriistade kasutamist, funktsioonikutseid, voogedastust, partiipõhiseid API-sid, veebiotsingut ega heli- ja videotöötlust. Seetõttu tuleks see valida dokumenditeisenduseks, mitte agentseteks töövoogudeks, mis vajavad sisseehitatud väliseid tööriistu.
Millal valida Granite-Docling-258M
Vali Granite-Docling-258M siis, kui peamine vajadus on teisendada dokumendilehed struktureeritud andmeteks, säilitades samal ajal paigutusteabe. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- OCR-konveierid, kus lugemisjärjekord ja lehe struktuur on olulised;
- tabelite, diagrammide ja valemite eraldamine;
- dokumentide indekseerimiseks ja otsinguks ettevalmistamine;
- otsingupõhise generatsiooni eeltöötlus;
- dokumentide teisendamine Markdowni, HTML-i, JSON-i või DoclingDocumenti objektideks;
- kohalik või privaatne dokumenditöötlus;
- partiitöövood, millele tuleb kasuks kompaktne avatud kaaludega mudel.
Vali teist tüüpi mudel siis, kui peamine ülesanne on avatud vestlus, laiaulatuslik pildimõistmine, heli- või videoanalüüs, piltide genereerimine või keerukas tööriistu kasutav automatiseerimine. Suurem üldotstarbeline multimodaalne mudel võib pakkuda tugevamat arutlusvõimet väljaspool dokumendivaldkonda, samal ajal kui majutatud OCR-teenus võib olla lihtsam valik juhul, kui hallatud taristu ja prognoositavad API-toimingud on kohalikust kontrollist olulisemad.
Üldhinnang
Granite-Docling-258M-i on kõige õigem käsitleda keskendunud dokumenditeisenduse komponendina, mitte väikese üldotstarbelise assistendina. Selle väärtus tuleneb lehepiltide mõistmise ühendamisest DocTagsi väljundi ja Doclingiga ühilduvate struktureeritud ekspordivormingutega. Meeskondade jaoks, kes vajavad paigutust arvestavat OCR-i ja suudavad hallata kohalikku või ühilduvat järeldamistaristut, on selle kompaktne suurus ja Apache 2.0 litsents olulised praktilised eelised.
Sama olulised on ka piirangud: kontrollitud IBM-i majutatud tokenihind puudub, mudel ei ole mõeldud laiaulatuslikuks vestluseks, sellel puudub natiivne mittetekstiline väljund ning mõne keele tugi on ainult eksperimentaalne. Mudel on tugev kandidaat siis, kui eesmärk on struktureeritud dokumenditeisendus, kuid sobib halvasti juhul, kui dokumenditöötlus on vaid üks osa laiemast multimodaalsest või agentsest rakendusest.