Falcon OCR

Mis on Falcon OCR?

Falcon OCR on Technology Innovation Institute’i (TII) välja töötatud 300 miljoni parameetriga visuaal-keelemudel. See on mõeldud optiliseks märgituvastuseks (OCR) ehk teksti ja struktureeritud sisu lugemiseks dokumendipiltidelt. Mudel on Hugging Face’i tiiuae/Falcon-OCR hoidla kaudu saadaval avatud kaaludega ning kaasasoleva mudelidokumentatsiooni kohaselt Apache-2.0 litsentsi alusel.

Erinevalt üldotstarbelisest vestlusmudelist keskendub Falcon OCR visuaalsete dokumentide teisendamisele kasutatavateks tekstiesitusteks. Sõltuvalt valitud režiimist võib pildist saada tavaline tekst, matemaatiliste valemite LaTeX või tabelite HTML. Mudeli dokumentatsioonis nimetatakse ka spetsiaalseid kategooriaid, näiteks allkirjad, joonealused märkused, loendielemendid, lehekülje päised, lehekülje jalused, jaotiste päised ja pealkirjad.

Seetõttu tasub Falcon OCR-i käsitleda pigem kompaktse dokumenditöötluskomponendi kui iseseisva assistendina. Selle saab rakendusse integreerida, lokaalselt käivitada või kasutada hoidlas dokumenteeritud juurutustööriistade kaudu.

Kuidas mudel dokumente töötleb

Falcon OCR kasutab varajase ühendamisega visuaal-keele arhitektuuri. Pildiplaastrid ja tekstimärgid läbivad juba esimesest kihist alates ühist Transformerit, selle asemel et neid töödelda täiesti eraldi nägemis- ja keelemudelikihtides ning alles hiljem ühendada. Praktikas võimaldab see mudelil siduda visuaalsed piirkonnad genereeritava tekstiesitusega.

Põhimudel on mõeldud dokumentide OCR-i jaoks, samas kui valikuline kaheetapiline paigutustöötlus võib enne tuvastamist lisada piirkondade leidmise. Kaasasolevas dokumentatsioonis nimetatakse selleks PP-DocLayoutV3. Paigutuse tuvastamine on kasulik siis, kui lehel on mitu loogilist ala, näiteks pealkiri, lõigud, tabel, valem ja lehekülje jaluse tekst. Selle asemel et käsitleda kogu lehte ühe eristamata pildina, saab töövoog piirkonnad tuvastada ning rakendada sobivat ekstraheerimisrežiimi.

Kättesaadavad hoidla materjalid kirjeldavad mitut juurutusviisi: Transformersil põhinev järeldamine, PyTorchi järeldusmootor, Apple Siliconi MLX-i tugi, vLLM-iga ühilduv server ja Dockeri juurutus. Transformers nõuab kohandatud koodi ning dokumentatsioon märgib, et FlexAttentioni kasutamisel on vaja PyTorch 2.5 või uuemat versiooni.

Toetatud sisendid ja väljundid

Falcon OCR võtab vastu dokumendipilte ja toodab tekstipõhiseid tulemusi. See ei genereeri pilte, heli ega videot. Selle multimodaalne võimekus seisneb seega visuaalses sisendis koos tekstilise väljundiga.

Siin on oluline väljundvorming. Lihttekst sobib otsitavate arhiivide, märkmete ja dokumentide indekseerimise jaoks. LaTeX on kasulikum siis, kui matemaatiline märgistus peab jääma muudetavaks või renderdatavaks. HTML-tabelid võivad ridu ja veerge säilitada tõhusamalt kui lihttekstina tehtud transkriptsioon, kuigi iga tabeliteisenduse täpsus sõltub endiselt pildikvaliteedist ja paigutuse keerukusest.

Milleks Falcon OCR sobib

Mudel sobib hästi dokumenditöövoogudesse, kus on vaja enamat kui lihtsalt märkide tuvastamist. Sobivate näidete hulka kuuluvad kviitungid, arved, teadusartiklid, vormid, skannitud aruanded ning matemaatilist märgistust või tabeleid sisaldavad lehed.

• Otsitavad dokumendiarhiivid: skannitud lehtede teisendamine indekseeritavaks ja otsitavaks tekstiks.
• Arvete ja kviitungite töötlemine: trükitud sisu ekstraheerimine finantsdokumentidest, et seda hiljem rakenduse tasandil parsida.
• Teadus- ja tehnikaartiklid: põhiteksti, valemite, pealkirjade, joonealuste märkuste ja tabelite taastamine lehekülje piltidelt.
• Struktureeritud tabelite ekstraheerimine: HTML-tabelite loomine järgnevaks puhastamiseks või rakenduse andmeteks teisendamiseks.
• Privaatsed või võrguühenduseta töövood: mudeli käitamine kontrollitud taristus, kui dokumente ei tohiks saata kolmanda osapoole OCR-teenusele.
• Servaseadmetele suunatud juurutused: mudeli suhteliselt kompaktse suuruse kasutamine olukorras, kus väiksem mudel on praktilisem kui suur üldotstarbeline visuaal-keelesüsteem.

Need on mudeli dokumenteeritud funktsioonidel põhinevad kasutussoovitused, mitte garantii, et iga dokumenditüüp ekstraheeritakse täiuslikult. Tootmissüsteemid peaksid olulised väljad valideerima, eriti siis, kui OCR-i tulemused jõuavad raamatupidamis-, vastavus- või muudesse suure mõjuga protsessidesse.

Täpsus ja praktilised piirangud

Mudelikaardi kohaselt saavutab mudel tulemuse 80,3% testis olmOCR-Bench ja 88,64 testi OmniDocBench puhul. Need on teenusepakkuja või mudelikaardi esitatud võrdlustulemused; neid ei tohiks käsitleda universaalsete täpsusgarantiidena, sest tulemusi mõjutavad võrdlustesti koostis, vorming, pildikvaliteet ja hindamismeetodid.

Samas dokumentatsioonis märgitakse, et mudel on nõrgem kehva kvaliteediga skannide ja väga väikese teksti puhul. See on oluline piirang kasutajatele, kes töötavad vanade koopiate, väikese eraldusvõimega arhiivide, tihendatud piltide või tiheda paigutusega lehtedega. Paigutust arvestav töövoog võib aidata piirkondi eraldada, kuid see ei suuda täielikult taastada teavet, mis lähtepildilt puudub või on loetamatu.

Falcon OCR-i ei positsioneerita ka üldotstarbelise arutlus- või kodeerimismudelina. Selle dokumenteeritud eesmärk on ekstraheerimine ja dokumentide parsimine. See võib pildilt teksti tagastada, kuid see ei muuda seda mudeliks, mis asendaks pikemaks arutlemiseks, tarkvaraarenduseks, avatud vestluseks või ulatuslikuks multimodaalseks analüüsiks mõeldud mudelit. Samuti puudub sellel dokumenteeritud natiivne tööriista- või funktsioonikutsete tugi.

Kontekst, kiirus ja kulu

Kaasasolevas mudelikirjes on konteksti pikkuseks märgitud 16 384 tokenit. See on dokumenteeritud kontekstinäitaja, kuid eraldi maksimaalset väljundtokenite piiri ei ole määratletud. Töövoo koostamisel tuleks seetõttu testida lehe suurust, viiba vormingut ja eeldatavat väljundi pikkust, mitte eeldada, et suur mitmeleheküljeline dokument mahub alati ühte päringusse.

Esitatud uuringus ei ole Falcon OCR-i ametlikku majutatud tokenipõhist hinda tuvastatud. Praktilise kulu määrab seega selle käitamiseks kasutatav taristu: kohalik riistvara, privaatserver, vLLM-i juurutus, Dockeri taristu või kolmanda osapoole majutusteenus. Apache-2.0 alusel levitatav avatud kaaludega mudel võib vähendada tarkvaralitsentside kulu, kuid see ei kaota arvutus-, salvestus-, arendus- ega kasutuskulusid.

Selle 300 miljoni parameetriga suurus on oluline kompromiss. Väiksem spetsialiseeritud mudel võib olla suurest üldotstarbelisest visuaal-keelemudelist kiirem ja odavam, eriti suure läbilaskevõimega OCR-i puhul. Vastutasuks on selle kasutusala kitsam ning see võib olla vähem võimekas keeruka visuaalse arutluse, mitmetähenduslike paigutuste või ülesannete puhul, mis nõuavad transkriptsioonist kaugemale ulatuvat põhjalikku tõlgendamist. Esitatud toimetuslik hinnang peab selle kiirust ja kulu soodsaks, kuid need hinnangud on hinnangud, mitte teenusepakkuja avaldatud võrdlustesti kategooriad.

Arutlus, kodeerimine ja tööriistade tugi

Falcon OCR-i tähtsus arutlusülesannetes on piiratud. See suudab dokumendipiirkondi piisavalt tõlgendada, et nende sisu liigitada või ekstraheerida, kuid uuringus ei kirjeldata seda arutlusele keskenduva mudelina. Selle peamine väärtus on visuaalse dokumendisisu täpne teisendamine struktureeritud tekstivormingutesse.

Kodeerimisvõimekus ei ole selle sihtfunktsioon. Mudel võib väljastada HTML-tabeleid ja LaTeX-i, mis on struktureeritud või märgendipõhised esitused, kuid seda ei tohiks segi ajada üldise koodigenereerimisega. Samuti ei ole dokumenteeritud sisseehitatud veebotsingut, funktsioonikutseid, toimingute täitmist ega väliste tööriistade kasutamise võimekust.

Arendajad saavad Falcon OCR-i siiski suuremasse töövoogu paigutada. Näiteks võib rakendus saata mudelile pildi, valideerida tagastatud HTML-i või teksti ning edastada tulemuse seejärel eraldi parserile, andmebaasi või äriprotsessi. Need ümbritsevad võimekused pärineksid rakendusest, mitte Falcon OCR-ist endast.

Millal valida Falcon OCR?

Vali Falcon OCR siis, kui keskne probleem on dokumentide piltidelt teabe ekstraheerimine ning väärtustad kohalikku kontrolli, avatud kaalusid ja suhteliselt kompaktset mudelit. See sobib eriti hästi, kui vajad üht või mitut järgmistest võimalustest:

• lokaalne või enda hallatav OCR majutatud kommertslõpp-punkti asemel;
• lihttekst, LaTeX-valemid või HTML-tabelid dokumendipiltidelt;
• integreerimine Pythoni, PyTorchi, Transformersi, MLX-i, vLLM-i või Dockeri põhise töövooga;
• väiksem mudel suure mahuga töötlemiseks või piiratud taristu jaoks;
• Apache-2.0 litsents ning võimalus mudeli kaalusid uurida või integreerida.

Teine lahendus võib olla sobivam, kui vajad viimistletud hallatavat API-t, garanteeritud teenusetasemel põhinevat kättesaadavust, laiaulatuslikke dokumendihalduse funktsioone või ulatuslikku tuge keerukale multimodaalsele arutlusele. Üldotstarbeline visuaal-keelemudel võib olla eelistatav ülesannetes, mis ühendavad OCR-i kokkuvõtete tegemise, visuaalsetele küsimustele vastamise, keeruka tõlgendamise või vestlusega. Tavapärane OCR-teenus võib olla parem valik siis, kui valmislahenduse skaleerimine, teenusepakkuja hallatav töö ja standardiseeritud ettevõttetaseme tugi on tähtsamad kui ise majutamine.

Kättesaadavus ja lõpphinnang

Falcon OCR on TII Falconi hoidla kaudu Hugging Face’is saadaval avatud kaaludega mudelina. Esitatud uuring määratleb selle praeguse avatud kaaludega väljalaskena ja paigutab Falcon Perceptioni mudeliperre, eristades seda samal ajal laiemast Falcon Perceptioni mudelist.

Selle peamine eripära on spetsialiseeritus. Falcon OCR ei püüa olla universaalne assistent, vaid keskendub dokumendipiltide teisendamisele kasulikeks tekstilisteks ja poolstruktureeritud vorminguteks. See fookus koos kompaktse parameetrite arvuga ja mitme juurutusvõimalusega muudab selle usaldusväärseks valikuks arendajatele, kes loovad privaatseid või kuluteadlikke OCR-süsteeme. Peamine kompromiss seisneb selles, et kasutajad peavad juurutuse ja kvaliteedi valideerimise ise korraldama ning kehva kvaliteediga skannid, väike tekst, keerukad lehed ja üldotstarbeline arutlus jäävad olulisteks piiranguteks.