Mis on Qianfan-OCR?
Qianfan-OCR on Baidu Qianfani meeskonna loodud terviklik dokumendianalüüsi mudel. See ühendab ühes nägemis-keelemudelis optilise tekstituvastuse (OCR), küljenduse analüüsi, dokumentide parsimise ja semantilise mõistmise, selle asemel et käsitleda iga ülesannet eraldi töötlemisetapina.
Selline ülesehitus muudab Qianfan-OCR-i sobivaks dokumentidele, mille puhul on sisu ja küljenduse omavaheline seos oluline. Tavaline OCR-süsteem võib lehel olevad sõnad küll tuvastada, kuid kaotada lugemisjärjekorra, tabeli struktuuri, diagrammi konteksti või siltide ja väärtuste vahelise seose. Qianfan-OCR on loodud säilitama rohkem dokumenditasandi tähendust ning tagastama teksti- või struktureeritud kujul tõlgenduse.
Mudelis on ligikaudu 4 miljardit parameetrit. Baidu pakub sellele juurdepääsu Qianfani platvormi kaudu, samal ajal kui avatud kaaludega versioon on Hugging Face'is saadaval kujul baidu/Qianfan-OCR. Avatud kaaludega versioon on avaldatud Apache 2.0 litsentsi alusel.
Mida Qianfan-OCR suudab teha?
Qianfan-OCR on mõeldud mitme omavahel seotud dokumenditöötlusülesande jaoks:
- OCR: teksti lugemine dokumendipiltidelt.
- Küljendust arvestav parsimine: lehe piirkondade, lugemisjärjekorra ja dokumendielementide vaheliste seoste tõlgendamine.
- Dokumendi rekonstrueerimine: tekstipõhiste esituste, sealhulgas Markdowni-laadse väljundi loomine.
- Tabelite eraldamine: tabeli sisu ja ülesehituse tuvastamine.
- Diagrammide mõistmine: diagrammidel esitatud teabe tõlgendamine.
- Küsimustele vastamine dokumentide põhjal: esitatud dokumendi sisu puudutavatele küsimustele vastamine.
- Põhiteabe eraldamine: oluliste väljade leidmine ja dokumentidest tagastamine.
Need võimalused muudavad mudeli sobivamaks arvete, aruannete, vormide, teadustööde, esitluste ja muude struktureeritud dokumentide jaoks kui lihtsa tekstituvastusmootori. Esitatud uuringud ei määratle täielikku toetatud dokumendikeelte loendit ega taga täpsust iga dokumenditüübi puhul, seega tuleks keelekatvust ja tootmiskeskkonna täpsust kontrollida esinduslike failidega.
Layout-as-Thought
Baidu kirjeldab Qianfan-OCR-i mudelina, mis sisaldab mehhanismi Layout-as-Thought. Selle põhiidee on, et mudel arvestab dokumendi struktuuriga enne lõpliku tõlgenduse koostamist. See on eriti oluline mitmeveeruliste lehtede, keerukate tabelite, diagrammide ja dokumentide puhul, kus loomulik lugemisjärjekord ei ühti visuaalse vasakult paremale järjestusega.
Küljendust arvestav arutlus ei tähenda, et iga keeruline leht suudetakse õigesti parsida. Tulemusi võivad mõjutada pildikvaliteet, ebatavaline küljendus, käsikiri, dokumendi keerukus ja keel. Siiski annab see Qianfan-OCR-ile dokumendianalüüsi jaoks sobivama arhitektuuri kui töövoog, mis tegeleb ainult üksikute märkidega.
Tehnilised andmed ja modaalsused
Qianfan-OCR võtab vastu nii teksti kui ka pilte ning tagastab teksti. Seega on selle väljund tekstiline või tekstipõhine struktureeritud teave, mitte natiivne pildi-, heli- või videofail. Mudel on sisendi poolest multimodaalne, kuid dokumenteeritud väljundmodaalsus on tekst.
| Tehnilised andmed | Esitatud üksikasjad |
|---|---|
| Teenusepakkuja | Baidu |
| Mudeli suurus | Ligikaudu 4 miljardit parameetrit |
| Mudeli tüüp | Nägemis-keelel põhinev dokumendianalüüsi mudel |
| Sisend | Tekst ja pildid |
| Väljund | Tekst ja struktureeritud tekstipõhised dokumenditõlgendused |
| Konteksti pikkus | 163 840 tokenit Qianfani praeguses mudelikataloogis |
| Maksimaalne väljund | 32 768 tokenit Qianfani praeguses mudelikataloogis |
| Avatud kaaludega versiooni litsents | Apache 2.0 |
| Hostitud mudeli identifikaator | qianfan-ocr praeguse kataloogi andmetel |
Konteksti pikkus näitab teksti hulka ja muud esitatud sisendit, mida hostitud mudel suudab ühe päringu raames töödelda. 163 840 tokeni piirang on pikkade dokumentide puhul märkimisväärne, kuid seda ei tohiks tõlgendada garantiina, et iga mahukat faili töödeldakse sama täpselt. Tulemusi võivad endiselt mõjutada visuaalne tihedus, lehe keerukus, pildi eraldusvõime ja soovitud ülesanne.
Maksimaalse väljundi pikkuseks on märgitud 32 768 tokenit. See piirang on kasulik pika dokumendi rekonstrueerimise või üksikasjaliku eraldamise korral, kuid rakendus võib siiski vajada suurte dokumentide jagamist osadeks ja tagastatud struktuuri valideerimist.
Hind ja kättesaadavus
Baidu praeguses Qianfani mudelikataloogis on Qianfan-OCR-i hinnaks märgitud 0,002 jüaani 1000 sisendtokeni kohta ja 0,008 jüaani 1000 väljundtokeni kohta. Need on tokenipõhised hostitud teenuse hinnad, seega sõltub kogukulu edastatud dokumendiesituse suurusest ja vastuses soovitud teksti mahust. Uuringus ei ole esitatud eraldi pildiühiku hinda ega minimaalset päringutasu.
Qianfan-OCR on saadaval Qianfani platvormi kaudu ning allalaaditavate avatud kaaludena. Hostitud juurdepääs välistab vajaduse hallata kohalikku järeldustaristut, samas kui isehostimine välistab teenusepakkuja tokenitasud, kuid eeldab sobivat riistvara, tarkvara ja haldustööd. Ei tohiks eeldada, et hostitud teenusel ja avatud kaaludega versioonil on identne jõudlus, eeltöötlus, piirangud või juurutuskäitumine.
Baidu praeguses Qianfani kataloogis on mudel positsioneeritud spetsialiseeritud dokumendimudelina, mitte üldotstarbelise vestlus- või kodeerimismudelina. Ühe kataloogi metaandmevälja kohaselt on omanikuks märgitud Tongyi Lab, kuid Baidu ametlik Qianfani teadaanne ja ametlik mudelihoidla seostavad Qianfan-OCR-i Baidu Qianfani meeskonnaga. Seetõttu on selle mudelikirje teenusepakkujaks märgitud Baidu.
Peamised tugevused ja kompromissid
Qianfan-OCR-i peamine tugevus on ülesannete integreerimine. OCR, küljenduse mõistmine, tabelite eraldamine, diagrammide tõlgendamine, küsimustele vastamine ja teabe eraldamine toimuvad ühe dokumendikeskse süsteemi osana. See võib vähendada vajadust ühendada mitu spetsialiseeritud töötlusetappi ning hõlbustada kasuliku dokumendiesituse otse küsimist.
Selle 163 840 tokeni suurune hostitud kontekstiaken ja 32 768 tokeni suurune maksimaalne väljund on samuti pikkade dokumentidega töötamisel kasulikud, eriti kui soovitakse üksikasjalikku rekonstrueerimist või suurt hulka eraldatud välju. Avatud kaaludega versioon annab organisatsioonidele lisavõimaluse mudelit oma keskkonnas hinnata või käitada.
Kaasnevad ka olulised kompromissid. Qianfan-OCR on spetsialiseeritud mudel, mistõttu ei ole see ilmne valik üldiseks vestluseks, laiapõhjaliseks kodeerimisabiks, heli- või videotöötluseks, piltide genereerimiseks ega muudeks ülesanneteks, mis nõuavad natiivset mittetekstilist väljundit. Lihtsam OCR-mootor võib olla sobivam, kui ainus nõue on puhtalt ja ühtlaselt pildilt kiire märgituvastus. Üldotstarbeline multimodaalne mudel võib seevastu olla eelistatavam, kui dokumendianalüüs on vaid üks osa laiemast töövoost, kuigi esitatud uuringus ei ole selliste mudelitega otsest võrdluskatset.
Pildikvaliteet ja dokumendi struktuur jäävad praktilisteks piiranguteks. Viltused skannid, käsikiri, ebatavaline lugemisjärjekord, tihedad diagrammid ja keerukad tabelid võivad põhjustada vigu isegi siis, kui mudelil on vajalikud üldised võimekused. Seetõttu tuleks eraldatud finants-, õigus-, meditsiini- või operatiivandmeid enne autoriteetsena käsitlemist lähtedokumendiga kontrollida.
Arutlus, kodeerimine ja tööriistade tugi
Qianfan-OCR on loodud dokumendi struktuuri üle arutlema, eelkõige Layout-as-Thoughti mehhanismi kaudu. See on ülesandespetsiifiline visuaalne ja struktuuriline arutlus, mitte tõend selle kohta, et mudel oleks üldotstarbeline arutlusmudel matemaatika, planeerimise või avatud analüüsi jaoks.
Esitatud toimetuslik hinnang annab Qianfan-OCR-ile arutlusoskuse hindeks 7 punkti 10-st ja kodeerimisoskuse hindeks 3 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte Baidu avaldatud skoorid ega võrdlustulemused. Arutlusoskus peegeldab mudeli keskendumist dokumendi struktuurile; madalam kodeerimisskoor näitab, et kodeerimine ei kuulu mudeli põhieesmärkide hulka.
Uuring ei kinnita tööriistade kasutamist, funktsioonikutseid, voogedastust, peenhäälestust, vahemällu salvestamist, pakkide API tuge ega eraldi JSON-režiimi. Neid funktsioone vajavad rakendused peaksid need üle kontrollima Qianfani ajakohasest dokumentatsioonist, mitte tuletama neid mudeli võimest struktureeritud teksti koostada.
Kiiruse ja hinna positsioneerimine
Esitatud toimetuslikes hinnangutes saab Qianfan-OCR kiiruse eest 7 punkti 10-st ja hinna eest 8 punkti 10-st. Need hinnangud on subjektiivsed võrdlused, mitte teenusepakkuja avaldatud garantiid. Madalad loetletud tokenihinnad muudavad hostitud mudeli atraktiivseks dokumenditöötluse töökoormuste puhul, kus vajalik väljund on tekst, samas kui ligikaudu 4 miljardi parameetriga mudelit võib mõnes isehostitud keskkonnas olla lihtsam juurutada kui palju suuremaid multimodaalseid süsteeme.
Tegelik läbilaskevõime sõltub Qianfani teenusest, päringu suurusest, pilditöötlusest, samaaegsusest ja juurutusriistvarast. Väike spetsialiseeritud OCR-mootor võib lihtsa transkribeerimise puhul siiski kiirem olla, samas kui suurem üldotstarbeline nägemis-keelemudel võib olla eelistatud siis, kui laiem arutlusvõime või multimodaalne väljund on dokumendipõhisest kulutõhususest olulisem.
Millal valida Qianfan-OCR?
Qianfan-OCR on tugev kandidaat siis, kui keskne probleem on dokumentide sisu ja struktuuri mõistmine. Kaaluge seda järgmisteks ülesanneteks:
- Skannitud aruannete või teadustööde teisendamine Markdowni-laadseks tekstiks.
- Väljade eraldamine vormidest ja muudest poolstruktureeritud dokumentidest.
- Tabelisisu taastamine, säilitades selle ülesehituse.
- Diagrammide tõlgendamine koos neid ümbritseva tekstiga.
- Pikkade dokumendipiltide kohta küsimustele vastamine.
- Dokumentide sisestamise töövoogude loomine, kus OCR ja semantiline eraldamine on vajalikud koos.
- Apache 2.0 litsentsi alusel avaldatud avatud kaaludega dokumendimudeli hindamine.
Mõni teine lahendus võib olla sobivam, kui töökoormus hõlmab ainult puhta teksti tuvastamist, nõuab heli- või videosisendit, vajab natiivset pildi- või heliväljundit, sõltub suurel määral kodeerimisest või eeldab kontrollitud tööriistakutsete või JSON-režiimi liidest. Qianfan-OCR-i tuleks mõista dokumendianalüüsi spetsialistina: selle väärtus tuleneb visuaalse tekstituvastuse ühendamisest küljenduse ja semantilise tõlgendamisega, mitte iga tehisintellektiülesande katmisest.
Piirangud, mida enne tootmiskasutust kontrollida
Enne Qianfan-OCR-i tootmisvoogu juurutamist katsetage seda tegelike dokumendiklasside ja pilditingimustega, mis on ettevõtte jaoks olulised. Kontrollige mitmeveeruliste dokumentide lugemisjärjekorda, ühendatud lahtritega tabeleid, diagramme, käsitsi tehtud märkusi, madala eraldusvõimega skanne, segakeelseid dokumente ning päiseid või jaluseid sisaldavaid lehti.
Kontrollige ka hostitud Qianfani juurdepääsu ja avatud kaaludega versiooni operatiivseid erinevusi. Kinnitage asjakohasest Baidu dokumentatsioonist kehtivad hinnad, päringupiirangud, piltide käsitlemine, eeltöötlusnõuded, väljundi vormindus ja riistvaranõuded. Esitatud uuring kinnitab hostitud kataloogi peamisi konteksti- ja väljundipiiranguid, kuid ei määra kõiki juurutuspõhiseid piiranguid.
Lühidalt öeldes on Qianfan-OCR kõige veenvam siis, kui töövoog vajab enamat kui OCR, kuid keskendub endiselt dokumentidele. Selle integreeritud arhitektuur, suur hostitud kontekstiaken, tekstipõhine struktureeritud väljund ja madalad loetletud tokenihinnad muudavad selle keskendunud alternatiiviks mitme dokumenditöötluskomponendi kokkupanemisele, eeldusel et selle eraldamiskvaliteeti kontrollitakse tegelike lähtematerjalidega.