Mis on Cohere Parse v5.0?
Cohere Parse v5.0 on dokumendianalüüsile spetsialiseerunud nägemis-keelemudel. Selle asemel et vastata üldotstarbelise vestlusmudeli kombel avatud küsimustele, analüüsib see dokumendilehti ja teisendab nende visuaalse sisu struktureeritud tekstiks, mida teised süsteemid saavad otsida, indekseerida, hankida ja töödelda.
Mudelit pakub Cohere ning see kuulub ettevõtte dokumenditöötlusmudelite Parse perekonda. Selle peamine ülesanne on dokumentide ettevalmistamine järgnevate rakenduste jaoks, nagu ettevõtteotsing, otsinguga täiendatud genereerimine (RAG), intelligentne dokumenditöötlus ja tehisintellektiagendid. RAG-süsteemid hangivad dokumendikogust asjakohased lõigud enne nende edastamist keelemudelile; Parse aitab need lõigud visuaalselt keerukatest lähtefailidest luua.
Cohere kirjeldab Parse v5.0 mudelit kui patenteeritud north-micro-vision-instruct-arhitektuuri kasutavat mudelit. Esitatud spetsifikatsioonide kohaselt on sellel ligikaudu 2,3 miljardit parameetrit, mudeli ligikaudne suurus on 4,6 GB ja konteksti pikkus 8192 tokenit. Need on mudeli spetsifikatsioonid, mitte tagatised ekstraktsiooni kvaliteedi kohta iga dokumenditüübi puhul.
Mida Parse v5.0 ekstraktib?
Parse on loodud säilitama struktuuri, mis tavalise tekstiekstraktsiooni käigus sageli kaotsi läheb. Dokumenteeritud võimalused hõlmavad järgmist:
- Tekst lugemisjärjekorras
- Tabelid ja loendid
- Vormid ning võtme-väärtuse paarid
- Pildid ning piltide pealdised või kirjeldused
- Lehekülgede piirid
- Visuaalsete elementide asukohad piirdekastide koordinaatide abil
Peamised väljundvormingud on Markdown ja järjestatud sisublokid. Markdown-väljund võib sisaldada HTML-vormingus tabeleid, pildiviiteid, kirjeldusi ja asukohateavet. Plokkide vorming esitab sellised piirkonnad nagu tekst, tabelid ja pildid dokumendis esinemise järjekorras. See võib olla kasulik, kui rakendus peab iga piirkonda eraldi kuvama või järeltöötlema.
See muudab Parse'i enamaks kui lihtsa OCR-tööriista. OCR keskendub üldjuhul märkide tuvastamisele, samal ajal kui Parse püüab säilitada dokumendi ülesehitust ja visuaalsete elementide vahelisi seoseid. Näiteks võib tabel säilitada tabelilaadse struktuuri, selle asemel et muutuda omavahel seostamata ridade jadaks, ning vormi välju saab esitada seotud võtme-väärtuse sisuna.
Sisendid, väljundid ja toetatud keeled
Praegune Parse'i v2 viitedokumentatsioon nimetab toetatud dokumendisisendi vormidena pildi URL-id ja base64-kodeeritud pildiandmed. Selles märgitakse, et PDF- ja failide URL-e ei toetata selle lõpp-punkti kaudu veel otse. Kuigi Cohere'i dokumentatsioon käsitleb PDF-, esitluse- ja JPEG-dokumentide töövooge, võivad praeguse v2 lõpp-punkti kasutajad vajada PDF- või esitluslehtede enne esitamist piltideks teisendamist.
See erinevus on tootmiskeskkonnas oluline. PDF-faile vastu võttev töövoog ei pruugi neid faile ilma eeltöötluseta otse praegusele Parse'i lõpp-punktile edastada. Lehtede piltideks teisendamine lisab samuti töövoogu operatiivse sammu ning võib mõjutada pildi eraldusvõimet, failikäsitlust ja töötlemisaega.
Cohere dokumenteerib stabiilse toe araabia, inglise, prantsuse, saksa, jaapani, korea, itaalia, portugali ja hispaania keele jaoks. Teised keeled võivad null-lähteteadmise kasutuses toimida, kuid esitatud dokumentatsioon hoiatab, et täpsus võib olla väiksem. Mitmekeelseid arhiive töötlevad organisatsioonid peaksid kontrollima esinduslikke dokumente, mitte eeldama kõigi keelte puhul ühesugust jõudlust.
Parse toodab tekstipõhist struktureeritud väljundit, mitte genereeritud pilte, heli ega videot. Selle multimodaalne võimekus seisneb seega peamiselt sisendi ja dokumendimõistmise poolel: see loeb visuaalseid dokumendilehti ning tagastab Markdowni või sisublokid.
Konteksti- ja väljundipiirangud
Loetletud konteksti pikkus on 8192 tokenit. Kontekstiaken näitab sisendi ja sellega seotud töötlemisteabe hulka, mida mudel suudab ühe päringu jooksul käsitleda, kuigi praktilist kasutust võivad mõjutada ka dokumendipiltide piirangud ja lõpp-punkti spetsiifilised nõuded.
Esitatud uuringus ei täpsustata väljundtokenite maksimaalset piirmäära. Parse'i ei ole dokumenteeritud üldotstarbelise JSON-i genereerimise mudelina ning uuringus märgitakse, et loomulikku struktureeritud JSON-skeemi väljundit ei toetata. JSON-kirjeid vajavad rakendused peaksid tagastatud Markdowni või plokid ise parsimiseks kasutama ning valideerima saadud välju rakenduse eraldi kihis.
Esitatud dokumentatsiooni kohaselt ei paku Parse ka usaldusväärsusskoore. Kui rakendus peab tuvastama ebakindlad väljad, suunama madala kvaliteediga lehed inimkontrolli või lisama välja taseme usaldusväärtusi, tuleb need lahendused rakendada väljaspool mudelit või kontrollida neid Cohere'i praegusest tootedokumentatsioonist.
Hind ja saadavus
Cohere teatas API hinnaks 1,50 dollarit 1000 lehekülje kohta. Leheküljepõhine hinnastus on eriti oluline partiisisestuse puhul, sest peamine kulutegur on töödeldud lehekülgede arv, mitte tavapärane sisend- ja väljundtokenite arvestus.
Esitatud uuringu kohaselt on Parse v5.0 üldiselt Cohere'i API kaudu saadaval ning seda pakutakse ka Microsoft Foundry, AWS SageMakeri ja Cohere Model Vaulti kaudu. Model Vault kasutab eraldi juurutushinnastust. Loetletud Parse 5 Mediumi tasand maksab 4 dollarit tunnis või 2500 dollarit kuus, samas kui XL-i tasand maksab 7 dollarit tunnis või 4300 dollarit kuus. Need on juurutushinnad, mitte tavapärane leheküljepõhine API-hind, mistõttu ei tohiks neid üheks hinnaks kokku liita.
Tegelikud kulud sõltuvad juurutusviisist, lehekülgede mahust ja operatiivsetest nõuetest. Enne tootmisarhitektuurile pühendumist peaksid meeskonnad üle kontrollima kehtivad ärilised tingimused, toetatud piirkonnad ja lõpp-punktide piirangud.
Peamised tugevused ja piirangud
Parse v5.0 peamine tugevus on selle fookus. See on loodud teisendama visuaalselt struktureeritud dokumendid kasulikuks järgnevaks kontekstiks, sealhulgas tabeliteks, vormideks ja leheküljetasandi paigutusteabeks. See fookus võib vähendada kohandatud ekstraktsiooniloogika hulka, mida on vaja enne dokumentide otsingu- või RAG-konveierisse suunamist.
Teine praktiline eelis organisatsioonidele, kes töötlevad suuri ja prognoositavaid dokumendimahte, on leheküljepõhine API-hinnastus. Mudeli suhteliselt väike, 2,3 miljardi parameetriga maht on samuti kooskõlas spetsialiseeritud töötlemismudeliga, mitte suure üldotstarbelise vestlussüsteemiga. Esitatud uuringus toodud suhtelise kiiruse ja hinna skoorid on toimetuslikud hinnangud, mitte Cohere'i avaldatud võrdlustulemused; nende põhjal hinnatakse Parse'i dokumendiparsemise kasutusjuhtudes kiiruse ja hinna poolest kõrgelt.
Olulised piirangud on järgmised:
- Praegune v2 viitedokumentatsioon ei kirjelda otsest PDF-i ega faili URL-i sisendit, mistõttu võib olla vajalik eeltöötlus.
- Dokumenteeritud usaldusväärtuse väljund puudub.
- Esitatud spetsifikatsioonide kohaselt ei paku see loomulikku JSON-skeemi väljundit.
- See ei ole üldotstarbeline vestlus-, arutlus- ega kodeerimismudel.
- See ei genereeri pilte, heli ega videot.
- See ei pruugi tuvastada kõiki esitlustasandi üksikasju, sealhulgas kõiki päiseid, jaluseid või fondihierarhiat.
- Dokumenteeritud stabiilsesse keelevalikusse mittekuuluvad keeled võivad anda vähem usaldusväärseid tulemusi.
Graafikuid ja muid visuaalseid elemente saab asukoha järgi tuvastada ja kirjeldada, kuid uuring ei tõesta, et Parse teisendab iga graafiku usaldusväärselt täpseks struktureeritud arvandmestikuks. Rangete finants-, õigus- või vastavusnõuetega meeskonnad peaksid lisama valideerimise ja inimkontrolli, kui ekstraktsioonivead võivad otsuseid oluliselt mõjutada.
Arutlus, kodeerimine ja tööriistade tugi
Parse v5.0 ei tohiks hinnata arutlusmudelina samamoodi nagu vestluslikku keelemudelit. Selle dokumenteeritud ülesanne on visuaalsete dokumentide tõlgendamine ja struktureeritud ekstraktsioon. Esitatud võrdlev arutlusskoor on 2 punkti 10-st ja kodeerimisskoor 1 punkt 10-st; need on toimetuslikud hinnangud selle mudeli kavandatud kasutuse kohta, mitte tarnija spetsifikatsioonid ega võrdlustulemused.
Mudelit ei ole dokumenteeritud tööriista- ega funktsioonikutsete, voogedastuse ega koodi käivitamise toega. See võib anda agendile väärtuslikku sisendit, kuid ümbritsev rakendus kasutaks tavaliselt planeerimiseks, tööriistade valikuks, andmebaasitoiminguteks, arvutusteks ja lõppvastusteks mõnda muud mudelit või tarkvarakomponente.
Parse v5.0 parimad kasutusjuhud
- Ettevõtte RAG-i sisestus: Teisendada aruanded, vormid ja muud visuaalsed dokumendid sisuks, mida saab indekseerida ja otsida.
- Otsinguindekseerimine: Säilitada dokumendikogudel põhinevate otsingusüsteemide loomisel lugemisjärjekord, tabelid ja lehekülgede teave.
- Intelligentne dokumenditöötlus: Ekstraktida teavet vormidest, struktureeritud lehtedelt ja poolstruktureeritud äridokumentidest.
- Dokumendipõhised agendid: Anda agendile puhtam dokumendikontekst enne seda, kui ta teostab toetatud töövoo.
- Suure mahuga partiitöötlus: Kasutada prognoositavate dokumendisisestuse töökoormuste puhul leheküljepõhist API-hinnastust.
Parse'i saab otsingukonveieris ühendada Cohere Embed'i ja Rerankiga: Parse teisendab lehed otsitavaks sisuks, Embed võib esitada sisu semantiliseks otsinguks sobival kujul ning Rerank aitab kandidaat-tulemusi järjestada. Need sõsarfunktsioonid täiendavad üksteist, kuid ei muuda Parse'i ennast vestlus- ega agendimudeliks.
Millal seda mudelit valida?
Vali Parse v5.0 siis, kui keskne probleem on dokumendipiltidelt kasutatava struktuuri ekstraktimine suures mahus. See on mõistlik valik, kui tabelid, vormid, lugemisjärjekord ja leheküljetasandi visuaalne teave on olulisemad kui avatud vestlus, kodeerimine või keerukas arutlus. Leheküljepõhine hinnastus võib olla atraktiivne ka siis, kui dokumendimahtu on lihtne prognoosida.
Kaalu teist võimalust, kui töövoog nõuab praeguse lõpp-punkti kaudu PDF-ide otsest käsitlemist, loomulikke JSON-skeemi vastuseid, välja taseme usaldusväärtusi, üksikasjalikku tüpograafiaanalüüsi või usaldusväärset graafikute andmete ekstraktsiooni. Üldotstarbeline multimodaalne mudel võib olla sobivam väikese arvu dokumentide kohta esitatavate interaktiivsete küsimuste korral, samas kui spetsiaalne OCR- või dokumenditöötlussüsteem võib olla eelistatav, kui rakendus vajab rangelt kontrollitud väljade valideerimist. Genereerimiseks, kodeerimiseks, planeerimiseks või tööriistade kasutamiseks on endiselt vaja eraldi keelemudelit.
Kokkuvõte
Cohere Parse v5.0 on kõige parem käsitleda dokumendisisestuse komponendina, mitte universaalse tehisintellektiassistendina. Selle väärtus seisneb visuaalselt keerukate lehtede teisendamises järjestatud Markdowniks või sisublokkideks, mida järgnevad otsingu-, RAG- ja ettevõtte dokumenditöötlussüsteemid saavad kasutada. Kõige paremini sobib see suure mahuga ja struktuuritundlikuks ekstraktsiooniks; peamised kompromissid on lõpp-punkti sisendipiirangud, dokumenteeritud usaldusväärtuse ja JSON-skeemi väljundi puudumine ning vajadus teiste komponentide järele, kui rakendus nõuab arutlust, genereerimist või toimingute tegemist.