North Micro Vision Instruct

Mis on North Micro Vision Instruct?

North Micro Vision Instruct on Cohere’i 2,4 miljardi parameetriga avatud kaaludega visiooni-keele mudel. Visiooni-keele mudel töötleb visuaalset teavet ja keelt samas sisendis: näiteks võib kasutaja esitada vormi pildi ning seejärel küsimuse kliendi aadressi kohta. Seejärel koostab mudel pildi ja sellega kaasnevate juhiste põhjal tekstilise vastuse.

Cohere esitleb mudelit ametlikult nimega North Micro Vision ning see on Hugging Face’is avaldatud hoidla nimega North-Micro-Vision-Instruct. Mudel on litsentsitud Apache 2.0 alusel, mistõttu sobib kontrollpunkt litsentsitingimuste järgimisel teadustööks, katsetamiseks, kohandamiseks ja privaatselt kasutusele võtmiseks.

North Micro Vision Instruct ei ole tarbijatele mõeldud vestlusroboti tellimus ega ole dokumenteeritud kui mõõdetava kasutuspõhise hinnastusega Cohere’i hostitud generatiivne mudel. Selle peamine roll on avatud kaaludega mudel, mida arendajad ja organisatsioonid saavad oma taristus ja järeldusmootori lahenduses käivitada, hinnata või peenhäälestada.

Peamine eesmärk ja positsioon Cohere’i mudelivalikus

Cohere’i mudelite ökosüsteemis keskendub North Micro Vision Instruct multimodaalsele mõistmisele, mitte ainult üldotstarbelisele teksti genereerimisele. Selle kavandatud kasutusviiside hulka kuuluvad visuaalse sisu lugemine ja tõlgendamine, dokumentidest teabe eraldamine, piltide kohta küsimustele vastamine ning mitme pildi sidumine tekstiliste juhistega.

Mudel on suure hostitud multimodaalse teenusega võrreldes väiksem ja paremini kohandatav. Selle 2,4 miljardi parameetriga maht sobib meeskondadele, kes soovivad katsetada visiooni-keele kontrollpunkti, alustamata palju suuremast mudelist. Kompaktne suurus võib hõlbustada kohalikku testimist ja spetsialiseeritud peenhäälestust, kuid tegelik riistvaravajadus ja viiteaeg sõltuvad muu hulgas arvulise täpsuse tasemest, pildi eraldusvõimest, pakkide töötlemisest, kvantimisest ja järeldustarkvarast.

North Micro Vision Instructi tuleb eristada ka Cohere Parse’ist. Parse on eraldiseisev dokumentide parsingu teenus, mis kasutab Cohere’i varaliselt kaitstud North Micro Visioni arhitektuuri. Avatud kaaludega North Micro Vision Instructi kontrollpunkt ja Parse’i lõpp-punkt on arhitektuuriliselt seotud, kuid tegemist on erinevate pakkumistega, mille kasutuselevõtu- ja juurdepääsumudelid erinevad.

Sisendid, väljundid ja toetatud modaalsused

Mudel võtab vastu vaheldumisi esitatud teksti ja pilte. Vaheldumisi esitamine tähendab, et viip võib sisaldada koos kirjalikke juhiseid ja visuaalseid sisendeid, selle asemel et käsitleda pilti eraldiseisva manusena. Toetatud on ka mitu pilti, mis võimaldab näiteks võrrelda kahte lehekülge, uurida mitut tootefotot või siduda diagrammi ekraanipildi ja kirjaliku küsimusega.

Selle loomupärane väljund on tekst. North Micro Vision Instruct ei genereeri loomupäraselt pilte, heli, videot, muusikat ega muud visuaalset meediat. See võib pilti kirjeldada või analüüsida, kuid ei saa vastusena tagastada uut genereeritud pilti.

Esitatud dokumentatsioon ei kirjelda selle kontrollpunkti jaoks eraldi loomupärast tööriistakasutuse, funktsioonikutsete, veebiotsingu ega koodi käivitamise liidest. Neid võimekusi ei tohiks eeldada pelgalt selle põhjal, et rakendus võib paigutada mudeli suuremasse töövoogu.

Mida see mõista suudab

North Micro Vision Instruct on mõeldud visuaalsetele küsimustele vastamiseks, piltide kirjeldamiseks, OCR-iks, diagrammide ja tabelite mõistmiseks, dokumentide analüüsimiseks ning visuaalseks lokaliseerimiseks. Visuaalne lokaliseerimine tähendab vastuse sidumist pildi konkreetse piirkonna või elemendiga, näiteks diagrammi selle rea tuvastamist, mis vastust toetab.

Loomupärase eraldusvõimega töötlemise eesmärk on säilitada piltide proportsioonid ja peened visuaalsed detailid. See on oluline dokumentide, vormide, ekraanipiltide, tabelite ja diagrammide puhul, kus pildi liiga agressiivne vähendamine võib eemaldada väikese teksti või muuta ruumilisi seoseid. Arendajad peaksid mudelit siiski oma materjalidega katsetama, sest tegelik jõudlus võib erineda sõltuvalt skannimise kvaliteedist, käsikirjast, paigutuse keerukusest, tüpograafiast ja keelest.

Mudeli kirjelduse kohaselt toetab see mitmekeelset visuaalset mõistmist muu hulgas inglise, saksa, prantsuse, hispaania, itaalia, portugali, hindi, jaapani, korea, hiina ja araabia keeles. Seetõttu sobib see mitmekeelsetesse dokumenditöövoogudesse ja pildipõhistesse küsimustesse, kus pildil olev tekst ja kasutaja küsimus ei pruugi olla samas keeles.

Arhitektuur ja konteksti piirangud

Mudel ühendab spetsiaalselt treenitud 400 miljoni parameetriga loomupärase eraldusvõimega visioonikodeerija, projektori, mis ühendab visuaalsed esitused keelemudeliga, ning ligikaudu 2 miljardi parameetriga keelealuse nimega North Micro LLM. Keelealus järgib Command A+ arhitektuurset lähenemist ja kasutab hübriidset tähelepanumehhanismi.

Keelealusel on dokumenteeritud 128K märgi suurune kontekstiaken. Kontekstiaken näitab teksti ja muu esitatud viibateabe hulka, mida mudel suudab ühe suhtluse käigus töödelda. Mudeli dokumentatsioon määratleb multimodaalsete viipade valideeritud töövahemikuks siiski kuni 8K märki. See erinevus on oluline: 128K näit kirjeldab keelealust, samas kui 8K on pilte ja teksti ühendavate viipade praktiline dokumenteeritud vahemik.

Dokumenditöövoogudes ei tohiks kasutajad seetõttu eeldada, et väga pikk piltide ja eraldatud teksti kogum töötab usaldusväärselt lihtsalt seetõttu, et keelealusel on suur teoreetiline kontekst. Pikkade dokumentidega rakendused võivad vajada lehekülgede valimist, osadeks jagamist, etapiviisilist eraldamist või välist otsingut. Uurimismaterjalid ei esita selle mudeli maksimaalset väljundmärgi piirangut.

Kasutuselevõtt, kohandamine ja hinnastamine

Avatud kaaludega väljalase on mõeldud kohalikuks ja privaatseks kasutuselevõtuks, mitte kasutamiseks dokumenteeritud Cohere’i hostitud lõpp-punkti kaudu, millel oleks avaldatud märgipõhine hind. Kontrollpunkt on Hugging Face’is Cohere Labsi kaudu saadaval ning selle kasutamist on kirjeldatud Transformersi ökosüsteemis.

Esitatud uurimismaterjalides ei ole selle konkreetse avatud kaaludega mudeli jaoks kinnitatud ametlikku Cohere’i sisendi- ega väljundihinda. See ei tähenda, et selle käitamine oleks tasuta: organisatsioonid peavad endiselt arvestama riistvara, salvestusruumi, järeldustarkvara, arendustöö ja operatiivse hooldusega. Peamine majanduslik eelis on kontroll kasutuselevõtu üle ja võimalus kohandada mudelit konkreetse ülesandega, mitte garanteeritud nullkulu.

Peenhäälestus on nimetatud toetatud kasutusviisina. Meeskond võiks kasutada seda lähtepunktina valdkonnapõhise visuaalsüsteemi loomisel, näiteks kindlat tüüpi vormidelt väljade eraldamiseks või spetsialiseeritud diagrammide kohta küsimustele vastamiseks. Töö teostatavus ja maksumus sõltuvad saadaolevatest treeningandmetest, riistvarast, täpsusest ja peenhäälestusmeetodist; esitatud uurimismaterjalides ei ole nõutavat riistvarakonfiguratsiooni täpsustatud.

Peamised tugevused ja kompromissid

• Kompaktne avatud kaaludega ülesehitus: 2,4 miljardi parameetriga mudel on katsetamiseks jõukohasem kui palju suuremad visiooni-keele kontrollpunktid, kuigi ka see nõuab sobivat riistvara ja tarkvara.
• Loomupärase eraldusvõimega visioon: Pildi mõõtmete säilitamine võib aidata väikese teksti, dokumendistruktuuri, diagrammide ja ekraanipiltide töötlemisel.
• Mitmekeelne tugi: Dokumenteeritud keelevalik ulatub inglise keelest kaugemale ja hõlmab mitut Euroopa, Aasia ning Lähis-Ida keelt.
• Mitme pildiga viibad: Kui vaja on võrdlust või ühendatud visuaalset konteksti, saab esitada mitu pilti.
• Kohandatavus ja kontroll kasutuselevõtu üle: Apache 2.0 litsents ja avatud kaalud toetavad privaatset kasutuselevõttu ning ülesandepõhist katsetamist.
• Oluline kontekstipiirang: Keelealuse 128K konteksti ei tohiks käsitleda valideeritud 128K multimodaalse kontekstina. Dokumenteeritud valideeritud multimodaalne vahemik on kuni 8K märki.
• Meedia genereerimine puudub: Mudel tagastab teksti ega ole mõeldud piltide, heli või video loomiseks.

Parimad kasutusviisid

North Micro Vision Instruct sobib hästi olukordadesse, kus keskne probleem on visuaalse teabe mõistmine ning meeskond väärtustab avatud kontrollpunkti või privaatset kasutuselevõttu. Sobivad näited on järgmised:

• Vormidest, arvetest, aruannetest ja muudest dokumentidest väljade eraldamine.
• OCR ja visuaalse teabe eraldamine skannitud dokumentidest või ekraanipiltidelt.
• Diagrammide, tabelite, skeemide ja piltide kohta küsimustele vastamine.
• Mitme pildi või dokumendilehekülje võrdlemine ühes viibas.
• Piltidele tekstiliste pealkirjade ja kirjelduste genereerimine.
• Mitmekeelsete visuaalsetele küsimustele vastamise töövoogude loomine.
• Kompaktse multimodaalse mudeli peenhäälestamine spetsialiseeritud valdkonna jaoks.
• Teadustöö või privaatsed kasutuselevõtud, mille puhul ei ole soovitav või lubatud pilte hostitud teenusele saata.

Millal seda mudelit valida?

Vali North Micro Vision Instruct, kui vajad kompaktset ja kohandatavat visiooni-keele mudelit piltide mõistmiseks, mitte hostitud tarbijatele mõeldud assistenti või meedia genereerimise süsteemi. See on eriti atraktiivne siis, kui olulised on avatud kaalud, Apache 2.0 litsents, kohalik käitamine või privaatne taristu. Dokumenteeritud mitmekeelne ja mitme pildi tugi sobib samuti rakendustele, mis peavad töötlema mitmekesiseid visuaalseid sisendeid.

Hostitud multimodaalne teenus võib olla sobivam, kui esmatähtsad on hallatav API, pakkuja hallatav prognoositav skaleerimine, dokumenteeritud tootmiskeskkonna SLA või minimaalne taristutöö. Cohere Parse võib olla sobivam siis, kui konkreetne vajadus on hallatav dokumentide parsingu teenus, mitte avatud kaaludega kontrollpunkti käitamine ja kohandamine. Suurem visiooni-keele mudel võib olla eelistatum juhul, kui hindamine näitab, et kompaktne mudel ei tule toime vajaliku visuaalse keerukuse, pikkade multimodaalsete viipade või valdkonnapõhise täpsuseesmärgiga.

Teisalt võib North Micro Vision Instruct olla suuremast mudelist parem valik siis, kui ülesanne on kitsas, kasutuselevõtukeskkond privaatne või piiratud ressurssidega ning meeskond suudab kontrollpunkti valideerida või peenhäälestada. Uurimismaterjalid ei esita standardiseeritud võrdlustulemusi, mistõttu tuleks neid kompromisse kinnitada tüüpiliste dokumentide, keelte, pildi eraldusvõimete ja tõrkejuhtumitega.

Piirangud ja hindamisjuhised

Kõige olulisem rakenduslik piirang on teoreetilise keelekonteksti ja valideeritud multimodaalse konteksti erinevus. Rakendused peaksid lähtuma 8K märgi suurusest multimodaalsest vahemikust, välja arvatud juhul, kui Cohere dokumenteerib laiema valideeritud piiri. Samuti tuleks testida, kuidas pildi eraldusvõime, pakkide töötlemine, kvantimine ja kontrollpunkti täpsus mõjutavad kiirust, mälukasutust ja vastuste kvaliteeti.

Esitatud teave ei määra kindlaks maksimaalset väljundi pikkust, hostitud märgipõhist hinda, tööriistakutsete liidest, struktureeritud väljundi garantiid ega võrdlustulemust. Neid näitajaid tuleks käsitleda teadmata asjaoludena, mitte tuletada mudeli arhitektuurist või selle kättesaadavusest üldiste masinõppevahendite kaudu.

Kokkuvõttes on North Micro Vision Instruct kõige õigemini mõistetav kui kompaktne avatud kaaludega mudel mitmekeelseks visuaalseks mõistmiseks, dokumentide analüüsiks ja kohandamiseks. Selle väärtus seisneb kasulike pilditöötlusvõimete ja kasutuselevõtu üle kontrolli ühendamises. Praktiliste piirangute hulka kuuluvad aga 8K suurune valideeritud multimodaalne kontekst, ainult tekstiline väljund ning avatud kontrollpunkti käitamiseks ja hindamiseks vajalik operatiivne töö.