Yi-Vision

Mis on Yi-Vision?

Yi-Vision on nimetus, mida kasutatakse 01.AI Yi-VL-i visioonikeelemudelite kohta. Visioonikeelemudel võtab vastu visuaalseid andmeid koos loomulikus keeles antud juhistega. Praktikas saab mudelile esitada pildi ja paluda seda kirjeldada, esitada selle kohta küsimuse, lugeda nähtavat teksti või jätkata sama pildi teemal järelvestlust.

Esitatud uurimus käsitleb kahte varianti: Yi-VL-6B ja Yi-VL-34B. Mõlemad avaldati 23. jaanuaril 2024 allalaaditavate avatud kaaludega mudelitena. 6B mudel on väiksem ja kiirem valik, samas kui 34B mudel kasutab märksa rohkem mudeliressurssi ning on mõeldud pakkuma paremat pildimõistmise kvaliteeti suurema ressursikulu hinnaga.

Yi-Vision toodab teksti, mitte pilte. Seega tuleks seda käsitleda pildianalüüsi ja visuaalsetele küsimustele vastamise süsteemina, mitte pildigeneraatori või üldotstarbelise meediamudelina.

Pakkuja ja koht 01.AI mudelivalikus

Yi-Visioni pakub 01.AI, 2023. aastal asutatud Hiina tehisintellektiettevõte. See kuulub Yi mudeliperre, kuhu kuuluvad ka tekstile keskenduvad mudelid ja vestlusmudelid. Selles mudeliperes lisab Yi-VL visuaalse kodeerija, et Yi keelemudel saaks tõlgendada pilti koos kirjaliku viibaga.

01.AI praegune avalik positsioneerimine keskendub tugevalt ettevõtete tehisintellekti ümberkujundamisele, mudelite juurutamisele, valdkonnapõhistele lahendustele ja arendajatele. Ettevõtte platvormi dokumentatsioon kirjeldab visuaalset mõistmist Yi-Visioni kaudu, kuid uurimus ei kinnita praegu avalikult hinnastatud hallatud API olemasolu spetsiaalselt Yi-VL-6B või Yi-VL-34B jaoks. Selle asemel on need mudelid dokumenteeritud allalaaditavate väljalasetena, mida levitatakse Hugging Face'i, ModelScope'i ja WiseModeli kaudu 01.AI Yi litsentsitingimuste alusel.

Kuidas Yi-Vision pilte ja teksti töötleb

Mõlemad variandid ühendavad kolm põhikomponenti: Yi vestluskeelemudeli, CLIP ViT-H/14 visioonikodeerija ja projektsioonimooduli, mis ühendab visuaalse esituse keelemudeliga. See arhitektuur võimaldab mudelil kasutada pildi tunnuseid tekstilise vastuse loomisel.

Ametlik dokumentatsioon kirjeldab inglise ja hiina keele tuge, piltide mõistmist eraldusvõimega 448×448 ning mitmevoorulist visuaalset küsimustele vastamist. Dokumenteeritud suhtlus põhineb ühel pildil ja tekstil. Järeldamise ajal muudetakse piltide suuruseks 448×448, mistõttu ei ole mudel mõeldud väga suurte lähtepiltide piiramatu peene detaili säilitamiseks.

Nii Yi-VL-6B kui ka Yi-VL-34B konteksti pikkuseks on märgitud 4 096 tokenit. Token on mudeli töödeldav tekstiühik; kontekst hõlmab viipa, visuaalset esitust ja vajaduse korral vestluse ajalugu. Uurimus ei esita eraldi väljundtokenite maksimaalset arvu, seega ei ole peale üldise konteksti spetsifikatsiooni võimalik teatada kontrollitud väljundipiiri.

Toetatud sisendid ja väljundid

Praktiliselt tähendab see keskendunud pildist tekstiks töövoogu. Tüüpilistes viipades võidakse paluda mudelil tuvastada objekte, selgitada stseeni, lugeda sildil olevat teksti, vastata skeemi kohta käivale küsimusele või võrrelda sama pildi kohta mitme vestlusvooru jooksul arutatud detaile. Olemasolev teave ei kinnita mitme pildi kasutamist ühes päringus, video tõlgendamist, heli mõistmist ega piltide genereerimist.

Peamised tugevused ja võimekused

Kakskeelne visuaalne mõistmine

Yi-Vision on dokumenteeritud inglise ja hiina keele jaoks, mistõttu sobib see neis keeltes kakskeelseks visuaalsetele küsimustele vastamiseks ja pildist tekstiks rakendusteks. Selle eesmärk on enamat kui lihtsalt pildi kirjeldamine: mudel suudab vastata pildi kohta esitatud küsimustele ja jätkata selle teemal mitmevoorulist vestlust.

OCR-i ja dokumentide analüüsi kasutusjuhud

Mudel sobib katseteks, mis hõlmavad piltidel nähtavat teksti, näiteks siltidel, ekraanipiltidel, etikettidel ja valitud dokumendipiltidel olevat teksti. See ei tähenda, et kõik OCR-i ülesanded oleksid täpsed. Mudeli enda dokumentatsioon toob välja hallutsinatsioonide ja objektituvastuse piirangud ning piltide suuruse muutmine võib väikesed detailid eemaldada või hägustada. Oluline väljavõetud tekst tuleks seetõttu lähtepildiga üle kontrollida.

Avatud kaaludega juurutamine ja kohandamine

Erinevalt suletud hallatud teenusest, millele pääseb ligi ainult teenusepakkuja liidese kaudu, levitatakse Yi-Visioni avatud kaaludega mudelina. See võimaldab kohalikku järeldamist, privaatset juurutamist ja tehnilisi katsetusi, kui kasutajal on sobiv riistvara ning ta järgib kehtiva Yi litsentsi nõudeid. Mudelikirjed märgivad ka peenhäälestuse toe, millest võib olla kasu meeskondadele, kes kohandavad mudelit spetsiaalse visuaalse andmestikuga. Esitatud uurimus ei anna siiski riistvaranõudeid, mõõdetud järeldamisjõudlust ega täielikku peenhäälestuse juhendit.

Yi-VL-6B ja Yi-VL-34B võrdlus

Kahel variandil on sama üldine liides ja dokumenteeritud piirangud. Peamine erinevus seisneb mudeli suuruses. Yi-VL-6B on väiksema ressursivajadusega valik: see sobib paremini juhul, kui kõige olulisemad on kohalik kiirus, mälukasutus ja juurutamise maksumus. Yi-VL-34B on suurem mudel ning tõenäoliselt sobivam siis, kui visuaalsete vastuste kvaliteet on järeldamise tõhususest olulisem.

Need on mudelite suurusel ja esitatud hindamistel põhinevad toimetuslikud kompromissid, mitte lubadused konkreetse võrdlustesti tulemuse kohta. Uurimus ei sisalda otseselt võrreldavat täpsusvõrdlust, riistvaraprofiili ega tokenite töötlemiskiiruse mõõtmist. Kasutajad peaksid katsetama just neid pilte, keeli ja dokumenditüüpe, mis on nende projekti jaoks olulised.

Kerge kohaliku prototüübi jaoks on Yi-VL-6B mõistlik lähtekoht. Nõudlikuma visuaalse arutluse korral või siis, kui saadaval on rohkem mudeliressurssi, võib eelistada Yi-VL-34B-d. Kumbagi ei tohiks valida üksnes sellepärast, et tegemist on multimodaalse mudeliga: mõlemal on endiselt suhteliselt lühike kontekst, ühe pildi töövoog ja tekstilised vastused.

Arutlus, kodeerimine ja tööriistade tugi

Yi-Vision suudab visuaalse sisu üle arutleda tavapärases tähenduses: pilti tõlgendada ja selle põhjal küsimusele vastata. Seda võib kasutada näiteks visuaalse juhise järgimiseks, diagrammi selgitamiseks või objekti kohta küsimusele vastamiseks. Olemasolevad andmed ei kinnita spetsiaalset arutlusrežiimi, mõttekäigu funktsiooni ega spetsiaalset arutluse võrdlustesti.

Laiemat Yi ökosüsteemi kirjeldatakse kodeerimist ja loogilist arutlust toetavana, kuid seda ei tohiks käsitleda garantiina, et Yi-Vision on spetsialiseerunud kodeerimismudel. Yi-Visioni põhivõimekus on visuaalne mõistmine. See võib potentsiaalselt arutada pildil kuvatud koodi või vastata tekstilistele viipadele, kuid esitatud uurimus ei kinnita nende visioonimudelite spetsiaalset koodigenereerimise skoori ega programmeerimisele keskendunud liidest.

Esitatud kirjete põhjal ei ole Yi-VL-6B ega Yi-VL-34B puhul kinnitatud tööriistade kasutamist, funktsioonikutseid, voogedastust, JSON-režiimi ega struktureeritud väljundit. Samuti ei ole kinnitatud nende konkreetsete avatud kaaludega väljalasete ametlikku hallatud lõpp-punkti. Rakendused, mis vajavad usaldusväärset tööriistade koordineerimist või masinloetavaid struktureeritud vastuseid, peaksid käsitlema neid funktsioone kättesaamatutena, välja arvatud juhul, kui neid kasutatavas juurutusprotsessis eraldi kinnitatakse.

Hinnastamine ja juurdepääs

Kummagi, Yi-VL-6B ega Yi-VL-34B, puhul ei ole ametlikku hallatud tokenipõhist hinda kinnitatud. Kuna tegemist on allalaaditavate avatud kaaludega väljalasetega, võib mudelifailid saada loetletud levituskanalite kaudu, kuid nende allalaadimine või käitamine ei tähenda tasuta piiramatut järeldamist. Kasutajal võivad siiski tekkida kulud riistvara, pilvearvutuse, salvestusruumi, arenduse ja hoolduse eest.

Uurimus ei kinnita ka nende mudelite praegust pakkuja API lõpp-punkti, tellimuspaketti, maksimaalse väljundi seadet ega teenusetaseme lepingut. Kättesaadavus ja hooldusolek on ebaselged. Enne Yi-Visioni kasutamist tootmises kontrollige, et mudelifailid, litsents, sõltuvused ja valitud majutuslahendus oleksid endiselt saadaval ning kavandatud kasutuseks sobivad.

Olulised piirangud

• Esimese väljalaske piirangud: ametlik mudelikaart toob välja hallutsinatsioonid, objektituvastuse probleemid ja ühe pildiga seotud piirangud.
• Lühike kontekst: dokumenteeritud konteksti pikkus on 4 096 tokenit, mis on pikkade vestluste või suurte dokumenditöövoogude jaoks tagasihoidlik.
• Ühe pildi põhine ülesehitus: dokumenteeritud töövoog kasutab ühte pilti, mistõttu keerukas mitme pildi võrdlemine ei ole kinnitatud.
• Eraldusvõime piirangud: sisendid muudetakse järeldamise ajal suurusele 448×448, mistõttu võib väikest teksti ja peeneid visuaalseid detaile olla keeruline tõlgendada.
• Meedia genereerimise puudumine: mudel tagastab teksti ning selle dokumenteeritud võimekuste hulka ei kuulu piltide, heli ega video loomine.
• Kinnitamata tootmisfunktsioonid: hallatud teenuse hinnastamist, ametlikku API-juurdepääsu, tööriistakutseid, voogedastust, JSON-režiimi ega maksimaalset väljundtokenite arvu ei ole kinnitatud.
• Teadmiste lõppkuupäeva ebakindlus: mudeli teadmiste selget lõppkuupäeva ei ole esitatud. 2024. aasta jaanuarini kättesaadavatele võrdlusandmetele viitamine ei tähenda ametlikku teadmiste lõppkuupäeva.

Need piirangud on eriti olulised ohutustundliku pilditõlgenduse, üksikasjaliku OCR-i, objektide peenekoelise tuvastamise ja garanteeritud struktureeritud väljundit nõudvate rakenduste puhul. Kui vigadel oleks oluline mõju, on soovitatav kasutada inimkontrolli või teist kontrollietappi.

Millal valida Yi-Vision

Valige Yi-Vision siis, kui vajate kohalikuks või privaatseks pildimõistmiseks avatud kaaludega mudelit ning teie töökoormus jääb selle dokumenteeritud ulatusse. See on mõistlik kandidaat kakskeelseteks visuaalseteks küsimusteks vastamiseks, pildikirjeldamise katseteks, OCR-i suunitlusega analüüsiks, ekraanipiltide tõlgendamiseks ja ise majutatavate multimodaalsete süsteemide uurimiseks. Yi-VL-6B on parem lähtekoht, kui prioriteediks on kiirus ja väiksem ressursivajadus; Yi-VL-34B sobib paremini siis, kui suurema mudeli jaoks on võimalik kasutada rohkem arvutusressurssi.

Teist tüüpi lahendus võib olla parem, kui vajate hallatud multimodaalset API-t, pikka kontekstiakent, usaldusväärset mitme pildi või video analüüsi, helisisendit, integreeritud tööriistu, garanteeritud struktureeritud väljundit või selgelt dokumenteeritud ärilist tugikorraldust. Yi-Vision sobib halvasti ka piltide genereerimise töövoogudesse, sest selle väljund on pildi asemel tekst.

Üldjoontes seisneb Yi-Visioni peamine eelis kontrollis: kasutajad saavad töötada allalaaditavate kakskeelsete visioonikeelemudelitega, selle asemel et sõltuda üksnes tarbijatele mõeldud vestlusrobotist või kinnitamata hallatud lõpp-punktist. Selle kompromiss on, et kasutaja peab juurutamist ise haldama ja leppima esimese avatud kaaludega väljalaske piirangutega, sealhulgas piiratud konteksti, ühe pildi töötlemise, ebakindla tootmistoe ja dokumenteeritud visuaalse tuvastuse puudujääkidega.

Allikad ja kontrollimärkused

Mudelite spetsifikatsioonid ja väljalaseteave põhinevad 01.AI Yi repositooriumil, Yi-VL-6B ja Yi-VL-34B ametlikel Hugging Face'i mudelikaartidel ning uurimistööl Yi: Open Foundation Models by 01.AI. Väited hinnastamise, API-juurdepääsu ja dokumenteerimata funktsioonide kohta on teadlikult kvalifitseeritud, sest esitatud allikad ei kinnita neid.