Mis on Yi-VL-6B?
Yi-VL-6B on 01.AI 6 miljardi parameetriga avatud kaaludega visiooni-keele mudel. Visiooni-keele mudel ühendab pilditöötluskomponendi keelemudeliga: see saab visuaalset teavet ja kirjaliku juhise ning genereerib seejärel tekstilise vastuse. Yi-VL-6B puhul toetab mudel suhtlust, kus sisendiks on tekst ja üks pilt ning väljundiks tekst.
Mudel avaldati 23. jaanuaril 2024 ning see on iseseisvaks juurutamiseks saadaval avalikes mudelirepositooriumides, sealhulgas Hugging Face'is ja ModelScope'is. Esitatud uuringus ei käsitleta seda praegu ametliku majutatud järeldusmudeli teenusena, millel oleks avaldatud märgipõhine hinnastus. See erinevus on oluline: Yi-VL-6B kasutamine tähendab üldjuhul seda, et peate ise haldama mudelit, käituskeskkonda ja sobivat GPU-taristut, mitte saatma päringuid esimese osapoole hallatavale API-le.
Yi-VL-6B kuulub Yi mudelite perekonda ning laiendab Yi-6B-Chat keelemudelit visuaalse mõistmise võimekusega. 01.AI laiemas tootekataloogis on see spetsialiseeritud avatud kaaludega teadus- ja arendusmudel, mitte tarbijatele mõeldud vestlusroboti pakett ega täielik multimodaalne meedialoome süsteem.
Milleks on Yi-VL-6B loodud?
Mudeli peamine eesmärk on vastata pildi kohta esitatud küsimustele ja korrastada pildilt leitud teavet. Kasutaja võib koos viibaga esitada foto, dokumendipildi, diagrammi või muu toetatud visuaalse sisendi, näiteks küsimuse, kirjeldussoovi või andmete eraldamise juhise.
- Visuaalne küsimustele vastamine: pildil kujutatu kohta küsimine või nähtaval sisul põhineva vastuse palumine.
- Pildi kirjeldamine: stseeni või dokumendi tekstilise kirjelduse genereerimine.
- OCR-i toetatud mõistmine: pildil nähtava teksti tuvastamine ja kasutamine.
- Teabe eraldamine: mudelilt visuaalsest allikast pärinevate üksikasjade tuvastamise või korrastamise palumine.
- Pildi kokkuvõtete loomine: pildi sisu või tähenduse lühema selgituse koostamine.
- Kakskeelsed pildivestlused: pildi ja teksti kombinatsioonil põhinev suhtlus inglise või hiina keeles, sealhulgas mitme vooruga vestlus sama pildi üle.
Need võimalused muudavad Yi-VL-6B sobivaks näiteks diagrammi kohta küsimuste esitamiseks, vormilt nähtavate väljade eraldamiseks, tootefoto kirjeldamiseks või pildina jäädvustatud lehekülje kokkuvõtte tegemiseks. Mudel tagastab teksti; see ei loo uut pilti, helisalvestist ega videot.
Sisendid, väljundid ja vestluse piirangud
Yi-VL-6B toetab kahte sisendtüüpi: teksti ja pilte. Mudelikaardil kirjeldatakse vestluse piiranguna ühte pilti. Seetõttu ei tohiks seda valida töövoogudeks, kus ühes päringus on vaja mitut eraldiseisvat pilti, mitme üleslaaditud pildi võrdlust või pikka visuaalsete viidete jada.
Selle väljund on ainult tekst. Mudel suudab vastuses visuaalset sisu kirjeldada või selle üle arutleda, kuid sellel puudub kinnitatud loomupärane pildi-, heli- või videoväljundi võimekus. Esitatud mudelispetsifikatsioonides ei ole heli ega videot toetatud sisendtüüpidena märgitud.
Avaldatud konfiguratsioonis on maksimaalseks positsioonimanuste arvuks märgitud 4096 ning genereerimiskonfiguratsioonis on maksimaalne pikkus 4096. Need väärtused kirjeldavad mudeli märgipositsioonide ja genereerimise konfiguratsiooni, mitte garantiid, et iga viip ja vastus sisaldab 4096 kasulikku märki. Praktikas peaks kasutaja jätma ruumi pildi esitusele, juhistele, vestlusajaloole ja genereeritavale vastusele, mitte eeldama, et kogu piirang on saadaval tavalise teksti jaoks.
Järeldamise ajal töödeldakse pilte eraldusvõimega 448×448. Seega muudetakse suurem lähtepilt väiksemaks, mitte ei uurita seda automaatselt algse detailsusega. Väike tekst, diagrammide peened tähised, kaugel paiknevad objektid või tihe dokumendipaigutus võivad selle protsessi käigus teavet kaotada. Eraldusvõime 448×448 on oluline praktiline piirang OCR-i ja üksikasjaliku visuaalse kontrolli puhul.
Kuidas mudel on üles ehitatud
Yi-VL-6B kasutab LLaVA-laadset multimodaalset arhitektuuri. Selle visioonikomponent on CLIP ViT-H/14 transformer, mis teisendab pildi visuaalseteks tunnusteks. Kahekihiline mitmekihilise pertseptroni projektsioonimoodul koos kihi normaliseerimisega teisendab need tunnused kujule, mida keelemudel saab kasutada. Keelekomponent lähtestatakse mudelist Yi-6B-Chat ja see genereerib lõpliku vastuse.
Avaldatud konfiguratsioonis on märgitud bfloat16 kaalud ja 4096 positsiooniga konfiguratsioon. Ametlikul mudelikaardil on järeldamise näidistöötlusvahenditena loetletud NVIDIA RTX 3090, RTX 4090, A10 ja A30 GPU-d. Need näited näitavad, et kohalik juurutamine on võimeka ühe GPU või võrreldava keskkonna puhul praktiline, kuid täpne mälukasutus ja töökiirus sõltuvad rakendusest, täpsusest, pakktöötlusest ja ümbritsevast tarkvarast.
See arhitektuur selgitab nii mudeli kasulikkust kui ka piiranguid. Keelemudel pakub vestluslikku ja kakskeelset teksti genereerimist, visioonikodeerija aga fikseeritud eraldusvõimega visuaalset esitust. Süsteem ei ole üldotstarbeline pildiredaktor ega suure eraldusvõimega dokumendianalüüsi töövoog.
Arutlus, kodeerimine ja praktiline võimekus
Yi-VL-6B suudab teostada visuaalset arutlust piiratud tähenduses: vastata küsimustele, mille puhul tuleb ühendada pilt kirjaliku juhisega. Näiteks võib paluda mudelil tuvastada objekti, selgitada nähtavat stseeni või eraldada pildilt teavet. Esitatud hindamisandmetes on selle subjektiivseks arutlusskooriks 4 punkti 10-st; see on toimetuslik võrdlusskoor, mitte teenusepakkuja avaldatud võrdlustulemus.
Selle kodeerimisskoor on 3 punkti 10-st, samuti toimetuslik hinnang. Yi-VL-6B suudab viipadele vastuseks teksti genereerida ning võib aidata lihtsate pildiga seotud eraldamis- või vormindamisülesannete puhul, kuid esitatud uuring ei kinnita spetsiaalset koodi käivitamise, tarkvaraagendi käitumise ega tugeva programmeerimisvõimekuse olemasolu. Seda ei tohiks pidada kodeerimismudeliks üksnes seetõttu, et selle tekstiväljund võib sisaldada koodi.
Funktsioonikutsete, tööriistade kasutamise, voogedastuse, struktureeritud JSON-väljundi, peenhäälestuse, vahemällu salvestamise ega pakktöötluse API-de kinnitatud tuge ei ole loetletud. Seetõttu tuleks neid omadusi pidada kinnitamata, mitte eeldada nende olemasolu. Mudel on mõeldud otse majutatavaks multimodaalseks järeldamiseks, mitte paljude funktsioonidega hallatava API töövoo jaoks.
Peamised tugevused
- Juurdepääs avatud kaaludele: arendajad saavad mudelit kontrollida ja käitada vastavalt kohaldatavale Yi Series Models Community License'ile, sõltumata üksnes esimese osapoole majutatud lõpp-punktist.
- Kakskeelne suhtlus: mudel on loodud inglise- ja hiinakeelseteks pildi-teksti vestlusteks.
- Kasulikud visuaal-tekstülesanded: visuaalne küsimustele vastamine, pildi kirjeldamine, OCR-iga seotud mõistmine, teabe eraldamine ja kokkuvõtete loomine vastavad selgelt mudeli avaldatud eesmärgile.
- Kohalik kontroll: isemajutamine võib olla kasulik, kui organisatsioon peab hoidma pildisisendid enda keskkonnas või soovib kontrollida järeldamise taristut.
- Mõõdukas juurutusnõue: ametlikul mudelikaardil toodud RTX 3090, RTX 4090, A10 ja A30 näited muudavad selle mõne kohaliku arendaja jaoks hõlpsamini kasutatavaks kui väga suured multimodaalsed mudelid.
Esitatud uuringus on kuluskoor 8 punkti 10-st ja kiirusskoor 7 punkti 10-st. Need on toimetuslikud hinnangud, mitte avaldatud hinnad ega standardiseeritud võrdlustulemused. Need kajastavad mudeli suhteliselt väikest mahtu ja isemajutatavat olemust, kuid tegelik kiirus ja kogukulu sõltuvad riistvarast, kvantimisest, rakendusest ja töökoormusest.
Piirangud, millega arvestada
Kõige olulisem piirang on ühe pildi ja eraldusvõimega 448×448 töötlemise ülesehitus. Yi-VL-6B võib sobida üldiseks stseeni mõistmiseks, kuid on vähem sobiv üksikasjalike dokumentide, väga väikese teksti, peenekoelise visuaalse võrdluse ja ülesannete jaoks, kus algne eraldusvõime on oluline. Vähendamine võib teabe eemaldada enne, kui keelemudel selleni jõuab.
Mudelikaart hoiatab ka, et Yi-VL-6B võib objekte või detaile hallutsineerida. Mitme objekti esinemisel samas stseenis võib see objekte valesti tuvastada või anda ebapiisavaid kirjeldusi. Seetõttu tuleks vastuseid visuaalse täpsuse seisukohalt olulistes olukordades kontrollida, eriti OCR-i, äridokumentide, ohutusega seotud tõlgenduste või pildisisul põhinevate otsuste puhul.
Yi-VL-6B on 2024. aasta alguses avaldatud avatud kaaludega mudel. Esitatud uuring ei kinnita eesrindlikku jõudlust keeruka multimodaalse arutluse, mitme pildi analüüsi, tööriistade kasutamise ega tootmiskeskkonna hallatavate API-toimingute puhul. Samuti ei esita see kinnitatud mudeli teadmiste lõppkuupäeva. Mudelikaardil leiduvat viidet 2024. aasta jaanuari võrdlusandmetele ei tohiks tõlgendada ametliku teadmiste lõppkuupäevana.
Ka litsents vajab tähelepanu. Mudelirepositoorium kirjeldab Yi Series Models Community License'i ning selle metaandmetes on märgitud Apache 2.0, kuid ärikasutusele kehtivad kohaldatava Yi litsentsi tingimused ja loamenetlus. Organisatsioonid peaksid enne juurutamist litsentsi otse üle vaatama.
Hinnastus ja juurutusmudel
Yi-VL-6B puhul ei ole kinnitatud ametlikku sisend- ega väljundmärgi hinda. Mudel on esitatud uuringus saadaval avatud kaaludega isemajutatava süsteemina, mitte mudelina, millel oleks dokumenteeritud esimese osapoole majutatud hind. See tähendab, et rahaline kompromiss seisneb peamiselt taristu- ja arenduskuludes: GPU-juurdepääs, salvestusruum, keskkonna seadistamine, hooldus ja järeldamise käitamisega seotud tegevuskulud.
Isemajatus võib olla korduvate töökoormuste või privaatsustundliku pilditöötluse puhul atraktiivne, eriti kui sobiv riistvara on juba olemas. Majutatud multimodaalne teenus võib olla sobivam, kui meeskond soovib prognoositavat seadistust, automaatset skaleerimist, hallatud uuendusi või dokumenteeritud tööriista- ja struktureeritud väljundi funktsioonidega API-t. Valik ei seisne lihtsalt tasuta ja tasulise kasutuse vahel: avatud kaalud eemaldavad teenusepakkuja märgipõhise tasu, kuid ei kaota arvutus- ega hoolduskulusid.
Millal valida Yi-VL-6B?
Valige Yi-VL-6B, kui vajate kohapeal hallatavat mudelit inglise ja hiina keele kakskeelseks pildimõistmiseks ning teie töövoog saab töödelda korraga ühte pilti. See on mõistlik valik visuaalse küsimustele vastamise prototüüpimiseks, avatud kaaludega multimodaalsete süsteemidega katsetamiseks, piltidelt üldise teabe eraldamiseks või ettevõttesisese tööriista loomiseks, kui kohalik järeldamine on uuematest visuaalsetest võimekustest olulisem.
Selle suhteliselt kompaktne ülesehitus võib sobida ka arendajatele, kes eelistavad palju suurema multimodaalse mudeliga võrreldes väiksemaid taristunõudeid, isegi kui see tähendab mõningast tajukvaliteedi kadu. Kõige paremini sobib see kontrollitud töövoogu, kus kasutajad saavad tulemusi üle vaadata ja kus mõõdukas visuaalne eraldusvõime on piisav.
Teine võimalus on tõenäoliselt sobivam, kui vajate suure eraldusvõimega dokumentide OCR-i, mitut pilti ühes päringus, rahvarohketes stseenides usaldusväärset objektitaseme analüüsi, loomupärast pildi- või heliloomet, tootmiskeskkonna tasemel majutatud API-sid, funktsioonikutseid või täiustatud tööriistu kasutavaid agente. Uuem eesrindlik visiooni-keele süsteem võib pakkuda paremat keerukat arutlust ja visuaalset detailsust, samas kui spetsialiseeritud OCR-i või dokumendimõistmise teenus võib täpse teksti eraldamise puhul olla usaldusväärsem. Yi-VL-6B väärtus seisneb avatud kaaludega, kakskeelses ja kohalikus pildi-teksti võimekuses – see ei ole täielik asendus kõigile tänapäevastele multimodaalsetele süsteemidele.
Kokkuvõte
Yi-VL-6B on keskendunud avatud kaaludega visiooni-keele mudel üksikute piltide põhjal kakskeelse teksti genereerimiseks. Selle Yi-6B-Chat keelepõhi, CLIP ViT-H/14 visioonikodeerija, 4096 positsiooniga konfiguratsioon ja 448×448 pilditöötlus muudavad selle sobivaks kohalikuks visuaalseks küsimustele vastamiseks, kirjelduste koostamiseks, OCR-i toetatud mõistmiseks, teabe eraldamiseks ja kokkuvõtete loomiseks. Selle peamised kompromissid on sama selged: üks pilt vestluse kohta, ainult tekstiväljund, kinnitatud majutatud hinnastuse või API funktsioonikomplekti puudumine, piiratud eraldusvõime ja teadaolev visuaalsete hallutsinatsioonide risk. Arendajatele, kes hindavad kohalikku kontrolli ja hallatava suurusega kakskeelset mudelit, on see endiselt kasulik; üksikasjaliku, mitme pildiga, väga usaldusväärse või täielikult hallatava multimodaalse tootmiskasutuse puhul võib mõni muu lahendus paremini sobida.