Mis on Yi-VL-34B?
Yi-VL-34B on 01.AI 23. jaanuaril 2024 avaldatud avatud kaaludega multimodaalne nägemis-keelemudel. Mudel võtab sisendina vastu nii teksti kui ka pilte ning genereerib tekstivastuseid. Praktikas võib kasutaja esitada pildi koos küsimusega, näiteks „Milline teave selles dokumendis sisaldub?“ või „Kirjelda selles stseenis olevaid objekte“, ning mudel vastab inglise või hiina keeles.
Mudel kuulub 01.AI Yi mudelite perekonda, kuid see ei ole lihtsalt tekstipõhine keelemudel, millele on rakenduse tasandil piltide üleslaadimise võimalus lisatud. Yi-VL-34B ühendab keelemudeli ja nägemis-enkoodri, et muuta visuaalne teave esitusteks, mida keelemudel suudab tõlgendada. Tulemuseks on mudel, mis on mõeldud visuaalseks küsimustele vastamiseks, piltide kirjeldamiseks, pildil oleva teksti tuvastamiseks, teabe eraldamiseks ja ühe pildi teemal peetavateks mitmevoorulisteks vestlusteks.
Avaldatud kaalude tõttu on see eelkõige ise hostitav või teadustöödele suunatud mudel. Kaasasolev dokumentatsioon ei kinnita Yi-VL-34B jaoks praegu saadaolevat esimese osapoole hostitud API-toodet ega märgipõhist hinnastust.
Yi-VL-34B koht 01.AI mudelivalikus
01.AI arendab Yi alusmudelite perekonda ning pakub ka laiemalt ettevõtetele mõeldud tehisintellekti-, agentide, mudelite juurutamise, peenhäälestuse ja privaatse juurutamise teenuseid. Yi-VL-34B paikneb selle ökosüsteemi nägemis-keelemudelite osas. Selle roll on kitsam kui üldotstarbelisel tarbijaabil: tegemist on allalaaditava mudeliga, mis tõlgendab pilte ja vastab küsimustele teksti abil.
Seetõttu tuleks mudelit hinnata avatud kaaludega nägemis-keelemudelina, mitte tervikliku vestlusroboti platvormina. Olemasolevad materjalid ei kinnita integreeritud veebiotsingut, püsivat mälu, tarbijatele mõeldud tellimuspaketti, natiivset piltide genereerimist, heli- või videogenereerimist ega sellele mudelile pühendatud praegust hostitud teenust.
Toetatud sisendid ja väljundid
Yi-VL-34B toetab kahte tüüpi sisendeid:
- Tekst: küsimused, juhised, kirjeldused ja jätkusõnumid.
- Pildid: analüüsimiseks, küsimustele vastamiseks, tuvastamiseks või teabe eraldamiseks esitatud visuaalne sisu.
Selle väljund on tekst. Mudel ei genereeri pilte, heli, videot, kõnet, muusikat, manuseid ega muid eraldi dokumenteeritud meediaväljundeid. See eristus on oluline, sest „multimodaalne“ kirjeldab mudeli võimet töödelda rohkem kui üht sisenditüüpi; see ei tähenda, et mudel toodaks igat tüüpi meediat.
Mudeli dokumentatsioon kirjeldab inglise ja hiina keeles suhtlemist, pildil oleva teksti tuvastamist, visuaalset mõistmist ning ühe pildiga seotud mitmevoorulisi teksti-pildi vestlusi. Avaldatud pildimõistmise eraldusvõime on 448 × 448 pikslit. Kaasasolev uurimismaterjal ei kinnita mitme pildi kasutamist ühes vestluses, video- ega helisisendit ega dokumendipõhist analüüsi, mis läheks kaugemale mudeli üldistest pildi- ja tekstivõimalustest.
Arhitektuur ja konteksti piirang
Yi-VL-34B kasutab LLaVA-laadset arhitektuuri. CLIP ViT-H/14 nägemistranformer kodeerib pildi, projektsioonimoodul joondab visuaalsed tunnused keelelise esitusega ning Yi-34B-Chat keelemudel genereerib vastuse. See lahendus võimaldab keelekomponendil arutleda pildist eraldatud teabe üle, käsitledes samal ajal tavapäraseid tekstipäringuid.
Avaldatud konfiguratsioonis on 60 transformerkihti, peitmõõt 7 168 ja maksimaalne positsioonipikkus 4 096 märki. 4 096 märgi suurus on dokumenteeritud konteksti piirang, mitte garanteeritud sõnade või tähemärkide arv. Nägemis-keelelises suhtluses võivad vestluseks kasutatavat ruumi mõjutada ka pildi sisemine esitus ning kasutaja päringute ja varasemate sõnumite pikkus.
Kaasasolevas mudeliteabes ei ole maksimaalset väljundimärkide arvu kinnitatud. Kasutajad ei peaks eeldama, et mudelil on lisaks märgitud kontekstikonfiguratsioonile eraldi dokumenteeritud pika teksti genereerimise piirang.
Milleks Yi-VL-34B sobib?
Visuaalne küsimustele vastamine
Mudeli peamine kasutusotstarve on pildi kohta küsimustele vastamine. Näiteks saab selle abil küsida pildil nähtavate objektide, stseeni sisu, elementidevaheliste lihtsamate seoste või pildil esitatud teabe kohta. See muudab mudeli asjakohaseks piltide uurimise tööriistades, visuaalse otsingu prototüüpides, haridusrakendustes ja uurimistöödes, kus on vaja visuaalse sisu tekstilist selgitust.
Pildil oleva teksti tuvastamine ja eraldamine
Yi-VL-34B dokumenteeritud võimekuste hulka kuulub ka pildil oleva teksti tuvastamine. Kasutaja võib esitada teksti sisaldava pildi ning paluda mudelil seda lugeda, kokku võtta, tõlkida või asjakohane teave eraldada. Tulemusi tuleks siiski kontrollida, kui lähtepilt on udune, tiheda vormistusega või ebatavalises stiilis või kui see on oluline nõuete täitmise või äriotsuste seisukohast. Olemasolevad materjalid kinnitavad võimekuse kategooriat, kuid ei esita iga dokumenditüübi jaoks garanteeritud täpsusmäära.
Vestlused inglise ja hiina keeles
Inglise ja hiina keele tugi on üks mudeli selgemaid eristavaid omadusi. Seda saab kasutada kakskeelseks visuaalseks küsimustele vastamiseks ning teksti-pildi vestlusteks, mis võib olla kasulik, kui pildil olevat teavet tuleb arutada kummaski keeles. Uurimismaterjal ei kinnita ühesugust tulemuslikkust kõigis murretes, valdkondades, pilditüüpides ega tõlkeülesannetes, mistõttu ei tohiks kakskeelset tuge tõlgendada professionaalse tõlkekvaliteedi garantiina.
Ühe pildi mitmevooruline arutelu
Mudeli kirjeldus hõlmab ühe pildiga peetavaid mitmevoorulisi vestlusi. See võimaldab kasutajal esitada esmase küsimuse ja seejärel paluda täpsustusi, täiendavat teabe eraldamist või teistsugust selgitust, ilma et iga kord tuleks saata täiesti uus ja eelnevast sõltumatu päring. Dokumenteeritud piirang on oluline: kaasasolev uurimismaterjal ei kinnita üldist mitme pildi vestluse töövoogu.
Jõudlus, riistvara ja kiiruse kompromissid
01.AI teatas, et Yi-VL-34B saavutas 2024. aasta jaanuarini kättesaadava võrdlusandmestiku põhjal MMMU ja CMMMU testides olemasolevate avatud lähtekoodiga mudelite seas esikoha. Need on ajaloolised teenusepakkuja esitatud hindamisväited. Need kirjeldavad mudeli positsiooni tollases võrdluskomplektis ning neid ei tohiks käsitleda praeguse edetabelikohana ega konkreetse rakenduse jõudluse garantiina.
Mudeli kirjeldus soovitab kasutada märkimisväärset järeldusriistvara: nelja RTX 4090 GPU-d või 80 GB mäluga A800 GPU-d. See nõue on praktilisest vaatenurgast väga oluline. Yi-VL-34B ei ole mõeldud kerge mudelina tavalisel sülearvutil või väikeses ühe GPU-ga juurutuses kasutamiseks. Selle 34 miljardi parameetri ja multimodaalse arhitektuuriga võib olla sobiv alus piisava taristuga organisatsioonidele, kuid riistvaravajadus võib suurendada seadistamiskulusid ja vähendada juurutamise paindlikkust.
Kaasasolevas toimetuslikus hinnangus saab mudel kiiruse eest 3 punkti 10-st, kulude eest 8 punkti 10-st, arutlusvõime eest 6 punkti 10-st ja kodeerimise eest 5 punkti 10-st. Need on toimetuslikud hinnangud, mitte 01.AI avaldatud skoorid. Kuluhinnang peegeldab allalaaditavate kaalude atraktiivsust juhul, kui organisatsioonil on riistvara juba olemas, mitte kinnitatud hostitud teenuse hinda. Mudel ei ole eelkõige kodeerimismudel ning selle kodeerimisskoori ei tohiks kasutada tõendina teenusepakkuja testitud kodeerimise võrdlustulemuse kohta.
API-juurdepääs, tööriistad ja hinnastamine
Yi-VL-34B jaoks ei ole praegu kinnitatud esimese osapoole hostitud API kättesaadavust. Mudel on saadaval allalaaditavate avatud kaaludena ning kaasasolevad allikad ei esita selle konkreetse mudeli kohta kehtivat sisendmärgi hinda, väljundmärgi hinda, tellimuse hinda ega garanteeritud hallatud lõpp-punkti.
Tööriistade kasutamist ja funktsioonikutseid ei ole kinnitatud. Kaasasolev uurimismaterjal ei kinnita ka struktureeritud väljundi jõustamist, voogedastust, puhverdamist, pakktöötlust ega peenhäälestuse tuge. Need funktsioonid võivad tootmisrakendustes olla olulised, mistõttu ei tohiks nende olemasolu järeldada üksnes mudeli teksti genereerimise või mitmevoorulistes vestlustes osalemise võime põhjal.
Kaasasoleva mudeliteabe kohaselt reguleerib mudelit Yi Series Models Community License Agreement 2.1. Organisatsioonid peaksid selle litsentsi ja kõik kohaldatavad juurutamiskohustused üle vaatama, enne kui kasutavad kaalusid äriliselt või levitavad nende abil loodud süsteemi.
Tugevused ja piirangud
Tugevused:
- Avatud kaalude levitamine, mis toetab ise hostitavat katsetamist ja juurutamist.
- Teksti ja piltide mõistmine ühes mudelis.
- Visuaalne suhtlus inglise ja hiina keeles.
- Visuaalse küsimustele vastamise, pildil oleva teksti tuvastamise ja teabe eraldamise tugi.
- Ühe pildi teemal peetav mitmevooruline arutelu.
- Dokumenteeritud arhitektuur ja konfiguratsioon, mis aitavad tehnilistel meeskondadel juurutamisnõudeid hinnata.
Piirangud:
- Soovitatud riistvaravajadus on suur: mudeli kirjelduses on viidatud neljale RTX 4090 GPU-le või 80 GB mäluga A800 GPU-le.
- Maksimaalne positsioonipikkus on 4 096 märki.
- Väljund on ainult tekst; mudel ei genereeri pilte, heli, videot ega kõnet.
- Selle konkreetse mudeli puhul ei ole kinnitatud praegust hostitud API-t, hinnastust ega maksimaalset väljundimärkide arvu.
- Tööriistade kasutamist, struktureeritud väljundeid, voogedastust, pakktöötlust, puhverdamist ega peenhäälestust ei ole kinnitatud.
- Ajaloolised võrdlustestide väited ei pruugi kajastada tulemuslikkust uuemate nägemis-keelemudelitega võrreldes.
Millal valida Yi-VL-34B?
Yi-VL-34B on mõistlik valik, kui peamine vajadus on ise hostitav kakskeelne pildimõistmine ning organisatsioonil on suure avatud kaaludega mudeli käitamiseks piisavalt GPU-võimsust. See võib sobida uurimisprojektidele, privaatsetele visuaalsete dokumentide töövoogudele, pildipõhistele küsimustele vastavatele süsteemidele ja prototüüpidele, kus järelduste tegemise hoidmine organisatsiooni kontrolli all on olulisem kui hallatud API kasutamine.
See sobib halvemini olukordadesse, kus prioriteediks on väikese kuluga või väikese latentsusega järeldamine, lihtne juurdepääs hostitud lõpp-punkti kaudu, pikk kontekst, garanteeritud struktureeritud väljund, natiivne tööriistade kasutamine või terviklik tarbijaabilise kogemus. Kui peamised piirangud on riistvara ja vastuse kiirus, võib sobivam olla väiksem nägemis-keelemudel. Uuem hallatud multimodaalne mudel võib olla eelistatav, kui meeskond vajab dokumenteeritud API-hinnastust, tootmistuge, värskeid võrdlustulemusi või integreeritud tööriistu. Suuremahulise dokumendieralduse puhul võib spetsiaalne OCR-süsteem olla parem valik, kui usaldusväärne tekstituvastus ja küljenduse käsitlemine on olulisemad kui vabas vormis visuaalne vestlus.
Kokkuvõttes põhineb Yi-VL-34B atraktiivsus allalaaditavate kaalude, kakskeelse visuaalse mõistmise ja selgelt kirjeldatud nägemis-keelelise arhitektuuri kombinatsioonil. Selle praktiline väärtus sõltub suuresti sellest, kas kasutaja suudab põhjendada mudeli käitamiseks vajalikke riistvara- ja halduskulusid. Mudel tuleks valida kontrollitud pildimõistmise töökoormuste jaoks, mitte käsitleda seda hostitud multimodaalsete abiliste või spetsialiseeritud meediatöötlussüsteemide üldise asendusena.