Llama 3.2 11B Vision Instruct

Mis on Llama 3.2 11B Vision Instruct?

Llama 3.2 11B Vision Instruct on Meta avatud kaaludega mudel piltide mõistmiseks ja teksti genereerimiseks. Selle kanooniline mudelitunnus on meta-llama/Llama-3.2-11B-Vision-Instruct. Erinevalt ainult teksti töötlevast keelemudelist saab see koos tekstipõhise juhisega sisendiks võtta ka pildi ning koostada pildi kohta tekstilise vastuse.

Tüüpilised päringud on näiteks küsimused selle kohta, mida fotol kujutatakse, teabe väljavõte dokumendipildist, stseeni kirjeldamine, diagrammi tõlgendamine või küsimusele vastamine joonise põhjal. Mudel ei genereeri otse pilte, heli ega videot: dokumenteeritud väljund on tekst.

Meta avaldas mudeli 25. septembril 2024 Llama 3.2 mudeliperekonna osana. Perekonda kuuluvad ka suurem Llama 3.2 90B Vision ning väiksemad ainult teksti töötlevad 1B ja 3B mudelid. Need mudelid annavad perekonnast kasulikku taustateavet, kuid Llama 3.2 11B Vision Instruct on mõeldud eelkõige multimodaalseteks rakendusteks, kus on vaja tasakaalu visuaalsete võimete ja juurutamise mahu vahel.

Arhitektuur ja toetatud modaalsused

Mudel põhineb Meta Llama 3.1 tekstimudelil, millele on lisatud eraldi treenitud visiooniadapter. Adapter kasutab risttähelepanu kihte, et ühendada pildikodeerija esitlused keelemudeliga. Praktikas võimaldab see keelemudelil enne vastuse koostamist visuaalset teavet arvesse võtta.

Avaldatud konfiguratsioon sisaldab ligikaudu 10,6 miljardit parameetrit ja kasutab grupeeritud päringutega tähelepanu (grouped-query attention), mille eesmärk on parandada järeldamise skaleeritavust. Mudel toetab 128K märgi pikkust konteksti. Konteksti pikkus kirjeldab tekstihulka ja muud toetatud juhise teavet, mida saab ühe päringu puhul arvesse võtta; see ei taga, et iga juurutus kogu piirangut kasutada võimaldab, sest teenindusraamistikud ja riistvara võivad seada omad piirangud.

Mudel on mõeldud peamiselt ingliskeelseteks multimodaalseteks rakendusteks. Mudeli dokumentatsiooni kohaselt toetab ainult teksti kasutus ametlikult inglise, saksa, prantsuse, itaalia, portugali, hindi, hispaania ja tai keelt. Uuringud ei määra eraldi maksimaalset väljundmärgiste piirangut, mistõttu sõltub tegelik väljundipiir teenindusraamistikust ja päringu jaoks alles jäävast kontekstist.

Mida see hästi teha suudab

Llama 3.2 11B Vision Instruct on loodud visuaalsele küsimustele vastamiseks, piltide kirjeldamiseks, visuaalseks arutlemiseks, dokumentide visuaalseks küsimustele vastamiseks, pildi ja teksti otsinguks ning visuaalseks ankurdаmiseks. Need võimekused hõlmavad nii vabas vormis pilditeemalisi vestlusi kui ka struktureeritumaid ülesandeid.

• Visuaalsetele küsimustele vastamine: vastab pildil olevate objektide, stseenide, seoste ja nähtavate detailide kohta esitatud küsimustele.
• Piltide kirjeldamine: koostab foto või muu visuaalse sisendi kirjelduse.
• Dokumentide analüüs: vastab skannitud lehtedel, vormidel ja muudel dokumendipiltidel kuvatud teavet puudutavatele küsimustele.
• Diagrammide ja jooniste tõlgendamine: selgitab nähtavaid suundumusi, silte ja seoseid, kui neid saab esitatud visuaalilt välja lugeda.
• Visuaalne ankurdus: seob vastuse osi asjakohase visuaalse sisuga.
• Multimodaalsed assistendid: ühendab kirjalikud juhised piltidega näiteks privaatsetes teadmiste tööriistades, ligipääsetavusliidestes ja visuaalse toe töövoogudes.

Need on mudeli võimekused, mitte täpsuse garantiid. Väike tekst, ebatavaline paigutus, halva kvaliteediga pildid, ebaselged visuaalsed seosed ja vastandlik sisu võivad põhjustada valesid vastuseid. Rakendused, mis sõltuvad täpsest andmeväljavõttest, peaksid mudeli vastust kontrollima algse pildi põhjal või kasutama täiendavaid kontrollietappe.

Arutlemine, programmeerimine ja tööriistade tugi

Mudel suudab praktilises mõttes visuaalselt arutleda: ühendada pildi küsimusega, tuvastada asjakohased detailid ja koostada selgituse. Siin ei käsitleta seda eraldi turundatava arutlusmudelina, millel oleks spetsiaalne arutlusrežiim või garanteeritud mõttekäigu käitumine. Esitatud toimetuslik hinnang annab selle arutlusvõimekusele 7 punkti 10-st, kuid see on võrdlev toimetuslik hinnang, mitte Meta võrdlustest ega teenusepakkuja avaldatud tulemus.

Mudel suudab genereerida koodi ja seda saab kasutada programmeerimisega seotud töövoogudes, eriti siis, kui arendaja soovib programmeerimisülesande kõrval arutada ekraanipilti, diagrammi või dokumenti. Esitatud toimetuslik programmeerimishinne on 6 punkti 10-st ning seda tuleks samuti käsitleda hinnangu, mitte kontrollitud tarnijamõõdikuna. Mudel ei ole eelkõige mõeldud spetsiaalseks programmeerimismudeliks.

Meta ametlik juhisevormingu dokumentatsioon kirjeldab Llama 3.2 Visioni mudelite tööriistakutsete vorminguid. Näidetena on toodud koodi tõlgendamine, Brave Search ja Wolfram Alpha. Need tööriistad ei ole allalaaditavasse mudelisse sisse ehitatud. Mudel genereerib tööriistakutse, samal ajal kui ümbritsev rakendus peab tööriista käivitama, tulemuse tagastama ja vestlust haldama.

Oluline piirang on see, et dokumenteeritud viitevormingu järgi ei tööta tööriistakutsed koos pildipõhiste juhistega. Arendajad ei tohiks seetõttu eeldada, et pilti sisaldav päring saab tööriistu välja kutsuda samamoodi nagu ainult tekstipõhine päring. Rakendus võib vajada visuaalanalüüsi eraldamist sellele järgnevast tööriistakasutusest või oma orkestreerimisloogika rakendamist.

Juurutamine ja hinnastamine

Meta levitab Llama 3.2 11B Vision Instructi avatud kaaludega mudelina ega paku sellele täpsele mudelile tavalist Meta hostitud märgipõhist API-hinda. Seetõttu ei ole esitatud uuringus kontrollitud teenusepakkuja hostitud sisend- ega väljundhinda. Kulud sõltuvad juurutusviisist: kohalikust riistvarast, renditud arvutusressursist, hallatud kolmanda osapoole järeldusteenuse pakkujast, mudeli täpsusest, kvantimisest, päringute mahust ja kasutusastmest.

Mudeli saab alla laadida Meta ametlikest repositooriumidest ja Hugging Face'ist. Ühilduvate juurutusviiside hulka kuuluvad Transformers, vLLM, SGLang, llama.cpp-ga ühilduvad teisendusvood ning muud kolmandate osapoolte käituskeskkonnad, kuigi tugi ja jõudlus võivad rakenduseti erineda. Täielik BF16-mudel vajab oluliselt rohkem mälu, kui üksnes nominaalne parameetrite arv eeldaks. Kvantiseeritud versioonid võivad mälunõudeid vähendada, kuid võivad kaasa tuua kompromisse kvaliteedis, ühilduvuses või toetatud funktsioonides.

Mudeli kasutamist reguleerivad Llama 3.2 Community License ja kohaldatav Acceptable Use Policy. Kommertsjuurutamist kavandavad meeskonnad peaksid need tingimused otse üle vaatama ega tohiks käsitleda avatud kaaludega mudeli kättesaadavust piiramatu kasutusõiguse sünonüümina.

Tugevused ja piirangud

Peamised tugevused

• Juurutamine avatud kaaludega mudelina: arendajad saavad hinnata kohalikku või privaatset hostimist, selle asemel et sõltuda ainult teenusepakkuja hallatavast lõpp-punktist.
• Kasulik multimodaalne tasakaal: 11B Visioni konfiguratsioon on väiksem kui Meta 90B Visioni sõsarmudel, kuid säilitab piltide ja teksti töötlemise võimekuse.
• Pikk kontekst: dokumenteeritud 128K märgi pikkune kontekst on kasulik pikkade juhiste ja ulatuslike dokumendipõhiste töövoogude puhul, arvestades käituskeskkonna piiranguid.
• Lai valik visuaalseid kasutusjuhtumeid: mudel toetab pildiküsimusi, kirjeldusi, dokumentide visuaalset küsimustele vastamist, diagramme ja visuaalset arutlemist.
• Väliste tööriistade integratsioon: dokumenteeritud vormingud võimaldavad rakendustel ühendada mudeli orkestreerimiskihi kaudu valitud tööriistadega.

Olulised piirangud

• Ainult tekstiline väljund: mudel ei genereeri algupäraselt pilte, heli ega videot.
• Meta standardse API-hinna puudumine: juurutus- ja järeldamiskulud tuleb arvutada taristu või kolmanda osapoole teenusepakkuja põhjal.
• Tööriistade piirangud piltidega: dokumenteeritud viitevormingu tööriistakutsed ei toeta pildipõhiseid juhiseid.
• Aluseks olevate teadmiste vananemine: treeningandmete lõppkuupäev on detsember 2023. Mudel ei tea olemuslikult hilisemaid sündmusi.
• Keelte ulatus: multimodaalseid rakendusi toetatakse ametlikult inglise keeles, samas kui laiem loetletud keelte tugi kehtib ainult teksti kasutuse puhul.
• Visuaalse tõlgenduse ebausaldusväärsus: mudel võib dokumente valesti lugeda, detaile välja mõelda või anda vastuolulisi vastuseid, eriti ebaselgete piltide või turvakriitiliste ülesannete korral.

Väline otsing või teabeotsing võib anda uuemat teavet ainult siis, kui rakendus need tulemused mudelile edastab. Sellised tööriistad ei muuda mudeli aluseks olevat teadmiste lõppkuupäeva.

Millal valida Llama 3.2 11B Vision Instruct?

Vali see mudel siis, kui piltide mõistmine on rakenduse keskne osa ja soovid juurutuse üle kontrolli. See sobib hästi ise hostitud visuaalsetele küsimustele vastamiseks, privaatsete dokumentide analüüsiks, piltide kirjeldamiseks, multimodaalsete prototüüpide loomiseks, sünteetiliste andmete genereerimiseks ning rakendusteks, kus on vaja kohandada ümbritsevat järeldustaristut.

Avatud kaaludega vorming võib olla atraktiivne ka siis, kui prognoositav andmekäitlus, võrguühenduseta töö või olemasoleva mudelite teeninduskeskkonnaga lõimimine on olulisem kui kohe kasutusvalmis hostitud API. Kvantimine ja riistvara valik võivad muuta selle palju praktilisemaks kui märksa suurema visioonimudeli kasutamise, kuigi tulemuslik kvaliteet ja kiirus sõltuvad rakendusest.

Suurem visioonimudel võib olla sobivam, kui rakendus seab esikohale maksimaalse visuaalse võimekuse ja suudab leppida suuremate arvutusnõuetega. Väiksem ainult teksti töötlev Llama mudel võib olla parem valik väiksema kuluga tekstitöötluseks, kui pilte pole vaja. Hostitud multimodaalne teenus võib olla eelistatum siis, kui meeskond soovib hallatud skaleerimist, lihtsat arveldamist, ajakohase teabe hankimist või väiksemat vastutust taristu eest.

Pilditöövoogude puhul, kus samas päringus on vaja usaldusväärset tööriistade käivitamist, on selle mudeli dokumenteeritud pildi- ja tööriistapiirang oluline põhjus kaaluda teistsugust arhitektuuri või jagada töövoog eraldi etappideks. Samuti peaksid reguleeritud, meditsiinilised, õiguslikud, isikuga seotud või suure mõjuga rakendused kasutama täiendavat valideerimist ja inimjärelevalvet, mitte käsitlema mudeli visuaalset tõlgendust autoriteetse teabena.

Tehniline hinnang

Llama 3.2 11B Vision Instructi on kõige õigem käsitleda juurutatava avatud kaaludega visiooni-keelemudelina, mitte täieliku hostitud tehisintellektiteenusena. Selle peamine väärtus seisneb teksti- ja pildisisendi, tekstigenereerimise, 128K märgi pikkuse konteksti ning kohaliku või kolmanda osapoole taristu kaudu käitamise võimaluse ühendamises. Kompromiss seisneb selles, et kasutajad peavad ise haldama hostimist, litsentsimist, kvaliteedi hindamist, tööriistade orkestreerimist ja teabe ajakohasust.