Llama 3.2 90B Vision Instruct

Mis on Llama 3.2 90B Vision Instruct?

Llama 3.2 90B Vision Instruct on Meta juhiste järgi peenhäälestatud avatud kaaludega mudel, mis mõistab pilte koos tekstiga. Ametlikul mudelikaardil on märgitud 88,8 miljardit parameetrit, kuigi mudelit kirjeldatakse tavaliselt 90 miljardi parameetriga mudelina. See on Llama 3.2 Visioni perekonna suurem mudel, mille kõrval on ka väiksem 11B visioonimudel.

Mudel võtab sisendina vastu teksti ja pilte ning genereerib teksti. Praktikas võib arendaja esitada pildi koos küsimusega, näiteks „Millist teavet see diagramm näitab?“ või „Tee sellest dokumendist kokkuvõte“, ning mudel tagastab kirjaliku vastuse. Mudel on mõeldud visuaalseks küsimustele vastamiseks, piltide kirjeldamiseks, diagrammide ja graafikute tõlgendamiseks, kaartide analüüsimiseks, dokumentide mõistmiseks ning visuaalsest sisust teabe eraldamiseks.

Tegemist ei ole piltide, kõne, muusika ega videote genereerimise mudeliga. Selle multimodaalne võimekus keskendub visuaalsele mõistmisele ning väljund on tekst.

Kuidas visiooniarhitektuur töötab

Llama 3.2 90B Vision Instruct põhineb Llama 3.1 tekstimudelil ja sellele on lisatud eraldi treenitud visiooniadapter. Adapter ühendab pildikodeerijast pärineva teabe keelemudeliga risttähelepanu kihtide kaudu. See võimaldab visuaalsetel tunnustel mõjutada genereeritud vastust, säilitades samal ajal keelemudeli laiemad tekstitöötlusvõimed.

Kasutaja jaoks on oluline erinevus see, et mudel ei kirjelda pilti lihtsalt eraldi pildiallkirjade süsteemi abil. See suudab ühendada visuaalse teabe kirjalike juhistega ning vastata küsimustele pildil olevate seoste, paigutuse, nähtava teksti, diagrammide, objektide ja muude elementide kohta. Tulemused sõltuvad siiski pildi kvaliteedist, visuaalsest ebaselgusest, dokumendi paigutusest ja mudeli võimest asjakohane teave üles leida.

Kontrollitud tehnilised andmed

128K kontekstiaken on dokumenteeritud maksimaalne konteksti pikkus, kuid seda ei tohiks tõlgendada garantiina, et iga juurutus võimaldab kasutada kogu seda piiri. Majutatud teenused ja järeldusraamistikud võivad kehtestada enda piirangud päringutele, piltidele, mälule või väljundile. Esitatud uuringus ei kontrollitud maksimaalset väljundtokenite arvu, mistõttu tuleks iga juurutust eraldi kontrollida.

Toetatud sisendid ja väljundid

Mudel toetab sisendina teksti ja pilte ning väljundina teksti. See muudab selle sobivaks ülesannetele, kus visuaalne teave tuleb muuta selgituseks, vastuseks, klassifikatsiooniks, kirjelduseks või eraldatud tekstiks. Näiteks võib mudelilt küsida ettevõtte diagrammil esitatud põhinäitajaid, lasta tuvastada pildistatud vormi jaotised, kirjeldada pilti ligipääsetavuse eesmärgil või vastata kaarti puudutavatele küsimustele.

Mudel ei loo loomupäraselt pilte, heli, videoid, muusikat, manuseid ega kõnet. Kui vajalik tulemus on redigeeritud pilt, loodud video või kõnesalvestis, oleks sobivam kasutada sellise väljunditüübi jaoks loodud mudelit. Llama 3.2 90B Vision Instruct võib olla suurema töövoo üks komponent, kuid neid teisi meedia genereerimise võimekusi ei tohiks omistada sellele mudelile endale.

Arutlus, programmeerimine ja tööriistade tugi

Mudel on loodud visuaalseks arutluseks: see saab kasutada visuaalseid üksikasju koos tekstiliste juhistega, et vastata küsimustele või selgitada, mida pilt sisaldab. Kõige tugevamad arutlusülesanded on seotud esitatud visuaalse materjaliga, näiteks graafiku tõlgendamine, teabe leidmine dokumendist või nähtavate elementide võrdlemine. Mudelil ei ole uuemat teavet kui 2023. aasta detsembris lõppenud treeningandmed, välja arvatud juhul, kui rakendus lisab välist teavet.

Programmeerimisvõimekus tuleneb keelemudeli üldisest käitumisest ning seda saab kasutada koodi selgitamiseks, koodi genereerimiseks või pildianalüüsil põhineva rakenduse loomise toetamiseks. Esitatud võrdlev hinnang annab programmeerimisele tulemuse 7 punkti 10-st, kuid see on toimetuslik hinnang, mitte Meta avaldatud võrdlustulemus. Seetõttu tuleks koodi kvaliteeti testida konkreetse projekti programmeerimiskeelte, teekide ja koodibaasi põhjal.

Meta visioonimudelite juhend kirjeldab tekstipõhiste päringute jaoks tööriistakutsumise vorminguid, sealhulgas kooditõlgi ja otsingule suunatud tööriistu võrdlusimplementatsioonis. Dokumentatsioon märgib siiski, et tööriistakutsumine ei tööta siis, kui päring sisaldab pilte. See tähendab, et arendajad ei tohiks käsitleda mudelit pildipõhise autonoomse sirvimis- või toimingusüsteemina. Tööriistade kasutamist tuleks pigem mõista võrdluskäituskeskkonna või integratsioonifunktsioonina, millel on multimodaalsete päringute puhul olulised piirangud.

Juurutusvõimalused ja hinnastamine

Meta jagab Llama 3.2 90B Vision Instructi allalaaditavate kaaludena oma Llama levituskanalite ja ametliku piiratud juurdepääsuga Hugging Face’i hoidla kaudu. Hoidlas on dokumenteeritud kasutamine selliste tööriistadega nagu Transformers, vLLM ja SGLang. Mõned teenindusraamistikud võivad pakkuda OpenAI-ga ühilduvat liidest, kuid see liides kuulub teenindusraamistikule või majutusteenuse pakkujale ega tähenda Meta loomulikku API-identiteeti.

Mudel on suur ja nõuab palju ressursse. Selle kaalufailid on jagatud mitmeks suureks osaks, mistõttu vajab praktiline juurutus üldjuhul märkimisväärset kiirendimälu, kvantimist, tensortöötluse paralleelsust või majutatud järeldusteenust. Väiksem kvanditud juurutus võib vähendada mälunõudeid, kuid esitatud uuringus ei kontrollitud konkreetset riistvarakonfiguratsiooni ega jõudlustaset.

Ühtki universaalset Meta enda majutatud API-hinda ei kontrollitud. Seetõttu ei ole mudeli enda kohta usaldusväärset standardset sisendi- või väljundihinda esitada. Kulud sõltuvad sellest, kas mudelit käitatakse enda riistvaral, pilve-GPU-teenuse kaudu või kolmanda osapoole järeldusteenuse pakkuja juures. Konkreetse teenusepakkuja hinda tuleks eraldi kontrollida, sest see võib sisaldada taristu-, salvestus-, järjekorra- või platvormitasusid.

Peamised tugevused ja piirangud

Llama 3.2 90B Vision Instructi peamine tugevus on suure keelemudeli ja pildimõistmise ühendamine koos avatud kaaludena levitamisega. Arendajad saavad mudelit Llama ökosüsteemi kaudu uurida, kohandada, peenhäälestada ja juurutada, selle asemel et sõltuda ainult suletud ja muutumatust teenusepakkuja lõpp-punktist. Suur kontekstiaken on kasulik ka töövoogudes, kus pikad juhised või dokumendid tuleb ühendada visuaalse materjaliga.

• Sobib hästi visuaalseks analüüsiks: Mudel on loodud piltide, pildiallkirjade, diagrammide, kaartide ja dokumentidega seotud küsimuste jaoks.
• Avatud kaaludega juurutus: Allalaaditavad kaalud võimaldavad litsentsi tingimustel ise majutatud, partneri majutatud ja kohandatud juurutusi.
• Suur kontekst: Dokumenteeritud 128K tokeni kontekst toetab pikki tekstipäringuid ja dokumendipõhiseid töövooge.
• Peenhäälestamise võimalus: Meta nimetab visioonimudelite kohandamiseks ökosüsteemi tööriistu, näiteks torchtune’i.
• Laiad keelemudeli võimed: Mudel toetab ka tekstipõhist selgitamist, analüüsi ja programmeerimisülesandeid.

Sama olulised on mudeli piirangud. Võrreldes väiksemate visioon-keelemudelitega on selle käitamine kulukam ja nõudlikum. Sellel puudub kontrollitud universaalne API-hind, ajakohane teadmistebaas pärast 2023. aasta detsembrit ning loomupärane muu kui tekstilise sisu genereerimine. Visuaalsed vastused võivad olla valed, kui pilt on ebaselge, teave on väike või halvasti paigutatud või olukord on mitmeti tõlgendatav. Nagu teised alusmudelid, võib ka see mudel anda kallutatud, ebaturvalisi, liigse kindlusega või faktiliselt ebatäpseid vastuseid.

Tööriistakutsumisel on konkreetne multimodaalne piirang: dokumenteeritud tööriistavormingud on mõeldud ainult tekstipõhistele päringutele ega tööta siis, kui päring sisaldab pilte. Rakendused, mis vajavad pildianalüüsi ning välist otsingut või toiminguid, võivad vajada visuaalanalüüsi etapi eraldamist tööriistade kasutamise etapist ning enda orkestreerimise, valideerimise ja turvakontrollide lisamist.

Parimad kasutusjuhtumid

• Visuaalne küsimustele vastamine fotode, ekraanipiltide, diagrammide ja illustratsioonide põhjal
• Diagrammide, graafikute, kaartide ja juhtpaneelide tõlgendamine
• Dokumentide mõistmine ja teabe eraldamine esitatud piltidelt
• Piltide kirjeldamine ja ligipääsetavusele suunatud kirjeldused
• Multimodaalne uurimistöö ja kohandatud peenhäälestamine
• Ise majutatud või partneri majutatud rakendused, mis vajavad avatud mudelikaalusid
• Teksti ja pildi töövood, kus suur kontekstiaken on kasulik

Dokumentide tootmistasandi töötlemisel peaksid arendajad hindama esinduslikke näidiseid, mitte eeldama, et suur parameetrite arv tagab täpse eraldamise. Madala eraldusvõimega skannid, tabelid, käsikiri, ebaharilikud paigutused ja väike tekst vajavad eraldi testimist.

Millal seda mudelit valida

Vali Llama 3.2 90B Vision Instruct siis, kui pildimõistmine on rakenduse keskne osa ning väärtustad allalaaditavaid kaalusid, kohandamisvõimalust või kontrolli juurutuse üle. See sobib eriti hästi juhul, kui meeskond suudab pakkuda kiirenditaristut või kasutada majutatud Llama-ühilduvat teenust ning rakendus saab kasu suure mudeli võimest vastata keerukatele visuaalsetele ja tekstilistele küsimustele.

Väiksem visioon-keelemudel võib olla sobivam siis, kui olulisemad on vastuse kiirus, mälukasutus või käituskulu, mitte maksimaalne võimekus. Sama Llama 3.2 Visioni perekonna 11B mudel on kõige otsesemalt toetatud alternatiiv, kuigi esitatud uuring ei anna nende kahe mudeli üksikasjalikku jõudlusvõrdlust. Suletud majutatud visioonimudel võib olla eelistatum, kui meeskond soovib hallatud lõpp-punkti, ajakohase teabe integratsioone, prognoositavat teenusehaldust või väiksemat taristukoormust.

Kasuta teist mudelit või mitme mudeliga töövoogu siis, kui vajalik väljund on pilt, heli, video või kõne; kui ajakohane teave on hädavajalik ja otsingut ei saa lisada; või kui pildipõhine tööriistade käivitamine peab toimima ühe päringu raames. Kõrge riskiga dokumendi- või otsustusprotsessides on inimese tehtav ülevaatus ja rakenduse tasandi valideerimine vajalikud olenemata valitud mudelist.

Kättesaadavus ja litsentsiga seotud kaalutlused

Mudel on saadaval Meta ametliku Llama kataloogi ja piiratud juurdepääsuga Hugging Face’i hoidla kaudu. Juurdepääs eeldab kohaldatavate tingimuste ja litsentsiga nõustumist. Llama 3.2 Community License lubab teatud tingimustel mudelit kasutada, reprodutseerida, levitada ja muuta, kuid sellega kaasnevad vastutustundliku kasutuse nõuded, viitamiskohustused ning täiendavad kaubandustingimused toodetele, mis ületavad sätestatud igakuiste aktiivsete kasutajate piirmäära.

Enne juurutamist vaata üle kehtiv litsents, vastutustundliku kasutuse eeskiri, majutusteenuse pakkuja tingimused ja kõik kohustused, mis kehtivad mudeli edasi jagamisele või ärilisele kasutamisele suures mahus. Mudeli avatud kaalud pakuvad suletud API-ga võrreldes suuremat juurutuspaindlikkust, kuid see ei kaota vajadust hallata taristut, turvalisust, privaatsust, hindamist ega sisu kaitsemeetmeid.