Mis on Phi-3.5-vision-instruct?
Phi-3.5-vision-instruct on Microsofti juhiste järgi kohandatud visuaal-keelemudel ülesannete jaoks, mis ühendavad kirjalikud juhised visuaalse teabega. Praktikas saab kasutaja esitada koos küsimusega diagrammi, ekraanipildi, dokumendi, esitluse, tabeli või skeemi kujutise ning mudel annab tekstilise selgituse või vastuse.
Mudel sisaldab ligikaudu 4,2 miljardit parameetrit ja põhineb keelemudelil Phi-3.5-mini. See on paljude üldotstarbeliste multimodaalsete süsteemidega võrreldes väike, mis on oluline arendajatele, kes vajavad väiksemaid taristunõudeid, lokaalset järeldamist või piiratud riistvaral hõlpsamini kohandatavat ja juurutatavat lahendust. Väike suurus ei muuda seda suuremate visioonimudelite universaalseks asendajaks, kuid annab Phi-3.5-vision-instructile selge rolli väikese ressursivajadusega pildipõhistes rakendustes.
Microsoft teatas mudelist 22. augustil 2024. Mudelikaardi järgi on tegemist avatud kaaludega mudeliga, mida võib kasutada kommerts- ja teadustööks MIT-litsentsi alusel, järgides kaasasolevaid vastutustundliku tehisintellekti juhiseid.
Milliste visuaalsete ülesannetega see hakkama saab?
Phi-3.5-vision-instruct aktsepteerib teksti ja pilte. Phi-3.5 värskendus toetab ka mitme pildi või kaadri kasutamist ühes ülesandes, võimaldades mudelil visuaalseid sisendeid võrrelda, mitte tõlgendada korraga ainult üht pilti. Näiteks saab sellelt küsida, mis muutus kahe ekraanipildi vahel või kas kaks pilti sisaldavad samu visuaalseid elemente.
Dokumentatsiooni järgi keskendub mudel visuaalsele mõistmisele, mitte meedia genereerimisele. Toetatud või kavandatud ülesanded hõlmavad järgmist:
- Fotode, ekraanipiltide, esitluste ja skannitud dokumentidega seotud küsimustele vastamine
- Piltides sisalduva teksti lugemine OCR-põhiste töövoogude abil
- Diagrammide, tabelite, skeemide ja muu struktureeritud visuaalse materjali tõlgendamine
- Mitme pildi või videolaadsete kaadrite võrdlemine
- Dokumentidest ja lehekülgede kujutistest teabe väljavõtmine
- Visuaalse ja kirjaliku konteksti põhjal tekstiliste selgituste koostamine
Mudel suudab analüüsida ka mitte-looduslikke kujutisi, näiteks äridiagramme ja tehnilisi skeeme, mistõttu sobib see dokumendi- ja produktiivsustöövoogudesse paremini kui peamiselt pildiallkirjade koostamiseks mõeldud mudel. Esitatud dokumentatsioon ei kinnita siiski, et mudel reprodutseerib usaldusväärselt iga väärtust tihedas diagrammis või iga märki halva kvaliteediga skannil. Kui täpsus on oluline, tuleks OCR-i tulemusi ja visuaalseid järeldusi kontrollida.
Tehnilised näitajad ja piirangud
| Näitaja | Kontrollitud üksikasjad |
|---|---|
| Pakkuja | Microsoft |
| Mudelite perekond | Phi-3.5 |
| Parameetrid | Ligikaudu 4,2 miljardit |
| Sisendmodaliteedid | Tekst ja pildid |
| Väljundmodaliteet | Tekst |
| Konteksti pikkus | 131 072 tokenit |
| Maksimaalne väljund Microsoft Foundrys | 4096 tokenit |
| Litsents | MIT |
| Teadmiste lõpptähtaeg | 15. märts 2024 |
| Väljalaskeaeg | August 2024 |
131 072 tokeni suurune kontekst on Microsoft Foundry dokumenteeritud piirang ning võimaldab lisada visuaalsete sisendite kõrvale mahuka tekstilise sisendi. Konteksti pikkus ei ole sama mis väljundi pikkus: Foundry dokumentatsiooni järgi on vastuse maksimaalne suurus 4096 tokenit. Token on mudeli kasutatav tekstiühik, mistõttu sõltub vastuses sisalduvate sõnade tegelik arv keelest ja vormindusest.
Teadmiste lõpptähtaeg on 15. märts 2024. Phi-3.5-vision-instruct on staatiline mudel ega õpi pärast treenimist automaatselt uut teavet. See ei paku veebiotsingut ega sisseehitatud ajakohase teabe hankimist, mistõttu ei tohiks seda pidada muutuvate faktide ajakohaseks allikaks, välja arvatud juhul, kui rakendus edastab värske teabe eraldi.
Juurutamine ja hinnastamine
Phi-3.5-vision-instruct on avatud kaaludena saadaval Microsofti Hugging Face'i mudelihoidlas. Microsoft pakub ka protsessoril ja graafikaprotsessoril põhinevaks järeldamiseks optimeeritud ONNX-i variante. ONNX on mudelivorming ja käituskeskkondade ökosüsteem, mis võib aidata arendajatel mudeleid eri riistvarakeskkondades juurutada, sealhulgas süsteemides, kus täielik pilveteenus ei ole soovitav.
Mudel on loetletud ka Microsoft Foundry kataloogis. Esitatud Foundry dokumentatsioonis on vestluse lõpetamiseks koos pildisisendiga nimetatud mudeliversioon 2 ja Global Standardi juurutusvalikud. Pilve- ja lokaaljuurutus on erinevad valikud: ise hostitud paigaldus võib nõuda sobivat riistvara ja arendustööd, samas kui hostitud juurutusega võivad kaasneda teenusekvoodid, piirkondlik saadavus ja Azure'i tasud.
Avatud kaaludega mudeli kohta ei õnnestunud kontrollida stabiilset mudelipõhist avalikku tokenihinda. Seetõttu ei saa siin usaldusväärselt esitada sisend- ega väljundtokenite hinda miljoni tokeni kohta. Microsoft Foundry või Azure'i tasud võivad sõltuda juurutuse tüübist, piirkonnast ja konto seadistusest. MIT-litsents lubab kaalusid alla laadida, kohandada, kvantida ja ise hostida, kuid litsents ei kõrvalda mudeli käitamise taristukulusid.
Tugevused ja kompromissid
Phi-3.5-vision-instructi peamine eelis on multimodaalse mõistmise ja suhteliselt väikese mudelimahu kombinatsioon. 4,2 miljardi parameetriga mudel võib olla praktilisem lähtekoht kui palju suurem visioon-keelemudel, kui rakendus vajab pildianalüüsi, kuid arvutusressursid on piiratud, andmeid soovitakse hoida privaatses keskkonnas või mudel tuleb integreerida servtöötlusele suunatud töövoogu.
Kasulik erinevus on ka mitme pildi ja mitme kaadri tugi. Ühe pildi mudel võib kirjeldada üht sisendit, kuid Phi-3.5-vision-instructi saab kasutada võrdlusülesannetes, näiteks järjestikuste ekraanipiltide uurimiseks, dokumendi lehekülgede kõrvutamiseks või seotud piltide erinevuste tuvastamiseks.
Piirangud on olulised. Standardmudel tagastab ainult teksti: see ei genereeri algupäraselt pilte, heli ega videot. Microsoft Foundry dokumentatsioon ei loetle selle mudeli puhul tööriistade kutsumist, seega ei ole tegemist valmis agentse mudeliga, mis suudaks iseseisvalt funktsioone käivitada, veebis sirvida või väliseid süsteeme kasutada. Neid võimalusi vajavad rakendused peavad mudeli ümber lisama orkestreerimiskihi, eeldusel et valitud juurutus seda lahendust toetab.
Visuaalne arutlus võib ebaõnnestuda ka valesti loetud teksti, diagrammi väära tõlgendamise, väljamõeldud objektide või liiga enesekindlate järelduste tõttu. Need riskid on eriti olulised meditsiiniliste, õiguslike, finants-, tööstus- või ohutusega seotud piltide puhul. Suure mõjuga otsustes peaks mudel toetama inimkontrolli, mitte seda asendama.
Arutlus, programmeerimine, kiirus ja kulupositsioon
Phi-3.5-vision-instruct on eelkõige visuaalse mõistmise mudel. See suudab arutleda piltidel kujutatud seoste üle, hankida teavet struktureeritud visuaalsest materjalist ja vastata küsimustele, mis ühendavad pildil oleva tõendusmaterjali tekstiliste juhistega. Seda ei tohiks esitleda tipptasemel üldise arutlusmudelina ning esitatud uuringud ei sisalda standardiseeritud võrdlustulemust, mis sellist väidet põhjendaks.
See võib aidata programmeerimisel, kui kood või kasutajaliides on näidatud ekraanipildil või kui visuaalse silumise kontekstile on lisatud kirjalik juhis. Programmeerimine ei ole siiski selle keskne tugevus. Suurte tarkvaraprojektide, keeruka koodigenereerimise või autonoomsete programmeerimistöövoogude puhul võib sobivam olla spetsiaalne koodimudel või suurem üldotstarbeline mudel.
Selle mudeli kohta esitatud toimetuslik hinnang annab arutlusele tulemuseks 7 punkti 10-st, programmeerimisele 5 punkti 10-st, kiirusele 8 punkti 10-st ja kulule 9 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte Microsofti avaldatud skoorid. Need peegeldavad mudeli kavandatud kompromissi: suhteliselt tõhus multimodaalne järeldamine ja väike võimalik juurutuskulu vastutasuks väiksema üldise arutlus- ja programmeerimisvõime eest võrreldes suuremate süsteemidega.
Esitatud mudeliandmetes on voogedastus märgitud toetatuks ning toetatuks on märgitud ka peenhäälestus. Uuringud ei kinnita eraldiseisvat struktureeritud väljundi ega JSON-režiimi võimekust, seega ei tohiks arendajad eeldada rangelt skeemipiirangutega vastuseid, kontrollimata täpset juurutuse dokumentatsiooni.
Parimad kasutusjuhud
Phi-3.5-vision-instruct sobib, kui rakendus vajab piltide mõistmist, kuid mitte piltide genereerimist, reaalajas veebiühendust ega sisseehitatud tööriistade käivitamist. Sobivad näited on järgmised:
- Küsimustele vastamine diagrammide, tabelite, skeemide ja esitluste põhjal
- Ekraanipiltide, vormide ja dokumendilehekülgede OCR-i abil töötlemine
- Mitme pildi või kaadri võrdlemine nähtavate erinevuste leidmiseks
- Privaatsed või võrguühenduseta visuaalassistendid, mille puhul andmed peavad jääma operaatori kontrolli alla
- Väikese ressursivajadusega pildipõhised rakendused lokaalsel või servariistvaral
- Teadustöö ja prototüüpimine avatud mudelikaaludega
- Struktureeritud tähelepanekute väljavõtmine visuaalsest äri- või tehnilisest materjalist
Näiteks võib dokumenditöötlusrakendus saata skannitud lehekülje ja paluda mudelil tuvastada arvenumber ning võtta read kokku. Seirerakendus võib esitada kaks ekraanipilti ja paluda kirjeldada nähtavaid muutusi. Andmeanalüüsiassistent võib saada diagrammi ja küsimuse selle suurimate või väikseimate väärtuste kohta; täpsuse nõudmisel saab tulemust kontrollida inimene või deterministlik parser.
Millal valida Phi-3.5-vision-instruct?
Vali Phi-3.5-vision-instruct siis, kui kompaktsed avatud kaaludega mudel, MIT-litsents, pildi- ja tekstisisend ning mitme pildi põhine arutlus on olulisemad kui maksimaalne üldine võimekus. See on eriti atraktiivne meeskondadele, kes hindavad lokaalset järeldamist, privaatset juurutust, ONNX-põhist optimeerimist või prognoositavate visuaalanalüüsiülesannetega rakendusi.
Kaalu muud lahendust, kui rakendus vajab piltide, heli või video loomupärast genereerimist, ajakohaseid veebiteadmisi, funktsioonide kutsumist, väga usaldusväärset OCR-i, ulatuslikku autonoomset tööriistade kasutamist või tugevamat üldist arutlus- ja programmeerimisvõimet. Suurem hostitud multimodaalne mudel võib pakkuda laiemaid võimalusi väiksema lokaaljuurutuse töömahuga, samas kui spetsiaalne OCR-, dokumendiparseri- või koodisüsteem võib olla kitsalt määratletud tootmisülesande puhul töökindlam.
Lühidalt öeldes tuleks Phi-3.5-vision-instructi mõista pigem suhteliselt tõhusa visuaalse arutluse komponendi kui täieliku autonoomse assistendina. Selle väärtus tuleneb avatud juurutuspaindlikkuse ühendamisest teksti, piltide, dokumentide, diagrammide ja visuaalsete võrdluste toega suures kontekstiaknas.