Mis on Phi-4-multimodal-instruct?
Phi-4-multimodal-instruct on Microsofti multimodaalne liige Phi-4 mudeliperes. See on ligikaudu 5,6 miljardi parameetriga transformer-mudel, mis on loodud töötlema ühes rakenduses mitut tüüpi sisendit: teksti, pilte ja heli. Praktikas saab arendaja saata mudelile kirjaliku küsimuse koos foto, dokumendilehe, diagrammi või helisalvestisega ning paluda sellel koostada tekstilise vastuse.
Mudel kasutab Phi-4-mini-põhist keelemudeli põhiosa koos nägemis- ja kõnekooderite ning nendega seotud adapteritega. Microsoft levitab mudeli kontrollpunkti oma Hugging Face'i organisatsiooni kaudu ning täpselt sama mudel on loetletud ka Microsoft Foundrys. See kombinatsioon muudab mudeli asjakohaseks nii arendajatele, kes katsetavad kohaliku avatud kaaludega järeldamisega, kui ka meeskondadele, kes eelistavad hallatud Microsofti hostitud lahendust.
Selle roll on mõistmine, mitte meedia loomine. Phi-4-multimodal-instruct suudab analüüsida pilti või helisalvestist, kuid selle vastus on tekst. See ei genereeri algupäraselt pilti, videot, muusikapala, kõnesalvestist ega muud heliväljundit.
Toetatud sisendid ja väljund
Mudel võtab vastu teksti-, pildi- ja helisisendit. Dokumenteeritud multimodaalsete ülesannete hulka kuuluvad visuaalne küsimustele vastamine, optiline märgituvastus (OCR), diagrammide ja tabelite tõlgendamine, piltide võrdlemine, kõnetuvastus, kõne tõlkimine, suulistele küsimustele vastamine, kokkuvõtete koostamine ning heli laiem mõistmine.
| Võimekus | Tugi |
|---|---|
| Tekstisisend | Jah |
| Pildisisend | Jah |
| Helisisend | Jah |
| Videosisend | Selle mudeli puhul dokumenteerimata |
| Tekstiväljund | Jah |
| Pildi-, video- või heliväljund | Ei |
See sisendi ja väljundi erinevus on mudeli valimisel oluline. Mudel võib muuta suulise küsimuse kirjalikuks vastuseks või eraldada pildilt teavet, kuid see ei ole genereeriv meediamudel. Rakendus, mis vajab sünteesitud kõnet, piltide loomist või video genereerimist, vajab teistsugust mudelit või täiendavat genereerimisteenust.
Kontekstiaken ja tehnilised andmed
Microsoft Foundry loetleb sisendkonteksti suuruseks 131 072 tokenit ja hostitud väljundi maksimumiks 4096 tokenit. Token on väike tekstiosa, mida mudel kasutab; konteksti piir tähistab materjali, mida mudel saab ühe päringu puhul arvesse võtta, sealhulgas teksti ning toetatud multimodaalsete sisendite esitust. Suur kontekstiaken on kasulik pikkade dokumentide, mitme pildi, mahukate transkriptide või kirjalike ja suuliste tõendite kombinatsioonide puhul, kuigi tegelik kasutatav maht võib sõltuda juurutusest ja sisendi vormingust.
- Parameetrid: ligikaudu 5,6 miljardit
- Mudelipere: Phi-4
- Sisendkontekst: 131 072 tokenit
- Hostitud väljundi maksimum: 4096 tokenit
- Väljalaskekuupäev: 26. veebruar 2025
- Teadmiste lõppkuupäev: mudelikaardi järgi juuni 2024
- Tekstikeeled: dokumenteeritud on rohkem kui 20 keelt, sealhulgas inglise, hiina, prantsuse, saksa, jaapani, hispaania, portugali, araabia ja ukraina keel
- Nägemise keel: inglise keel
- Helikeeled: inglise, hiina, saksa, prantsuse, itaalia, jaapani, hispaania ja portugali keel
2024. aasta juuni lõppkuupäev kehtib algse võrguühenduseta treenitud kontrollpunkti kohta. Phi-4-multimodal-instruct ei paku iseseisvalt ajakohaseid veebiteadmisi, mistõttu vajavad päevakajalised sündmused, jooksvad hinnad, muutuv dokumentatsioon ja muu ajakriitiline teave välist otsingusüsteemi, kui juurutus seda toetab.
Milles mudel hea on
Kõige tugevamad kasutusjuhtumid on ülesanded, mille sisend ei ole ainult tekst ja mille puhul on vaja lühikest kirjalikku selgitust. Näiteks saab rakendus kasutada mudelit pildistatud vormilt teksti lugemiseks, diagrammi peamise suundumuse kirjeldamiseks, koosoleku salvestise kokkuvõtmiseks, toetatud kõne tõlkimiseks või mitme pildi kohta küsimustele vastamiseks.
Selle suhteliselt väike parameetrite arv on eelis võrreldes palju suuremate eesrindlike multimodaalsete mudelitega. Väiksemat mudelit võib olla lihtsam privaatselt juurutada, andmetele lähemal käitada või integreerida rakendusse, mille taristu ja kulupiirangud on rangemad. Kaasasolevas toimetuslikus hinnangus on selle kiirust ja kulutõhusust hinnatud soodsalt, kuid need on toimetuse võrdlevad hinnangud, mitte Microsofti avaldatud võrdlustulemused.
Hugging Face'i mudelikaardi järgi toetab mudel ka juhendatud peenhäälestust. See võib olla kasulik siis, kui meeskonnal on nägemis- või kõnetöötluse töövoo jaoks ülesandespetsiifilisi näiteid ning ta soovib avatud kaaludega kontrollpunkti kohandada, mitte piirduda ainult viipade kasutamisega. Peenhäälestuse nõuded, riistvaravajadus ja saavutatav kvaliteet sõltuvad andmestikust ja juurutuse seadistusest.
Arutlemine, programmeerimine ja tööriistade kasutamine
Phi-4-multimodal-instruct suudab järgida kirjalikke juhiseid ning koostada selgitusi, liigitusi, kokkuvõtteid ja koodiga seotud teksti. Seetõttu sobib see rakendustesse, mis ühendavad visuaalse või helilise tõendusmaterjali tavaliste keelemudeliülesannetega, näiteks ekraanipildi struktureeritud kirjeldamiseks või dokumendist eraldatud teabe põhjal lühikese skripti genereerimiseks.
Samas ei tõesta kaasasolev uurimus võrdlustulemuste kaudu eesrindliku taseme arutlemis- ega programmeerimisvõimekust. Mudelit tuleks hinnata konkreetsete rakenduse jaoks oluliste ülesannete põhjal, mitte eeldada, et see suudab võrdselt hästi toimida suuremate üldotstarbeliste mudelitega. Selle tugevus seisneb kompaktsuse ja multimodaalse mõistmise kombinatsioonis, mitte dokumenteeritud spetsiaalses arutlusrežiimis.
Microsoft Foundry dokumentatsioon ei loetle selle täpse mudeli puhul algupärast tööriistakutsete tuge. Mudel võib kirjeldada tegevust või genereerida välise tööriista jaoks koodi, kuid rakendus ei tohiks eeldada, et see suudab ilma arendaja loodud orkestreerimiskihita usaldusväärselt funktsioone käivitada, veebis sirvida või tehinguid teha. Mudeli veebotsingu võimekus on märgitud toetamata ning selle teadmised jäävad staatilise kontrollpunktiga seotuks, kui välist otsingut ei lisata.
Juurutusvõimalused ja praktilised piirangud
Peamisi juurutusteid on kaks. Arendajad saavad avatud kaaludega kontrollpunkti alla laadida ja käitada seda kohapeal koos Transformersi ning Microsofti multimodaalse teostusega. Microsoft pakub ka ametlikke ONNX Runtime GenAI näiteid kohalikuks järeldamiseks. Teise võimalusena saab mudelit kasutada Microsoft Foundry kaudu, kus kehtivad loetletud hostitud liides ja piirangud.
Kohalik juurutus annab andmetöötluse üle suurema kontrolli ning võib olla atraktiivne privaatsete dokumendi- või helitöötlusülesannete puhul. Absoluutarvestuses ei ole see siiski tingimata kerge lahendus. Mudelikaart märgib, et kohalik järeldamine võib vajada palju GPU-mälu. Olenevalt riistvarast võib olla vajalik Flash Attention 2 või kasutada varulahendusena eager-attention'i teostust. Seetõttu tuleks riistvara ühilduvust ja mälunõudeid enne seadmesisese arhitektuuri kasutuselevõttu testida.
Hostitud juurutus vähendab suure osa taristutööst, kuid kättesaadavus ja hind on eraldi küsimused. Täpne mudel on märgitud kättesaadavaks Microsoft Foundrys ja Hugging Face'is. Selle mudeli kohta esitatud praegused Azure'i hinnamaterjalid ei paku numbrilist avalikku hinda; hinnalehel kuvatakse dollari asemel kohatäited. Varasemates väljalaskematerjalides olid teatud Foundry sisendikategooriate hinnad, kuid neid arve ei tohiks käsitleda praeguste hindadena. Seetõttu tuleks selle mudeli kulu arvutada Microsofti ajakohase hinnapakkumise või juurutuse hinnangu põhjal, mitte eeldatava tokenipõhise hinna järgi.
Piirangud, millega arvestada
- Ainult tekstiväljund: mudel ei suuda otse luua pilte, videot, kõnet, muusikat ega muud heli.
- Dokumenteeritud algupärase tööriistakutsete toe puudumine: funktsioonide käivitamine, veebis sirvimine ja välised tegevused vajavad rakenduse taseme integratsiooni.
- Staatilised teadmised: mudelikaardi järgi on avalike andmete lõppkuupäev juuni 2024, mistõttu ei saa mudel hilisemate sündmuste kohta iseseisvalt usaldusväärselt vastata.
- Keelte ebavõrdsus: dokumenteeritud nägemise keel on inglise keel ning loetletud helikeelte tugi on kitsam kui laiem tekstikeelte valik.
- Kohaliku riistvara nõudlikkus: avatud kaaludega juurdepääs ei tähenda, et mudel töötab mugavalt igas sülearvutis või servaseadmes.
- Väljundipiirang: Microsoft Foundry loetleb hostitud vastuse maksimumiks 4096 tokenit, mistõttu võib väga pikkade genereeritud aruannete puhul olla vaja töödelda neid etappide kaupa.
- Kvaliteedi varieeruvus: OCR-i, diagrammide tõlgendamise, transkribeerimise, tõlkimise ja arutlemise tulemused võivad endiselt sisaldada vigu ning suure mõjuga töövoogudes tuleks neid kontrollida.
Millal valida Phi-4-multimodal-instruct?
Vali Phi-4-multimodal-instruct siis, kui rakendus peab mõistma pilte või heli, kuid vajab ainult kirjalikku vastust. See on eriti mõistlik kandidaat privaatseks dokumenditöötluseks, OCR-i jaoks, diagrammide ja tabelite analüüsimiseks, kõne transkribeerimiseks, kõne tõlkimiseks, piltide kohta küsimustele vastamiseks ning kompaktsete multimodaalsete assistentide loomiseks. Selle avatud kaaludega levitamine muudab selle sobivamaks kui ainult suletud hostitud mudel olukordades, kus oluline on kohalik juurutus, kohandamine või andmete asukoha kontroll.
See võib olla eelistatav palju suuremale multimodaalsele mudelile siis, kui vastuse kiirus, taristukulu või juurutuse kontroll on tähtsam kui maksimaalne üldine arutlemiskvaliteet. Kaasasolevas toimetuslikus hinnangus on arutlemist ja programmeerimist hinnatud 7 punktiga ning kiirust 8 punktiga, kuid need on sisemised võrdlushinnangud, mitte teenusepakkuja avaldatud garantiid ega võrdlustulemused.
Teistsugune lahendus on sobivam siis, kui rakendus vajab genereeritud meediat, algupärast funktsioonikutsumist, usaldusväärseid veebiühendusega vastuseid, täiustatud autonoomset programmeerimist või parimat saadaolevat eesrindlikku arutlemisvõimet. Samuti tasub kaaluda suuremat või spetsialiseeritud kõne-, nägemis- või otsingusüsteemi, kui täpsusnõuded ületavad kompaktse üldotstarbelise multimodaalse kontrollpunkti võimalused.
Üldhinnang
Phi-4-multimodal-instruct paikneb praktilises keskpunktis: see on fotode, dokumentide, diagrammide ja salvestistega töötavates rakendustes märksa võimekam kui ainult tekstile keskenduv kompaktne mudel, kuid samal ajal palju väiksem ja paremini kontrollitav kui suurimad multimodaalsed süsteemid. Selle peamine kompromiss on selge. Mudel pakub laiapõhjalist multimodaalset mõistmist ja teksti genereerimist, kuid mitte multimodaalset genereerimist, sisseehitatud ajakohast teavet ega dokumenteeritud algupäraseid tööriistu.
Meeskondadele, kes suudavad otsingu ja tööriistade orkestreerimise väliselt korraldada ning on valmis kohalikku riistvara või hostitud kasutuse kulusid valideerima, pakub see keskendunud viisi piltide ja heli mõistmise lisamiseks ilma palju suuremat mudelit kasutusele võtmata. Meedia loomise või väga autonoomsete töövoogude jaoks on selle ainult tekstil põhinev, staatiline ja tööriistadeta ülesehitus vale valik, välja arvatud juhul, kui seda kasutatakse koos täiendavate süsteemidega.