Phi-3.5-mini-instruct

Mis on Phi-3.5-mini-instruct?

Phi-3.5-mini-instruct on Microsofti Phi-3 mudelite perekonda kuuluv 3,8 miljardi parameetriga juhiste järgi häälestatud keelemudel. Juhiste järgi häälestatud mudel on treenitud vastama kasutaja päringutele vestlusvormingus, mitte lihtsalt ennustama struktureerimata tekstis järgmist sõna. Praktilises kasutuses suudab Phi-3.5-mini-instruct vastata küsimustele, teha dokumentidest kokkuvõtteid, selgitada või genereerida koodi, järgida mitmeastmelisi viipasid ja luua muud tüüpi teksti.

Microsoft avaldas mudeli 2024. aasta augustis 2024. aasta juunis välja antud Phi-3 Mini juhiste järgi häälestatud mudeli uuendusena. Mudelit esitletakse väikese ja kaasaskantava võimalusena, mitte Microsofti suurimate või kõige võimekamate süsteemide asendusena. Selle peamised eelised on suhteliselt väike riistvaravajadus, ebatavaliselt pikk avaldatud kontekstiaken, mitmekeelne tugi ning MIT-litsents, mis lubab litsentsitingimustest kinni pidades mudelit laialdaselt kasutada nii äris kui ka teadustöös.

Tegemist on avatud kaaludega kontrollpunktiga, mitte ühe universaalse majutatud API-tootega. Arendajad saavad kaalud alla laadida ja mudelit kohapeal käitada, juurutada selle enda taristus või kasutada ühilduvat majutatud järeldusteenust. Seetõttu sõltuvad hind, jõudlus ja käituspiirangud valitud juurutusviisist.

Tehnilised näitajad ja kontekstipiirangud

Phi-3.5-mini-instruct on tihe ainult dekooderiga Transformer-mudel. „Tihe” tähendab, et mudel kasutab iga märgi ennustamiseks kogu parameetrite kogumit, selle asemel et suunata erinevaid sisendeid ainult valitud ekspertkomponentidele. Võrreldes suuremate keelemudelitega võib kompaktne parameetrite arv vähendada mälu- ja teenindusvajadust, samal ajal kui pikk kontekst võimaldab rakendusel esitada ühe päringuga palju lähtematerjali.

Avaldatud 128K tokeni suurune kontekst on mudeli arhitektuuriline kontekstispetsifikatsioon, kuid seda ei tohiks segi ajada iga juurutuse piiranguga. Microsoft Foundry Locali dokumentatsioonis on mudelipõhiseks käitusaegseks kontekstipiiranguks märgitud ligikaudu 29 472 tokenit ning selle keskkonna soovituslikuks GPU-mälu miinimumnõudeks umbes 8,428 GB. Teised käituskeskkonnad võivad sõltuvalt mälust, kvantimisest, pakktöötlusest ja teostusest pakkuda teistsuguseid piiranguid.

Esitatud uurimismaterjalis ei tuvastatud maksimaalset väljundtokenite arvu. Tekstikogust, mida rakendus saab genereerida, võivad piirata valitud järeldusmootor ning viiba juba kasutatud osa kontekstiaknast.

Võimekus ja keelevalik

Phi-3.5-mini-instruct on mõeldud üldiste tekstipõhiste ülesannete jaoks, mitte ühe kindla valdkonna töökoormuseks. Teatatud kasutusviisid hõlmavad vestlusabi, küsimustele vastamist, kokkuvõtete tegemist, teabeotsingut, dokumentide analüüsi, matemaatilist arutlemist ja koodi mõistmist. Pikk kontekst on eriti kasulik siis, kui rakendus peab koos kasutaja küsimusega esitama suure dokumendi, pika koosoleku transkriptsiooni või mahuka koodibaasi väljavõtte.

Microsofti sõnul toetab mudel rohkem kui 20 keelt. Dokumenteeritud loend sisaldab inglise, araabia, hiina, tšehhi, taani, hollandi, soome, prantsuse, saksa, heebrea, ungari, itaalia, jaapani, korea, norra, poola, portugali, vene, hispaania, rootsi, tai, türgi ja ukraina keelt. Kvaliteet ei pruugi kõigis keeltes olla ühesugune, mistõttu peaksid rangete mitmekeelsete täpsusnõuetega rakendused testima mudelit enda andmetel.

Mudel aitab programmeerimisülesannetes, mis hõlmavad näiteks Pythonit, C++, Rusti, Javat ja TypeScripti. Sobivad näited on funktsiooni selgitamine, koodilõigu kavandamine, hoidla ühe osa kokkuvõtte tegemine, koodi vormingutevaheline teisendamine või rakenduse üksikasju puudutavatele küsimustele vastamine. Need on teksti genereerimise võimed, mitte garantii, et genereeritud kood kompileerub, on turvaline või vastab tootmissüsteemi nõuetele.

Modaalsused, tööriistad ja käituskäitumine

Phi-3.5-mini-instruct on ainult tekstipõhine. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli ega videot. Rakendus võib lisada viipa ekstraheeritud teksti, transkriptsioone või kirjeldusi, kuid selline eeltöötlus ei muuda mudelit algupäraselt multimodaalseks.

Esitatud mudelikirjes ei tuvastata tööriistade ega funktsioonikutsete algupärast tuge. Samuti ei paku mudel sisseehitatud veebiotsingu võimalust. Seetõttu tuleb otsinguga täiendatud genereerimine, veebisirvimine, kalkulaatorid, andmebaasid ja muud välised tööriistad rakendusel endal luua ning nende tulemused mudeli tekstiviipa lisada.

Mudelikirje kohaselt on voogedastus toetatud, kuigi täpne liides sõltub järelduskeskkonnast. Toetatud on ka peenhäälestus, kuid uurimismaterjalis ei täpsustata üht ametlikku peenhäälestusteenust, meetodit ega riistvaranõuet. Arendajad peaksid järgima valitud raamistiku ja juurutuskeskkonna dokumentatsiooni.

Peamised tugevused ja kompromissid

• Väike juurutusjalajälg: Ligikaudu 3,8 miljardi parameetri tõttu on mudel kohalikes, serva-, tööjaama- ja piiratud ressurssidega juurutustes praktilisem kui palju suuremad keelemudelid.
• Pikk avaldatud kontekst: 128K tokeni suurune arhitektuuriline kontekst sobib pikkade dokumentide, koodianalüüsi ja otsingupõhiste töövoogude jaoks, kuigi konkreetne käituskeskkond võib kehtestada madalama piirangu.
• Paindlik litsents: MIT-litsents sobib organisatsioonidele, kes soovivad kaale uurida, kohandada või ise majutada, järgides kehtivaid litsentsi- ja kasutuskohustusi.
• Mitmekeelne tekstivõimekus: Mudel toetab mitmesuguseid keeli vestluse, kokkuvõtete ja küsimustele vastamise jaoks.
• Juurutuse kontroll: Allalaaditavad kaalud võimaldavad arendajatel valida riistvara, kvantimise, järeldustarkvara, andmekäitlustavad ja teenindusarhitektuuri.

Sama ülesehitus toob kaasa ka kompromisse. Kompaktsel mudelil on üldjuhul vähem üldteadmisi ja väiksem faktiline usaldusväärsus kui uuematel või oluliselt suurematel tippmudelitel. Samuti võib see jääda hätta keerukama arutlemise, mitmetähenduslike juhiste, ebatavaliste erijuhtude ja suure mõjuga otsustega. Mudelikirjes on toimetuslikud võrdlushinded arutlemise ja programmeerimise eest 6/10, kiiruse eest 8/10 ning hinna eest 9/10; need on võrdluseks mõeldud hinnangud, mitte Microsofti avaldatud võrdlustesti tulemused.

Teadmiste lõppkuupäev ja olulised piirangud

Dokumenteeritud teadmiste lõppkuupäev on oktoober 2023. Phi-3.5-mini-instruct ei saa teada pärast seda kuupäeva lisandunud sündmustest ega teabest, välja arvatud juhul, kui rakendus edastab ajakohast materjali otsingu või mõne muu välise andmeallika kaudu. Otsingu- või otsingupõhise genereerimise kihi lisamine võib värskust parandada, kuid see ei muuda mudeli aluseks olevat teadmiste lõppkuupäeva.

Mudelil puudub loomupärane veebisirvimise, ajakohase teabe hankimise ja väliste toimingute võimekus. Mudel saab koostada vastuse talle esitatud teksti põhjal, kuid ümbritsev süsteem peab hankima ajakohased allikad, otsustama, milliseid tööriistu kasutada, ja tagastatud teavet kontrollima. Samuti tuleks kontrollida genereeritud vastuseid väljamõeldud faktide, valede viidete, ebaturvalise koodi ja sobimatute soovituste suhtes.

Microsofti mudelidokumentatsioon hoiatab, et kontrollpunkti ei ole spetsiaalselt hinnatud kõigi võimalike edasiste kasutusviiside jaoks. Arendajad peaksid oma rakenduse jaoks kontrollima täpsust, töökindlust, õiglust, privaatsust ja ohutust, eriti meditsiini, õiguse, rahanduse, tööhõive, turvalisuse ja muudes suure mõjuga valdkondades. Väikest avatud kaaludega mudelit ei tohiks pidada autonoomseks otsustajaks pelgalt seetõttu, et see suudab luua ladusalt sõnastatud vastuseid.

Juurutamine ja hinnastamine

Mudel on saadaval Microsofti Hugging Face'i hoidlas ning selle kasutamist Transformersiga on dokumenteeritud. Hoidlas ja Microsofti muudes materjalides kirjeldatakse või mainitakse ka juurutusviise, mis hõlmavad vLLM-i, SGLang-i, Docker Model Runnerit, ONNX-it ja seotud kohalikke tööriistu. Täpsed käsud, kvantimisvõimalused, mälunõuded ja jõudlus varieeruvad sõltuvalt käituskeskkonnast ja riistvarast.

Esitatud uurimismaterjalis ei ole allalaaditava kontrollpunkti jaoks üht ametlikku Microsofti sisend- või väljundtokeni hinda. Kohalikel kasutajatel võivad tekkida riistvara-, elektri-, salvestus- ja arenduskulud, samal ajal kui majutatud teenuse kasutajad maksavad pakkuja, eksemplari tüübi, järelduse kestuse, tokenite mahu või teenusepaketi alusel. Mudelikataloog või majutatud lõpp-punkt võib kehtestada ise hallatavast paigaldusest erinevad kontekstipiirangud ja hinnad, mistõttu tuleks enne tegevuskulude hindamist kontrollida konkreetse juurutuse tingimusi.

Millal seda mudelit valida?

Phi-3.5-mini-instruct on mõistlik valik siis, kui kaasaskantavus, kontroll ja kasutuskulu on tähtsamad kui maksimaalne üldine võimekus. See sobib kohalikele vestlusassistentidele, privaatsetele teksti genereerimise süsteemidele, mitmekeelsete kokkuvõtete tegemisele, dokumentidele esitatavatele küsimustele vastamiseks, otsinguga täiendatud rakendustele, koodi selgitamiseks, pika kontekstiga koodi ülevaatuseks, uurimisprojektidele, peenhäälestuse katseteks ja prototüüpidele, mis peavad töötama suhteliselt tagasihoidliku riistvaraga.

See on eriti atraktiivne siis, kui organisatsioon soovib kohustusliku majutatud API asemel allalaaditavaid kaale või kui tundlik tekst peaks jääma arendaja kontrolli all olevasse taristusse. Pikk kontekst võib ka dokumentide töövooge lihtsustada, eeldusel et valitud käituskeskkond suudab tegelikult vajalikku sisendi pikkust töödelda.

Suurem või uuem mudel võib olla sobivam tipptasemel arutlemiseks, keerukaks autonoomseks programmeerimiseks, nõudlikuks faktiuurimiseks, suure mõjuga otsusteks või ülesanneteks, mis nõuavad piltide, heli või video algupärast mõistmist. Sisseehitatud tööriistadega majutatud mudel võib olla eelistatum, kui rakendus vajab hallatud veebisirvimist, funktsioonikutseid, ajakohaseid andmeid või prognoositavat teenusetaseme käitumist. Phi-3.5-mini-instruct sobib endiselt hästi siis, kui prioriteet on kompaktne, odav ja kohandatav tekstimudel, mitte võimalikult suur võimekus.