Mis on Phi-3 Medium 128K
Microsoft Phi-3-medium-128k-instruct on Phi-3 perekonda kuuluv 14 miljardi parameetriga juhiste järgi häälestatud keelemudel. Praktilises mõttes on see tekstimudel, mis suudab järgida kirjalikke juhiseid, koostada vastuseid, dokumente kokku võtta, koodi genereerida ja selgitada, lahendada matemaatikaülesandeid, teavet klassifitseerida ning tekstist struktureeritud üksikasju eraldada.
Mudel kasutab tihedat ainult dekooderiga Transformer-arhitektuuri. „Tihe” tähendab, et mudel kasutab iga genereeritava vastuse puhul kogu oma parameetrite komplekti, selle asemel et valida ainult osa neist, nagu teevad mõned ekspertide segu (mixture-of-experts) süsteemid. Tähis „instruct” näitab, et mudel on kohandatud vestlus- ja juhiste järgimise ülesannete jaoks, mitte ei ole mõeldud ainult algse järgmise märgi ennustamise mudeliks.
Microsoft avaldas mudeli kaalud 21. mail 2024 MIT-litsentsi alusel, mis on üsna vaba kasutusega litsents. Mudel on saadaval Microsofti Hugging Face'i repositooriumi kaudu ning see on Azure AI Foundrys loetletud üldiselt kättesaadava vestluse lõpetamise mudelina. See annab kasutajatele kaks üsna erinevat kasutusviisi: kontrollpunkti saab ise juurutada või kasutada hallatud majutatud versiooni.
Miks 128K kontekst on oluline
Selle versiooni määrav omadus on 131 072 märgi suurune kontekstiaken. Kontekstiaken näitab sisendi ja vestlusajaloo hulka, mida mudel saab ühe päringu ajal arvesse võtta. Tähis 128K on ümardatud tootenimetus; dokumenteeritud akna suurus on 131 072 märki.
See mahutavus on kasulik siis, kui ülesanne sõltub suuremast teabehulgast, kui tavaline lühike vestlusviip mahutab. Näited on pika tehnilise dokumendi läbivaatamine, paljude otsitud tekstilõikude ühendamine otsinguga täiendatud genereerimise (RAG) süsteemis, mitme eeskirjafaili võrdlemine, pika vestluse säilitamine või ulatuslike väheste näidetega viipade esitamine, mis näitavad eeldatavat väljundvormingut.
Suur kontekstiaken ei taga täiuslikku meenutamist ega sama tugevat arutlusvõimet väga pika viiba kõigis osades. Samuti suurendab see järeldamise mälu- ja latentsusnõudeid, eriti kui mudelit käitatakse kohapeal. Arendajad peaksid testima, kas mudel kasutab nende töökoormuse puhul kaugel paiknevat teavet tegelikult usaldusväärselt, mitte käsitlema kontekstipiirangut kvaliteedigarantiina.
Võimekus ja toetatud modaalsused
Phi-3-medium-128k-instruct on ainult tekstipõhine. See võtab vastu tekstisisendi ja väljastab teksti. Mudel ei töötle algupäraselt pilte, heli ega videot ega genereeri neid meediatüüpe. Seetõttu sobib see tekstipõhiste töövoogude jaoks, kuid mitte visuaalseks küsimustele vastamiseks, kõnetöötluseks, piltide loomiseks, video genereerimiseks ega multimeediumdokumentide analüüsiks, välja arvatud juhul, kui eraldi eeltöötlussüsteem teisendab need sisendid tekstiks.
Selle kavandatud kasutusalad hõlmavad järgmist:
- Pikkade dokumentide kokkuvõtete ja küsimustele vastuste koostamine
- Otsinguga täiendatud genereerimine suurte otsitud tekstikogumite põhjal
- Vestlusrakendused ja tekstipõhised assistendid
- Koodi genereerimine, selgitamine, teisendamine ja silumise abistamine
- Matemaatiline arutlemine ja lahenduskäigu selgitamine
- Teksti klassifitseerimine, teabe eraldamine ja korrastamine
- Väheste näidetega viipade kasutamine paljude näidetega
Selle täpse mudeli algupärast veebiotsingu- või sirvimisvõimekust ei ole eraldi kinnitatud. Mudeli teadmiste lõppkuupäev on oktoober 2023, seega ei tohiks seda käsitleda ajakohase teabe allikana ilma otsingu, väliste tööriistade või hallatava rakenduskihita.
Tehnilised andmed ja piirangud
| Spetsifikatsioon | Dokumenteeritud väärtus |
|---|---|
| Pakkuja | Microsoft |
| Mudelite perekond | Phi-3 |
| Parameetrid | 14 miljardit |
| Arhitektuur | Tihe ainult dekooderiga Transformer |
| Kontekstiaken | 131 072 märki |
| Maksimaalne väljund | 4096 märki Microsoft Foundrys |
| Sisend | Tekst |
| Väljund | Tekst |
| Litsents | MIT |
| Teadmiste lõppkuupäev | Oktoober 2023 |
| Väljalaskekuupäev | 21. mai 2024 |
4096 märgi suurune väljundipiirang on dokumenteeritud konkreetselt Microsoft Foundry jaoks. Isehostitud juurutus võib pakkuda teistsuguseid käitusaegseid juhtelemente, kuid esitatud uuring ei kinnita universaalset väljundipiirangut kõigi järeldusmootorite puhul. Seetõttu tuleks kontekstiakent ja maksimaalset väljundit kontrollida kasutatava teenindusplatvormi järgi.
Arutlemine, kodeerimine ja tööriistade tugi
Microsoft positsioneerib Phi-3-medium-128k-instructi arutlemiseks, matemaatikaks, kodeerimiseks ja üldiseks keele mõistmiseks. Juhiste järgi häälestamine muudab selle sobivaks vaheetappide selgitamiseks, koodi teisendamiseks, tehnilistele küsimustele vastamiseks ja tekstipõhiste probleemide lahendamiseks. Need võimekused on mudeli kavandatud ülesehituse praktilised tugevused, mitte garantii, et iga vastus on õige.
Olemasolevate hindamisandmete põhjal on mudeli toimetuslik arutlusoskus 7 punkti 10-st ja toimetuslik kodeerimisoskus samuti 7 punkti 10-st. Need hinded pärinevad esitatud kataloogiandmetest, mitte Microsofti avaldatud võrdlustest, ning neid ei tohiks segi ajada standardiseeritud testimõõtmistega. Need viitavad võimekale üldotstarbelisele väikese kuni keskmise suurusega mudelile, kuid uuemad või suuremad tipptasemel mudelid võivad olla eelistatavad eriti keerukate arutlusülesannete, keerulise tarkvaraarenduse või väga usaldusväärset mitmeastmelist planeerimist nõudvate ülesannete puhul.
Selle täpse mudeli algupärast tööriista- või funktsioonikutsungi tuge ei ole esitatud uuringus eraldi kinnitatud. Kataloogis on tööriistade kasutamine märgitud mittetoetatuks ja struktureeritud väljund kinnitamata. Arendajad saavad siiski luua mudeli ümber rakenduse, mis vastuseid parsib või otsitud teksti edastab, kuid see erineb teenusepakkuja garanteeritud funktsioonikutsungi või skeemiga piiratud väljundrežiimi olemasolust.
Juurutusvõimalused
Avatud kontrollpunkti saab alla laadida ja juurutada selliste tööriistadega nagu Transformers, vLLM, SGLang, ONNX Runtime, DirectML ja ühilduvad kvantiseeritud käituskeskkonnad. See paindlikkus on oluline organisatsioonidele, kes vajavad kontrolli majutuse, andmete liikumise, latentsuse või tegevuskulude üle.
Kohapealne juurutus nõuab sobivat riistvara ja operatiivset tööd. 14 miljardi parameetriga mudel 131 072 märgi suuruse kontekstiga võib tarbida palju mälu ning pikad viibad võivad suurendada latentsust isegi siis, kui mudel ise on väiksem kui paljud tipptasemel süsteemid. Kvantiseerimine ja optimeeritud käituskeskkonnad võivad vähendada ressursinõudeid, kuid uuringus ei määratleta üht universaalselt sobivat riistvarakonfiguratsiooni.
Azure AI Foundry pakub hallatud alternatiivi. Majutatud järeldamine välistab vajaduse mudeliserverit käitada, kuid toob kaasa märgipõhised tasud ning sõltuvuse Microsofti teenuse kättesaadavusest, piirangutest ja konfiguratsioonist. Kataloogiandmetes on mudel märgitud ka peenhäälestust toetavaks; Microsoft on teatanud Phi-3-mediumi mudelite peenhäälestuse toest Azure'is.
Hinnakujundus
Microsoft Foundry hinnaks on märgitud ligikaudu 0,17 dollarit 1 miljoni sisendmärgi ja 0,68 dollarit 1 miljoni väljundmärgi eest. Need on kasutuspõhised järeldamise hinnad, mitte korduva tellimuse tasu. Sisend- ja väljundmärke hinnastatakse erinevalt, mistõttu võivad pikki vastuseid genereerivad rakendused maksta rohkem kui rakendused, mis peamiselt teksti klassifitseerivad või kokku võtavad.
Isehostimine ei tekita teenusepakkujale makstavaid märgipõhiseid tasusid, kuid operatiivses mõttes ei ole see tasuta. Kasutajad peavad tagama arvutusvõimsuse, salvestusruumi, seire, hoolduse ja mahu. Sobiva taristuga stabiilse töökoormuse korral võib isehostimine pakkuda prognoositavamaid kulusid või suuremat kontrolli. Ebaregulaarse töökoormuse puhul võib hallatud juurdepääs Foundryle olla lihtsam, sest see välistab pidevalt kättesaadava järelduskeskkonna hooldamise.
Hinnad ja teenuse tingimused võivad muutuda. Enne juurutamist tuleks loetletud summad üle kontrollida Microsoft Foundry asjakohasest kataloogist, eriti tootmisliikluse kuluhinnangu koostamisel.
Peamised tugevused ja kompromissid
Selle mudeli valimise tugevaim põhjus on suure kontekstiakna, avatud kaalude ja suhteliselt kompaktse 14 miljardi parameetriga suuruse kombinatsioon. Meeskond saab kasutada sama mudeliperekonda pikkade tekstiviipade, kohalike katsetuste, privaatsete juurutuste ja hallatud Azure'i järeldamise jaoks. MIT-litsents on samuti vabam kui litsentsid, mis piiravad ärilist kasutust või nõuavad juurdepääsu majutatud API kaudu.
Pikk kontekst võib vähendada vajadust dokumente rangelt osadeks jagada või otsitud tekstilõike kõrvale jätta. Ainult tekstipõhine ülesehitus muudab teenindusprobleemi kitsamaks kui multimeediumsüsteemi puhul, mis võib olla eelis, kui rakendus töötab juba tekstiga. Mudel on mõeldud ka kodeerimiseks, matemaatikaks ja arutlemiseks, mitte ainult lühikesteks vestlusvastusteks.
Kompromissid on sama olulised. Phi-3-medium-128k-instruct on 2024. aasta põlvkonna mudel, mille teadmiste lõppkuupäev on oktoober 2023. Sellel puudub sisemine veebiotsing ning Foundry 4096 märgi suurune väljundipiirang võib olla piirav ülesannete puhul, mis nõuavad pikki genereeritud aruandeid või suuri koodiväljundeid. 14 miljardi parameetriga mudelit võib olla lihtsam juurutada kui palju suuremat mudelit, kuid 128K kontekst tekitab endiselt märkimisväärseid mälu- ja latentsusnõudeid.
Selle täpse mudeli puhul ei ole eraldi kinnitatud ka algupärast tööriistakutsungit, struktureeritud väljundirežiimi, viipade vahemällu salvestamist ega pakktöötluse API-t. Neist funktsioonidest sõltuvad rakendused peaksid kontrollima, kas valitud teenindusplatvorm neid pakub, või valima mudeli ja teenusepakkuja, kellel on selgesõnaline tugi.
Millal valida Phi-3-medium-128k-instruct
Vali see mudel siis, kui tekstirakendus vajab ebatavaliselt pikki viipasid ja saab kasu isehostimise võimalusest. See on tugev kandidaat dokumendirohke RAG-i, pikkade tehniliste või juriidiliste tekstide läbivaatamise, ettevõttesiseste teadmiste assistentide, koodikesksete utiliitide ja katsetuste jaoks, kus MIT-litsentsiga avatud kaaludega mudel on oluline.
See on eriti mõistlik siis, kui töökoormuse puhul on kõige uuemate tipptasemel mudelite võimekusest olulisem kontroll ja juurutuspaindlikkus. Meeskond saab mudelit kohapeal testida, käituskeskkonda optimeerida ja liikuda Azure Foundryle, kui hallatud teenindus on mugavam.
Mõni teine võimalus võib olla sobivam siis, kui rakendus vajab piltide, heli või video mõistmist; ajakohast teavet ilma välise otsingukihita; garanteeritud funktsioonikutsungit; väga usaldusväärseid struktureeritud vastuseid; väga suuri genereeritud väljundeid; või tipptasemel jõudlust keerukates arutlus- ja tarkvaraarendusülesannetes. Lühikeste viipade korral, kus konteksti suurus pole oluline, võib väiksem või odavam mudel pakkuda ka paremat kiiruse ja hinna kompromissi.
Praktilised piirangud, millega arvestada
- Kontrolli olulisi vastuseid, arvutusi ja genereeritud koodi; mudel võib endiselt toota ebatäpset või ebaturvalist sisu.
- Testi pika konteksti otsingut otse, sealhulgas viiba algusesse, keskele ja lõppu paigutatud teabega.
- Arvesta väga suurte kontekstide kohapealsel kasutamisel suurema mälukasutuse ja latentsusega.
- Ära eelda, et MIT-litsents kõrvaldab kõik juurutuskohustused; endiselt kehtivad rakenduse, andmete ja ohutuse nõuded.
- Kontrolli, kas valitud käituskeskkond toetab soovitud voogedastuse, peenhäälestuse, kvantiseerimise ja väljundi juhtimise funktsioone.
- Ajakohaste faktide jaoks ühenda mudel otsingu- või otsingupõhise süsteemiga, mitte ära tugine selle 2023. aasta oktoobris lõppenud treeningandmetele.
Kokkuvõttes tuleks Phi-3-medium-128k-instructi käsitleda pigem avatud, ainult tekstipõhise ja pika kontekstiga mudelina kui täieliku agendiplatvormina. Selle atraktiivsus seisneb 128K klassi kontekstimahu ühendamises kohaliku ja hallatud juurutuse võimalustega. Selle piirangud — eelkõige aegunud teadmiste lõppkuupäev, kinnitatud algupärase tööriistatoe puudumine, ainult tekstipõhine liides ja Foundry väljundipiirang — peaksid suunama otsust selle üle, kas mudel sobib konkreetsesse tootmissüsteemi.