Mis on Phi-3.5-MoE-instruct?
Phi-3.5-MoE-instruct on Microsofti Phi-3.5 tooteperre kuuluv juhiste järgi häälestatud keelemudel. See võtab vastu tekstipõhiseid viipasid ja genereerib tekstivastuseid, mistõttu sobib see näiteks küsimustele vastamiseks, kirjalike juhiste järgimiseks, dokumentide kokkuvõtmiseks, koodi selgitamiseks, matemaatikaülesannete lahendamiseks ja vestlusrakenduste toetamiseks.
Mudel kasutab ekspertide segu ehk MoE-arhitektuuri. Selle asemel et aktiveerida iga märgi puhul kõik parameetrid, suunab mudel päringu iga osa läbi spetsialiseerunud ekspertvõrkude alamhulga. Phi-3.5-MoE-instruct sisaldab kokku ligikaudu 42 miljardit parameetrit, mis on jaotatud 16 eksperdi vahel, samal ajal kui järeldusetapi käigus on aktiivsed ligikaudu 6,6 miljardit parameetrit, kui valitakse kaks eksperti. See vähendab aktiivset arvutuskoormust võrreldes tiheda mudeliga, mis sisaldaks kõiki 42 miljardit parameetrit, kuigi kogu kontrollpunkti jaoks on endiselt vaja märkimisväärselt mälu.
Microsoft avaldas mudeli 2024. aasta augustis MIT-litsentsi alusel. Avatud kaaludega litsents ja allalaaditav kontrollpunkt muudavad selle oluliseks organisatsioonidele, kes soovivad juurutamise, taristu ja andmekäitluse üle suuremat kontrolli, kui suletud majutatud mudel tavaliselt võimaldab.
Saadavus ja hetkeseis
Phi-3.5-MoE-instruct ei ole enam aktiivne Azure Foundry majutatud mudel. Microsoft lõpetas Azure’i mudeli lõpp-punkti töö 30. augustil 2025 ja nimetas selle majutatud pakkumise soovituslikuks asenduseks mudeli Phi-4-mini-instruct. See lõpetamine puudutab Azure’i teenust, mitte mudeli kaalusid.
Kontrollpunkt on endiselt saadaval Microsofti Hugging Face’i repositooriumi kaudu ning seda saab kasutada ühilduvate tööriistadega, näiteks Transformersi ja vLLM-iga. Seetõttu tuleks mudelit tänapäeval käsitleda eelkõige avatud kaaludega mudelina, mis on mõeldud ise hallatavaks või kolmanda osapoole toel toimuvaks järelduseks, mitte praeguse Microsofti majutatud API-valikuna. Kasutajad peaksid eristama ajaloolisi Azure’i hindu ja piiranguid mudeli jätkuvast saadavusest allalaaditava tarkvarana.
Tehnilised andmed
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | Microsoft |
| Mudelite perekond | Phi-3.5 |
| Väljalase | August 2024 |
| Arhitektuur | Ainult dekooderiga Transformer, ekspertide segu |
| Parameetreid kokku | Ligikaudu 42 miljardit |
| Aktiivsed parameetrid | Ligikaudu 6,6 miljardit, kui aktiivsed on kaks eksperti |
| Kontekstiaken | 131 072 tokenit, mida kirjeldatakse sageli kui 128K tokenit |
| Azure’i maksimaalne väljund | 4096 tokenit |
| Sisend | Ainult tekst |
| Väljund | Ainult genereeritud tekst |
| Litsents | MIT |
| Teadmiste lõppkuupäev | 2023. aasta oktoober avalikult kättesaadavate andmete puhul, vastavalt mudelikaardile |
128K tokeni suurune kontekstiaken on mudeli peamine arhitektuuriline eelis pikkade viipade puhul. See võimaldab ühte päringusse mahutada suuri dokumente, vestluste ajalugu, koodibaase või otsinguga leitud lähtematerjali. Tegelik piir sõltub siiski järeldusraamistikust, saadaolevast mälust, viiba vormindusest ja juurutuskeskkonnast.
Võimalused ja sobivaimad kasutusjuhud
Microsoft kavandas Phi-3.5-MoE-instructi juhiste järgimiseks, arutlemiseks, matemaatikaülesannete lahendamiseks, programmeerimiseks, mitmekeelseks teksti genereerimiseks ja üldotstarbeliste assistendirakenduste jaoks. Selle 128K kontekst muudab mudeli eriti asjakohaseks olukordades, kus päring sõltub rohkemast lähtematerjalist, kui väiksema kontekstiaknaga mudel mugavalt mahutaks.
- Pika kontekstiga dokumenditöö: Pikkade tekstikogumite kokkuvõtete tegemine, küsimustele vastamine, teabe eraldamine ja võrdlemine.
- Mitmekeelsed rakendused: Mudel toetab araabia, hiina, tšehhi, taani, hollandi, inglise, soome, prantsuse, saksa, heebrea, ungari, itaalia, jaapani, korea, norra, poola, portugali, vene, hispaania, rootsi, tai, türgi ja ukraina keelt.
- Abiline programmeerimisel: Koodi selgitamine, genereerimine ja teisendamine ning silumisega seotud vestlused.
- Matemaatika ja arutlemine: Ülesannete samm-sammuline lahendamine ja juhistepõhised analüütilised ülesanded; olulised tulemused tuleb tavapäraselt üle kontrollida.
- Otsinguga täiendatud genereerimine: Mudeli ühendamine otsingu- või taastesüsteemiga, et vastustes saaks kasutada organisatsiooni dokumente või värskemat teavet.
- Kontrollitud kohalikud rakendused: Ise majutatavad assistendid ja teksti genereerimise süsteemid, mille puhul on oluline juurutamise kontroll või avatud litsents.
Mudelikaart ja sellega kaasnev uurimistöö toetavad neid kasutusjuhte kavandatud võimalustena, kuid ei taga kindlat täpsustaset igas valdkonnas. Mudeli jõudlus võib varieeruda sõltuvalt viiba ülesehitusest, keelest, dokumentide kvaliteedist, otsingu kvaliteedist ning mudeli käitamiseks kasutatavast riist- ja tarkvarast.
Modaalsused, tööriistad ja väljundi juhtimine
Phi-3.5-MoE-instruct töötab ainult tekstiga. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli, muusikat ega videot. Rakendused võivad lisada tekstiviipa kirjeldusi või transkriptsioone, kuid see erineb algupärasest multimodaalsest mõistmisest.
Kaasa antud mudeliandmed ei tuvasta algupärast tööriistade kasutamise ega funktsioonikutsete tuge. Seetõttu ei tohiks seda valida juhul, kui rakendus vajab dokumenteeritud sisseehitatud tööriistakasutuse liidest. Arendajad saavad genereeritud teksti ümber siiski rakendustasandi töövooge ehitada, näiteks lasta tarkvaral vastust analüüsida ja seejärel toimingu teha, kuid see on väline orkestreerimiskiht, mitte kontrollitud algupärane mudelifunktsioon.
Mudel genereerib teksti ning sellel ei ole kaasasoleva uurimuse põhjal kontrollitud algupärast struktureeritud väljundi ega JSON-režiimi võimekust. Juurutus võib viipamise abil nõuda kindlat vormingut või rakenduse koodis vormingu jõustada, kuid usaldusväärset skeemi jõustamist ei tohiks eeldada.
Arutlemine, programmeerimine, kiirus ja kulude kompromissid
Phi-3.5-MoE-instruct loodi arutlemise, matemaatika ja programmeerimise jaoks ning selle MoE-disain aktiveerib vähem parameetreid kui kontrollpunkti kogusuurus. Põhimõtteliselt annab see sama parameetrite koguarvuga tiheda mudeliga võrreldes soodsama aktiivse arvutuskoormuse. See ei muuda mudelit siiski kergeks majutada: ligikaudu 42 miljardi parameetriga kontrollpunkti laadimine ja teenindamine võib endiselt nõuda palju mälu ja võimekat riistvara.
Mudeliga kaasas olevad toimetuslikud võrdlushinnangud annavad arutlemisele ja programmeerimisele hindeks 7 kümnest, kiirusele 6 kümnest ning kulule 8 kümnest. Need on subjektiivsed toimetuslikud hinnangud, mitte Microsofti võrdlustulemused ega ametlikud jõudlusgarantiid. Need peegeldavad mudeli kavandatud tasakaalu võimekuse, aktiivse arvutuskoormuse ja avatud juurutamise majandusliku otstarbekuse vahel, mitte universaalset paremusjärjestust.
Kohalike käitajate jaoks tähendab see kompromissi võimekuse ja taristu vahel. Phi-3.5-MoE-instruct pakub pikka konteksti ja suhteliselt tõhusat aktiivset töötlust, kuid väiksemaid tihedaid mudeleid võib piiratud riistvaral olla lihtsam käitada. Majutatud mudel võib olla mugavam ka siis, kui esmatähtis on vältida GPU-de hankimist, mudelite teenindamist ja operatiivset hooldust. Ise majutamine võib seevastu olla eelistatav, kui andmete kontroll, kohandamine või prognoositav juurdepääs on operatiivsest lihtsusest olulisem.
Piirangud ja riskid
Kõige olulisem funktsionaalne piirang on mudeli tekstipõhisus. See ei sobi otseselt visuaalsetele küsimustele vastamiseks, kõnetöötluseks, heli genereerimiseks ega videotöövoogudeks. Sellised rakendused vajavad täiendavaid modaalsuspõhiseid süsteeme või teistsugust mudelit.
Mudelikaardi kohaselt on mudeli teadmiste lõppkuupäev avalikult kättesaadavate andmete puhul 2023. aasta oktoober. See ei tea automaatselt pärast seda aega toimunud sündmustest, avaldatud dokumentidest ega muudatustest. Värsket teavet vajavad rakendused tuleks ühendada otsingu või taastepõhise täiendusega ning olulised vastused tuleks ikkagi üle kontrollida.
Microsofti mudelidokumentatsioon hoiatab, et mudel võib genereerida faktivigu. Pikk kontekst ei kõrvalda hallutsinatsioone: suurema tekstihulga lisamine viipa võib aidata vastust põhjendada, kuid mudel võib siiski jätta asjakohased lõigud tähelepanuta, juhistest valesti aru saada või genereerida toetamata järeldusi. Kõrge riskiga kasutusjuhtudel tuleks rakendada otsingukontrolle, väljundi valideerimist ja inimese tehtavat ülevaatust.
Riistvara on veel üks praktiline piirang. Kuigi nimetatud kahe eksperdi konfiguratsioonis on aktiivsed ligikaudu 6,6 miljardit parameetrit, sisaldab kogu kontrollpunkt ligikaudu 42 miljardit parameetrit. Kohalik juurutamine võib seetõttu nõuda palju mälu ja võimekaid kiirendeid. Microsoft dokumenteeris testid NVIDIA A100, A6000 ja H100 GPU-del ning märgib, et FlashAttentioni kasutamine sõltub ühilduvast riist- ja tarkvarast.
Hinnad ja juurutusvõimalused
Phi-3.5-MoE-instructil ei ole praegu Azure Foundry majutatud hinda, sest Microsoft lõpetas lõpp-punkti töö 30. augustil 2025. Ajalooline Azure’i hind oli ligikaudu 0,16 dollarit 1 miljoni sisendtokeni ja 0,64 dollarit 1 miljoni väljundtokeni kohta. Neid näite tuleks käsitleda üksnes ajaloolise viitena, mitte aktiivse hinnapakkumise või saadaoleva arveldusplaanina.
Ise majutatud kasutuse korral ei kaasne Microsoftilt kaasasoleva uurimuse põhjal mudelitokeni tasu, kuid see ei tähenda, et kasutamine oleks tasuta. Käitajad peavad arvestama GPU-de või pilvearvutuse, salvestusruumi, ribalaiuse, teenindustarkvara, seire ja arendustöö ajakuluga. Transformersi tugi lisati versioonis 4.46.0 ning Microsofti repositoorium sisaldab juhiseid Transformersi, vLLM-i ja kohalike järeldusrakenduste jaoks.
Millal valida Phi-3.5-MoE-instruct?
Vali Phi-3.5-MoE-instruct, kui vajad MIT-litsentsiga allalaaditavat tekstimudelit, millel on väga suur kontekstiaken ning mitmekeelse teksti genereerimise, programmeerimise, matemaatika ja arutlemise võimekus. See on eriti mõistlik meeskondadele, kes suudavad oma taristut käitada, vajavad kontrolli selle üle, kus järeldus toimub, või soovivad avatud kontrollpunkti ümber ehitada otsinguga täiendatud rakendusi.
Mõnes olukorras võib sobivam olla mõni muu võimalus. Vali praegu aktiivne majutatud mudel, kui vajad hallatavat lõpp-punkti, ajakohaseid hindu ja väiksemat taristuvastutust. Vali multimodaalne mudel, kui rakenduse keskmes on pildi-, heli- või videosisend või -väljund. Vali väiksem mudel, kui saadaolev riistvara, vastuse latentsus või käituskulu on olulisem kui 128K kontekstiaken ja selle kontrollpunkti suurem võimekus. Azure’i kasutajatele nimetab Microsoft pensionile saadetud majutatud juurutuse soovitusliku asendusena mudelit Phi-4-mini-instruct, kuid see on eraldi mudel ja seda tuleks hinnata oma nõuete põhjal.
Kokkuvõttes on Phi-3.5-MoE-instruct praegu peamiselt ise hallatav pika kontekstiga keelemudel, mitte aktiivne Azure’i teenus. Selle peamised tugevused on avatud kaaludega MIT-litsents, lai mitmekeelse teksti genereerimise ulatus, MoE-arhitektuur ja 128K kontekst. Peamised kompromissid on märkimisväärsed juurutusnõuded, 2023. aasta oktoobrile eelnev teadmistebaas, ainult tekstiga töötamine, dokumenteeritud algupärase tööriistatoe puudumine ja Azure’i majutatud lõpp-punkti kadumine.