Mis on Phi-3-mini-4k-instruct?
Phi-3-mini-4k-instruct on Microsofti välja töötatud väike juhiste järgi häälestatud keelemudel. Selle ligikaudu 3,8 miljardit parameetrit muudavad selle märksa väiksemaks kui paljud üldotstarbelised mudelid, mis on loodud maksimaalse võimekuse saavutamiseks. Just väiksem maht on peamine põhjus seda mudelit kaaluda: see on mõeldud rakendusteks, kus on olulised reageerimiskiirus, tõhus juurutamine või piiratud arvutusressursid.
Juhiste järgi häälestamine tähendab, et mudel õpetati kasutaja juhistele vastama, mitte lihtsalt teksti jätkama. Microsofti kirjelduse järgi sobib Phi-3-mini-4k-instruct üldiste keeleülesannete, arutlemise, matemaatika, loogika, programmeerimise ja vestluspõhise kasutuse jaoks. Selle treening hõlmas juhendatud peenhäälestust ja otsest eelistuste optimeerimist.
Mudel kuulub Microsofti Phi perekonda, kuid seda ei tohiks segi ajada üldise Microsoft Copiloti kasutuskogemusega. Phi-3-mini-4k-instruct on allalaaditav mudel, mida saab rakendusse integreerida või käitada toetatud majutusinfrastruktuuri kaudu. See ei paku Copiloti veebotsingut, failianalüüsi, piltide genereerimist ega laiemaid tootetehnilisi integratsioone.
Põhispetsifikatsioonid ja toetatud modaalsused
Kontrollitud mudelispetsifikatsioonide kohaselt on tegemist ainult teksti töötleva dekoodermudeliga, mille kontekstiaken on suhteliselt lühike. Kontekstiaken näitab tekstihulka, mida mudel saab ühe päringu puhul arvesse võtta, sealhulgas viipa ja genereeritud vastust. Kuna saadaval on 4 096 tokenit, sobib mudel paremini lühikesteks vestlusteks ja keskendunud dokumentideks kui mahukate aruannete, koodibaaside või pikaajalise dialoogi jaoks.
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | Microsoft |
| Mudeliperekond | Phi-3 |
| Mudeli suurus | Ligikaudu 3,8 miljardit parameetrit |
| Konteksti pikkus | 4 096 tokenit |
| Maksimaalne väljund | 4 096 tokenit Microsoft Foundry loendis |
| Teadmiste lõpptähtaeg | Oktoober 2023 |
| Sisend | Tekst |
| Väljund | Genereeritud tekst |
| Litsents | MIT |
| Tööriista- või funktsioonikutsete tugi | Microsoft Foundry loendis pole saadaval |
Phi-3-mini-4k-instruct ei võta algupäraselt vastu pilte, heli ega videot ning ei genereeri pilte, heli, videot ega kõnet. Seetõttu ei sobi see peamiseks mudeliks nägemisabiliste, transkriptsioonisüsteemide, pildigeneratsiooni töövoogude ega multimodaalsete agentide jaoks. Rakendus võiks selle ümber teoreetiliselt paigutada mõne teise süsteemi, kuid see ei lisaks neid modaalsusi mudelile endale.
Võimekus ja praktilised tugevused
Mudeli peamine tugevus on tõhusus, mitte tipptasemel võimekus. Selle kompaktne suurus muudab selle sobivaks kandidaadiks lokaalseks järeldamiseks, servtöötlusele suunatud katseteks, privaatseks juurutamiseks ja teenusteks, kus iga päring ei õigusta suure majutusmudeli kasutamist. See suudab teksti genereerida ja teisendada, vastata keskendunud küsimustele, teha lühematest tekstidest kokkuvõtteid, koostada struktureeritud teksti ning abistada lihtsamate programmeerimis- või matemaatikaülesannete puhul.
Näiteks võib arendaja kasutada seda tugisõnumite klassifitseerimiseks hoolikalt koostatud viipade abil, lühikese pöördumise kokkuvõtmiseks, koodikommentaari mustandi loomiseks, väikese tekstikirje väljade eraldamiseks või kerge vestlusliidese pakkumiseks. Väiksem mudel on sellistes kasutusjuhtudes kasulik, sest reageerimisaeg ja kasutuskulu võivad olla olulisemad kui keerukas mitmeetapiline arutlemine.
Microsofti dokumenteeritud võimekused hõlmavad üldist arutlemist, matemaatikat, loogikat, programmeerimist ja vestlemist. Need on teenusepakkuja kirjeldatud kasutusjuhud, mitte konkreetse täpsustaseme garantii. Mudeli 3,8 miljardi parameetriga maht ja vanem treeningandmete lõpptähtaeg tähendavad, et tulemusi tuleks kontrollida konkreetse ülesande põhjal, eriti siis, kui õigsus on oluline.
Konteksti, väljundi ja teadmiste piirangud
4 096 tokeni suurune kontekstiaken on üks mudeli olulisemaid praktilisi piiranguid. Token on mudeli kasutatav väike tekstiosa; 4 096 tokeni täpne vastavus sõnade arvule sõltub keelest ja sisust. Piirang hõlmab nii mudelile antud materjali kui ka selle genereeritavat vastust, mistõttu pikk viip jätab vastuse jaoks vähem ruumi.
Seetõttu sobib mudel paremini lühikeste dokumentide, keskendunud viipade ja piiritletud suhtluse kui tervete raamatute, pikkade juriidiliste dokumentide, suurte koodivaramute või mahukate vestlusajalugude jaoks. Pikema materjaliga töötavad rakendused peaksid selle jaotama osadeks, tegema sellest esmalt kokkuvõtte või kasutama suurema kontekstiaknaga mudelit.
Mudeli teadmiste lõpptähtaeg on oktoober 2023. See ei tea automaatselt pärast seda kuupäeva toimunud sündmustest, välja antud toodetest, muutunud õigusnormidest ega tarkvarauuendustest. Microsofti mudelidokumentatsioon kirjeldab aluseks oleva treeningu lõpptähtaega; uuema teabe lisamine viipa või selle hankimine välisest süsteemist võib anda rakendusele ajakohase konteksti, kuid ei uuenda mudeli sisemisi treeningandmeid.
Microsoft Foundry loendis oli maksimaalseks väljundiks märgitud 4 096 tokenit. Tootmiskeskkonnas võib latentsuse ja kulude kontrollimiseks olla siiski sobivam lühem vastusepiirang. Kuna mudelit ei ole enam aktiivse Foundry juurutusena loetletud, ei tohiks majutuse piiranguid ja saadavust pidada endiselt ajakohaseks ilma neid eraldi kontrollimata.
Juurutamine, saadavus ja kasutusest kõrvaldamine
Microsoft avaldas allalaaditavad kaalud Hugging Face'i kaudu ning tegi mudeli kättesaadavaks ka Azure'iga seotud teenustes. MIT-litsents lubab litsentsitingimustest lähtudes laialdast kasutust, mistõttu on lokaalne või ise hallatav juurutamine selle mudeli oluline eelis.
Microsofti kasutusest kõrvaldatud mudelite dokumentatsiooni kohaselt eemaldati Phi-3-mini-4k-instruct Microsoft Foundryst 30. augustil 2025. Microsoft nimetab Foundry juurutuste soovitusliku asendusena mudelit Phi-4-mini-instruct. See soovitus kehtib Microsofti majutatud kataloogi kohta; see ei tähenda, et allalaaditavad mudelikaalud oleksid lakanud olemast või et kõik lokaalsed juurutused oleksid automaatselt keelatud.
See eristus on mudeli hindamisel oluline. Meeskond, kes valib täna Phi-3-mini-4k-instructi, võib seda endiselt lokaalselt või kolmanda osapoole tööriistade abil käitada, kuid ei tohiks eeldada Microsoft Foundry praegust esmakasutaja saadavust ilma teenust iseseisvalt kontrollimata. Kasutusest kõrvaldatud majutatud mudelid võivad olla kehv alus ka uuele rakendusele, mis vajab pikaajalist hallatud tuge, prognoositavaid teenusetaseme kohustusi või aktiivselt hooldatud kataloogikirjet.
Ajalooline hinnastamine ja kulude kompromissid
Ajaloolises Azure'i hinnakirjas oli Phi-3-mini 4K hinnaks märgitud 0,00013 dollarit 1 000 sisendtokeni ja 0,00052 dollarit 1 000 väljundtokeni kohta. Need hinnad kehtisid majutatud Azure'i pakkumisele ning neid tuleks pidada ajaloolisteks, mitte praegusteks hindadeks, sest Microsoft Foundry juurutus on kasutusest kõrvaldatud.
Mudeli väike suurus võib ise majutatud või muul viisil kontrollitud keskkondades siiski anda kulueelise. Väiksemad mudelid vajavad üldjuhul vähem arvutusressursse kui suuremad alternatiivid, kuigi tegelik kulu sõltub riistvarast, kvantimisest, samaaegsete päringute arvust, majutustarkvarast ja arendustööst. Uuringud ei määra lokaalse juurutamise jaoks universaalset päringupõhist kulu.
Praktilises mõttes teeb Phi-3-mini-4k-instruct kompromissi võimekuse ja tõhususe vahel. See võib olla rutiinsete tekstitoimingute jaoks säästlik ja kiire, kuid suurem või uuem mudel võib oma kõrgemat hinda õigustada siis, kui ülesanne hõlmab keerukat arutlemist, laia faktiteadmiste katvust, pikka konteksti või nõudlikku koodigeneratsiooni.
Arutlemine, programmeerimine ja tööriistade tugi
Microsoft positsioneerib mudelit arutlemiseks, matemaatikaks, loogikaks ja programmeerimiseks. Need võimekused muudavad selle kasulikumaks kui lihtsa tekstijätkamisega piirduva mudeli, eriti kompaktsete viipade ja selgelt määratletud ülesannete puhul. Kättesaadavates uuringutes ei ole siiski võrdlustulemusi esitatud, mistõttu tuleks selle arutlemis- ja programmeerimiskvaliteeti hinnata ülesandest sõltuvana, mitte eeldada seda reklaamitud kasutusjuhtude põhjal.
Mudel suudab genereerida koodi ning aidata koodi tekstina selgitada või teisendada. Seda ei tohiks käsitleda autonoomse tarkvaraarenduskeskkonnana. Lühike kontekstiaken võib muuta suure projekti või ulatusliku koodikonteksti edastamise keeruliseks ning mudeli vanem teadmiste lõpptähtaeg tähendab, et see ei pruugi tunda uuemate teekide või API-de muutusi.
Microsoft Foundry loendis oli tööriistade kutsumine märgitud mittesaadavaks. Rakendus võib siiski luua eraldi tööriistade orkestreerimise kihi, mis saadab tööriistade tulemused tekstina mudelile tagasi, kuid selles loendis ei ole mudelil dokumenteeritud algupärast funktsioonikutsete tuge. Samuti ei paku see sisseehitatud veebotsingut ega ajakohase teabe hankimist.
Millal valida Phi-3-mini-4k-instruct?
Vali Phi-3-mini-4k-instruct siis, kui prioriteediks on kompaktne MIT-litsentsiga tekstimudel lokaalseks või piiratud ressurssidega kasutuseks ning ülesanne mahub 4 096 tokeni suurusesse konteksti. Sobivad näited on järgmised:
- Väikese latentsusega teksti genereerimine piiratud võimekusega riistvaral.
- Lühivormis kokkuvõtete koostamine, klassifitseerimine, eraldamine ja küsimustele vastamine.
- Kerged vestlusabilised, mis ei vaja ajakohast veebiteavet.
- Lihtsam abi matemaatika, loogika ja programmeerimisega.
- Ise majutatud prototüübid, mille puhul on allalaaditavad kaalud hallatud majutusest olulisemad.
Kaalu selle asemel uuemat või suuremat mudelit, kui vajad multimodaalset sisendit või väljundit, pikka kontekstiakent, algupärast tööriistade kutsumist, ajakohaseid faktiteadmisi, arenenud arutlemist või aktiivselt toetatud hallatud juurutust. Microsoft Foundry kasutajatele soovitab Microsoft selle kasutusest kõrvaldatud mudeli asendusena Phi-4-mini-instructi. Valikut tuleks siiski kontrollida rakenduse latentsuse, riistvara, täpsuse ja litsentsinõuete põhjal.
Kokkuvõte
Phi-3-mini-4k-instruct on endiselt kasulik näide Microsofti väikeste mudelite strateegiast: pakkuda kompaktses paketis praktilist juhiste järgimist ja üldist tekstivõimekust. Selle tugevaim kasutusjuht on tõhus ja keskendunud tekstitöötlus, mida saab käitada lokaalselt või kontrollitud taristus. Peamised puudused on 4 096 tokeni suurune konteksti piirang, 2023. aasta oktoobris lõppev teadmiste periood, ainult teksti töötlev ülesehitus, dokumenteeritud algupärase tööriistakutsumise toe puudumine ja mudeli kasutusest kõrvaldamine Microsoft Foundrys. Uute Microsofti majutatud juurutuste jaoks on soovituslik järeltulija Phi-4-mini-instruct; tagasihoidlike nõuetega lokaalsete rakenduste puhul võib allalaaditav MIT-litsentsiga mudel siiski olla hindamist väärt.