Phi-3-medium-4k-instruct

Mis on Phi-3 Medium 4K Instruct?

Microsoft Phi-3 Medium 4K Instruct on 14 miljardi parameetriga juhiste järgi häälestatud põhjuslik keelemudel Microsofti Phi-3 mudeliperest. Praktilises mõttes võtab see vastu tekstipõhiseid viipasid ja genereerib tekstivastuseid. Juhiste järgi häälestatud versioon on mõeldud järgima kasutaja soove vestlus- ja ülesandepõhistes olukordades, mitte lihtsalt jätkama suvalist teksti.

Microsoft positsioneeris Phi-3 Mediumi oma võimekusklassi kohta suhteliselt kompaktse mudelina. Selle suurus võib muuta mudeli käitamise palju praktilisemaks kui oluliselt suuremate keelemudelite puhul, eriti siis, kui rakendus vajab kohalikku kontrolli, prognoositavat latentsust või väiksemaid taristunõudeid. Mudel sobib üldiseks teksti genereerimiseks, programmeerimiseks, matemaatikaks, arutlemiseks, kokkuvõtete tegemiseks, selgitamiseks ja teabe eraldamiseks.

Tähis „4K” viitab 4096 märgi suurusele kontekstiaknale. Token on mudeli töödeldav tekstiosa; olenevalt keelest ja vormindusest võib token tähistada sõna osa, tervet sõna, kirjavahemärki või tühikut. Piirang kehtib nii viiba kui ka mudeli kasutatava vestluskonteksti kohta, mistõttu võivad pikad dokumendid, suured koodibaasid ja pikad vestlused vajada lühendamist või mitmeks päringuks jagamist.

Milline on selle koht Microsofti kataloogis praegu?

Phi-3 Medium 4K Instruct on Microsofti avatud kaaludega Phi mudelipere vanem liige, mitte praegu üldiselt kättesaadav Microsofti majutatud lõpp-punkt. Microsoft Foundry dokumentatsioon liigitab mudeli pärandmudeliks ja märgib selle kasutuse lõpetamise kuupäevaks 30. augusti 2025. Pärast seda kuupäeva ei olnud mudel enam uute Microsoft Foundry juurutuste jaoks saadaval.

See kasutuse lõpetamine mõjutab Microsofti majutatud teenust, kuid mitte tingimata kõiki mudeli iseseisvaid kasutusviise. Mudeli kaale ja seotud juurutusvõimalusi saab endiselt kasutada Microsofti mudelihoidla, Hugging Face'i, kohalike järeldusraamistike ja ühilduvate ONNX-i distributsioonide kaudu. See erinevus on mudeli hindamisel oluline: mudel võib iseseisvalt hallatavates rakendustes endiselt kasulik olla, kuid seda ei tohiks uue Microsofti majutatud tootmisintegratsiooni aluseks valida ilma teenuse praegust saadavust kontrollimata.

Phi-3 Medium 4K Instruct erineb ka Phi-3 Medium 128K variandist. 128K mudel on loodud palju suurema konteksti jaoks, samas kui see versioon eelistab väiksemat, 4096 tokeni suurust kontekstiakent. Lühem kontekst võib olla mõistlik kompromiss töökoormuste puhul, mis kasutavad lühikesi viipasid ja seavad esikohale praktilise juurutamise.

Võimekused ja toetatud modaalsused

See on peamiselt tekstisisendi ja tekstiväljundiga mudel. See võtab vastu tekstisisendit ja tagastab tekstiväljundi, sealhulgas loomulikus keeles vastuseid, koodi, kokkuvõtteid, selgitusi ja muid viibas küsitud tekstivorminguid.

• Tekstisisend: toetatud.
• Tekstiväljund: toetatud.
• Pildi-, heli- ja videosisend: algupäraselt ei toetata.
• Pildi-, heli- ja videoväljund: ei toetata.
• Veebiotsing või sirvimine: ei ole sisse ehitatud.
• Algupärane tööriista- või funktsioonikutsete tugi: selle mudeli sisseehitatud võimekusena dokumenteerimata.

Rakendus saab mudeli siiski ühendada otsingu, kalkulaatorite, andmebaaside või muude tööriistadega ümbritseva tarkvara kaudu. See oleks aga rakenduse tasandi integratsioon, mitte Phi-3 Medium 4K Instructi algupärane funktsioon. Ilma otsingu või muu välise andmeallikata ei suuda mudel praeguste sündmuste või muutuva teabe kohta usaldusväärselt vastata.

Arutlemine, programmeerimine ja jõudlusprofiil

Microsoft treenis mudelit juhendatud peenhäälestuse ja otsese eelistuste optimeerimise abil. Neid tehnikaid kasutati juhiste järgimise ja ohutuskäitumise parandamiseks. Microsoft rõhutas mudeli puhul arutlemist, matemaatikat, koodi genereerimist ja üldist keele mõistmist, kuid mudelikaart hoiatab, et väiksemad mudelid võivad faktiteadmiste ülesannetes suurematele mudelitele alla jääda.

Programmeerimisel saab Phi-3 Medium 4K Instruct genereerida koodi, selgitada koodilõike, teisendada koodi ühest vormingust teise ja aidata programmeerimisprobleemide üle arutleda. 4K suurune kontekst sobib kõige paremini keskendunud funktsioonide, lühikeste failide, sihipäraste silumisülesannete ja kompaktsete näidete jaoks. Terve hoidla või pikk failide jada nõuab üldjuhul konteksti valikulist edastamist, otsingut või töövoogu, mis saadab materjali väiksemate osadena.

Selle arutlemisvõime on kasulik struktureeritud selgituste, matemaatika ja loogikaülesannete puhul, kuid seda ei tohiks käsitada õigete järelduste garantiina. Mudel võib genereerida usutavaid, kuid valesid arvutusi, koodi või faktiväiteid. Microsoft kirjeldab mudeli positsiooni oma parameetriklassi võrdlustes, kuid neid väiteid tuleks eristada konkreetse juurutuse, kvantimise, viibavormingu või riistvarakonfiguratsiooni sõltumatust hindamisest.

Toimetuse koostatud hinnang annab arutlemisele, programmeerimisele ja kiirusele 7 punkti 10-st ning kulutõhususele 9 punkti 10-st. Need on toimetuslikud võrdlevad hinnangud, mitte Microsofti avaldatud skoorid. Need kajastavad mudeli kompaktset suurust, kohaliku juurutamise võimalust ja kavandatud tasakaalu võimekuse ning ressursikasutuse vahel, mitte garanteeritud vastamiskiirust või kasutuskulu.

Juurutamise ja integreerimise võimalused

Mudeli ametlikud kaalud on saadaval Microsofti Hugging Face'i hoidlas. Arendajad saavad mudeli laadida Transformersi ühilduvate versioonidega ja seda teenindada selliste järeldusraamistike kaudu nagu vLLM või SGLang. Microsoft avaldas ka optimeeritud ONNX-i variandid CPU, CUDA ja DirectML-i keskkondade jaoks, laiendades riistvaravalikuid ühe GPU-seadistuse võimalustest kaugemale.

Algne mudelidokumentatsioon märkis, et mõni Transformersi versioon võib vajada kohandatud Phi-3 mudelikoodi ja sätet trust_remote_code=True. See säte lubab hoidlast laadida mudelipõhist koodi, mistõttu tuleks seda kasutada ainult selliste hoidlatega ja versioonidega, mis on juurutuskeskkonna jaoks üle vaadatud ja heaks kiidetud. Enne tootmiskasutust tuleks testida käitusaja ühilduvust, tokeniseerija käitumist, vestlusmalle, kvantimist ja riistvara mälunõudeid.

Kohalik juurutamine võib pakkuda eeliseid privaatsuse ja kontrolli seisukohast, eriti organisatsioonidele, kes ei soovi viipasid majutatud mudelile saata. Samuti annab see kasutajale üle operatiivse vastutuse. Juurutaja vastutab riistvara valiku, mudelite teenindamise, uuenduste, seire, väärkasutuse kontrolli ja väljundite hindamise eest.

Ajalooline hinnastamine ja praegune saadavus

Microsoft pakkus varem Phi-3 Medium 4K-d Azure'i tehisintellekti mudel-teenusena ajalooliste hindadega 0,00017 dollarit 1000 sisendtokeni ja 0,00068 dollarit 1000 väljundtokeni kohta. Ajalooline peenhäälestuse teave näitas treeningtokenite hinnaks 0,003 dollarit 1000 tokeni kohta ning majutustasuks 0,80 dollarit majutustunni eest, lisaks põhikasutuse hindadele.

Need näitajad on ajaloolised ja neid ei tohiks käsitada praeguse majutatud teenuse hinnana. Mudeli kasutuse lõpetamine Microsoft Foundrys 30. augustil 2025 tähendab, et need juurutushinnad ei kehti enam uue Foundry kasutuse puhul. Kohaliku järelduse korral sõltub tegelik kulu riistvarast, elektrist, majutusest, arendustööst, kvantimisest ja läbilaskevõimest. Avatud kaaludega mudeli litsents võib vähendada teenusepakkujale makstavaid kasutustasusid, kuid taristu ei muutu seetõttu tasuta.

Peamised tugevused ja piirangud

Tugevused

• Kompaktne suurus: 14 miljardi parameetriga mudelit võib olla lihtsam juurutada kui palju suuremaid mudeleid, säilitades samal ajal kasuliku üldise keele-, programmeerimis-, matemaatika- ja arutlemisvõime.
• Paindlik kohalik juurutamine: dokumenteeritud juurutusvõimalused hõlmavad Transformersi, vLLM-i, SGLang-i, ONNX Runtime'i ning CPU, CUDA ja DirectML-i keskkondi.
• Äriliseks kasutuseks soodne litsents: mudel avaldati MIT-litsentsi alusel äriliseks ja teaduslikuks kasutuseks, järgides litsentsi ning kohaldatavaid kaitsemeetmeid.
• Keskendunud tekstipõhised töökoormused: see sobib hästi lühikesteks vestlusülesanneteks, koodiabilise kasutuseks, kokkuvõtete tegemiseks, teabe eraldamiseks ja privaatseks teksti genereerimiseks.
• Võimalik kulude kontroll: ise majutamine võib töökoormuse ja taristu korral välistada päringupõhised majutatud mudeli tasud.

Piirangud

• Lühike kontekst: 4096 tokeni piirang seab piirid pikkadele dokumentidele, suurtele koodibaasidele ja pikkadele vestlustele.
• Ainult tekst: see ei suuda algupäraselt töödelda ega luua pilte, heli või videot.
• Juurdepääs praegusele teabele puudub: veebiotsing ja sirvimine ei ole sisse ehitatud, mistõttu vajavad muutuvad faktid välist otsingut.
• Võimalikud faktivead ja arutlusvead: väljundid vajavad kontrollimist, eriti suure riskiga otsuste, matemaatika ja tootmiskoodi puhul.
• Vanema põlvkonna mudel: uuemad mudelid võivad pakkuda paremat arutlemist, pikemat konteksti või tõhusamat juhiste järgimist.
• Suletud majutatud lõpp-punkt: Microsoft Foundry ei ole enam selle täpse mudeli uute juurutuste jaoks toetatud tee.

Millal valida Phi-3 Medium 4K Instruct?

Vali see mudel, kui eelistad ise hallatavat ainult tekstiga mudelit keskendunud ülesannete jaoks ja 4K suurusest kontekstiaknast piisab. See on mõistlik valik privaatseks või võrguühenduseta teksti genereerimiseks, programmeerimisabiks, matemaatikaks, kokkuvõtete tegemiseks, teabe eraldamiseks ja latentsustundlike rakenduste jaoks. Samuti võib see sobida meeskondadele, kes soovivad katsetada soodsa litsentsiga mudelit kohalikes GPU-, CPU-, DirectML-i või ONNX-i põhistes keskkondades.

Selle kompaktne juurutusprofiil on maksimumvõimekusest olulisem. Kohalik rakendus, mis töötleb lühikesi viipasid ja vajab andmete üle kontrolli, võib Phi-3 Medium 4K Instructist kasu saada ka siis, kui suurem majutatud mudel annaks tugevamaid vastuseid. Mudel võib olla kasulik ka juhul, kui prognoositav kontroll taristu üle on olulisem kui juurdepääs veebi sirvimisele, multimodaalsele sisendile või uusimatele arutlemisfunktsioonidele.

Kaalu muud lahendust, kui töökoormus hõlmab pikki dokumente, suuri koodibaase, ajakohast veebiteavet, pildi- või helimõistmist või suure tähtsusega arutlemist. Ulatusliku lähtematerjali jaoks sobib paremini pika kontekstiga mudel, visuaalsete või heliülesannete jaoks on vaja multimodaalset mudelit. Uue Microsofti majutatud rakenduse puhul hinda selle asemel praegu toetatud järglast või muud aktiivset mudelit, mitte ära ehita rakendust selle suletud Foundry lõpp-punkti peale.

Kokkuvõte

Phi-3 Medium 4K Instruct on praktiline 14 miljardi parameetriga avatud kaaludega keelemudel keskendunud teksti-, programmeerimis-, matemaatika- ja arutlusülesannete jaoks. Selle MIT-litsents ja mitmesugused kohaliku juurutamise võimalused on endiselt kasulikud, kuid 4096 tokeni suurune kontekstiaken, ainult tekstiga ülesehitus, sisseehitatud veebijuurdepääsu puudumine ja Microsoft Foundrys kasutuse lõpetamine määravad selle piirid. Seda on kõige parem käsitada ise hallatava või kohalikult juurutatava mudelina kompaktsete ülesannete jaoks, mitte praeguse üldotstarbelise majutatud lõpp-punkti või pika konteksti ja multimodaalsete süsteemide asendajana.