Phi-3-mini-128k-instruct

Mis on Phi-3-mini-128k-instruct?

Microsoft Phi-3-mini-128k-instruct on kompaktne juhiste järgi häälestatud põhjuslik keelemudel Phi-3 mudeliperes. Sellel on ligikaudu 3,8 miljardit parameetrit ning seda levitatakse avatud kaaludega mudelina MIT-litsentsi alusel. Praktikas tähendab see, et mudeli kaalud saab alla laadida ja neid ühilduva järeldustarkvara abil käitada, ilma et oleks vaja Microsofti hallatavat lõpp-punkti.

Mudel on mõeldud teksti genereerimiseks ja vestlusvormingus juhiste järgimiseks. Selle peamine eripära on 128 000 märgi suurune kontekstiaken, mis võimaldab ühte päringusse lisada märksa rohkem lähtematerjali kui paljud väikesed keelemudelid suudavad töödelda. Seetõttu sobib see eriti hästi pikkade dokumentide, transkriptsioonide, lähtekoodirepositooriumide ja otsinguga täiendatud rakenduste jaoks.

Microsoft avaldas Phi-3-mini-128k-instructi 2024. aastal. See on 4K kontekstiga Phi-3 Mini variandist eraldi mudel, mistõttu ei tohiks neid käsitleda omavahel asendatavatena: 128K versioon on mõeldud töökoormustele, mille puhul on oluline palju suurem viip.

Põhispetsifikatsioonid lühidalt

Konteksti- ja väljundipiirangud vajavad mõningast täpsustamist. Mudelikaart kirjeldab 128K märgi suurust kontekstivõimekust, samas kui Microsoft Foundry dokumentatsioonis olid hallatava vestluse lõpetamise juurutuse sisendipiiranguna kirjas 131 072 märki ja maksimaalse väljundina 4096 märki. Kohalikud käituskeskkonnad võivad pakkuda teistsuguseid genereerimisseadeid või praktilisi piiranguid, mistõttu tuleks enne rakendamist tutvuda konkreetse juurutuse dokumentatsiooniga.

Miks 128K kontekstiaken oluline on?

Kontekstiaken tähistab tekstihulka, mida mudel saab ühe päringu käigus arvesse võtta, sealhulgas juhiseid, lähtematerjali, vestlusajalugu ja soovitud vastust. 128 000 märgi suuruse akna korral suudab Phi-3-mini-128k-instruct töödelda pikki dokumente või suuri seotud materjalikogumeid, ilma et kõike peaks jagama paljudeks väikesteks viipadeks.

Kasulikud näited on pika tehnilise juhendi kohta küsimuste esitamine, koosoleku transkriptsiooni kokkuvõtmine, mahuka poliitikadokumendi ülevaatamine või koodibaasi mitme faili uurimine. Samuti saab seda kasutada otsinguga täiendatud genereerimise töövoogudes, kus asjakohased lõigud lisatakse enne vastuse genereerimist otse viipa.

Suur kontekstimaht ei tähenda ühtlaselt täiuslikku info leidmist. Kvaliteet võib sõltuda sellest, kus teave väga pikas viibas paikneb, kui palju ebaolulist materjali on kaasatud ja kui hästi rakendus juhised vormistab. Tootmiskeskkonnas tuleks mõõta otsingu täpsust, juhiste järgimise püsimist, latentsust, mälukasutust ja vastuste kvaliteeti rakenduse eeldatavate viibapikkuste korral.

Arhitektuur ja treeningu fookus

Phi-3-mini-128k-instruct on tihe ainult dekooderiga Transformer. Microsofti kirjelduse kohaselt treeniti Phi-3 mudeleid filtreeritud avalikult kättesaadavate andmete ning sünteetiliste, õpikulaadsete andmete abil, keskendudes arutlemisele, matemaatikale, programmeerimisele, üldteadmistele ja tavaelulistele ülesannetele. Mudelil on suurte eesrindlike süsteemidega võrreldes palju vähem parameetreid, mis on selle juurutusväärtuse seisukohalt keskse tähtsusega.

Juhiste järgi häälestatud versioon kasutab juhendatud peenhäälestust ja otsest eelistuste optimeerimist. Nende meetodite eesmärk on parandada mudeli suutlikkust järgida päringuid, pidada mitme vooruga vestlusi, anda turvalisemaid vastuseid ja lahendada arutlemist nõudvaid ülesandeid. Microsoft teatas, et 2024. aasta juunikuu uuendus parandas võrreldes esialgse Phi-3 Mini väljalaskega struktureeritud väljundi käitumist ja pika konteksti võrdlustestide tulemusi.

Dokumenteeritud teadmiste lõppkuupäev on oktoober 2023. Seetõttu ei tea mudel oma olemuselt pärast seda kuupäeva toimunud sündmustest, tarkvaramuudatustest ega loodud dokumentidest. Värske teave tuleb anda viiba kaudu või välise otsingusüsteemi abil.

Võimekused, modaalsused ja tööriistad

See on ainult tekstiga töötav mudel. See võtab vastu teksti ja tagastab genereeritud teksti; see ei toeta loomupäraselt pilte, heli ega videot sisendina ega genereeri pilte, heli ega videot. Ainult tekstiga töötamine eristab seda multimodaalsetest süsteemidest ja Phi laiemasse mudeliperre kuuluvatest mudelitest, mis võivad toetada täiendavaid sisendtüüpe.

Phi-3-mini-128k-instruct suudab sobivate juhiste korral genereerida tavalist proosateksti, kokkuvõtteid, selgitusi, koodi ja struktureeritud teksti. Esitatud spetsifikatsioonides ei ole natiivse veebotsingu, funktsioonikutsete, tööriistade käivitamise ega tegevusväljundi tuge välja toodud. Rakendus võib siiski paigutada mudeli suuremasse süsteemi, kus kasutatakse otsingut, tarkvaratööriistu või parser'eid, kuid need võimalused pärineksid ümbritsevast rakendusest, mitte dokumenteeritud natiivsest tööriistakasutuse liidesest.

Struktureeritud vastused võivad olla saavutatavad hoolika viipamise või rakendusepoolse valideerimise abil, kuid esitatud mudelikirjes ei ole välja toodud spetsiaalset JSON-režiimi ega struktureeritud väljundi garantiid. Süsteemid, mis vajavad masinloetavat väljundit, peaksid mudeli vastuseid valideerima ja vajaduse korral parandama.

Arutlemise ja programmeerimise profiil

Microsoft positsioneerib Phi mudeliperet arutlemise, matemaatika, programmeerimise, üldteadmiste ja tavaeluliste ülesannete jaoks. Seetõttu sobib Phi-3-mini-128k-instruct mõistlikult kergekaaluliseks koodiselgituseks, koodi lõpetamise katseteks, matemaatikaülesannete lahendamiseks, dokumentide klassifitseerimiseks ja samm-sammuliseks analüütiliseks abiks.

Selle väike suurus toob kaasa selge kompromissi. Mudelit võib olla palju suuremate mudelitega võrreldes kiirem ja odavam käitada, kuid keeruka arutlemise, ulatusliku tarkvaraarenduse, mitmetimõistetavate juhiste või laia maailmateadmise nõudvate ülesannete puhul ei küündi see üldjuhul suuremate avatud kaaludega ega eesrindlike mudelite tasemele. Toimetuslikus hinnangus saab see mudel arutlemise ja programmeerimise eest 6 punkti 10-st, kiiruse eest 8 punkti 10-st ja kulutõhususe eest 9 punkti 10-st. Need on võrdlevad toimetuslikud hinded, mitte Microsofti avaldatud võrdlustestide tulemused.

Programmeerimisel sobib mudel kõige paremini piiratud ülesanneteks, näiteks funktsiooni selgitamiseks, lühikeste utiliitide genereerimiseks, koodi teisendamiseks, testide koostamiseks või etteantud koodikontekstist otsimiseks. Enne suurtele ümbertegemistele, turvatundlikule koodile või autonoomsetele tarkvaramuudatustele tuginemist peaksid arendajad mudelit põhjalikult testima.

Juurutusvõimalused ja praegune saadavus

Kanooniline allalaaditav kontrollpunkt on microsoft/Phi-3-mini-128k-instruct Hugging Face'is. See on olnud saadaval ka optimeeritud vormingutes ja Transformers'i, vLLM-i, SGLang'i, ONNX Runtime'i ning ühilduvate kohalike järeldusrakendustega seotud ökosüsteemides. Täpne riistvaravajadus sõltub kvantimisest, käituskeskkonna seadistusest, pakisuurusest ja töödeldava konteksti mahust.

Microsoft Foundry eemaldas hallatava Phi-3-mini-128k-instructi pakkumise 30. augustil 2025 ja soovitas asendusena Phi-4-mini-instructi. See puudutab Microsofti hallatavat mudeliteenust, mitte allalaaditavat avatud kaaludega kontrollpunkti. Kasutajad võivad mudelit endiselt ise majutada või kasutada ühilduvat kolmanda osapoole taristut, arvestades nende platvormide saadavuse ja toe eeskirju.

Ajaloolises Azure Models-as-a-Service'i hinnakirjas oli hinnaks märgitud 0,00013 dollarit 1000 sisendmärgi ja 0,00052 dollarit 1000 väljundmärgi kohta. Neid hindu ei tohiks käsitleda praeguste ostuvõimalustena, sest Microsoft Foundry hallatav pakkumine on lõpetatud. Ise majutamisel kanduvad kulud riistvarale, majutusele, elektrile, salvestusruumile ja töökorraldusele.

Peamised tugevused ja piirangud

Tugevused

• Pikk kontekst väikeses mudelis: 128K kontekstiaken on peamine põhjus, miks valida see variant paljude kompaktsete alternatiivide asemel.
• Paindlik juurutus: MIT-litsentsiga avatud kaalud toetavad kohalikke, privaatseid, võrguühenduseta ja servaseadmetele suunatud kasutusjuhtumeid.
• Väiksem ressursivajadus: ligikaudu 3,8 miljardit parameetrit võib muuta mudeli suurematest mudelitest praktilisemaks, kui olulised on latentsus, mälu või käituskulud.
• Kasulik üldiste ülesannete katvus: treening ja juhiste järgi häälestamine keskenduvad programmeerimisele, matemaatikale, arutlemisele, kokkuvõtete tegemisele ja vestlusülesannetele.
• Lai tööriistade ühilduvus: tavaliste avatud mudelite käituskeskkondade tugi pakub kohaliku või ise hallatava järelduse tegemiseks mitmeid võimalusi.

Piirangud

• See ei ole eesrindlik mudel: selle kompaktne suurus tähendab, et keerulise arutlemise, mahuka programmeerimise ja laia teadmistepagasi ülesannetes on võimekus eeldatavasti väiksem kui suurematel mudelitel.
• Staatilised teadmised: 2023. aasta oktoobris lõppenud teadmisteperiood muudab ajakohaste vastuste jaoks vajalikuks otsingu või muu värske teabe allika.
• Ainult tekst: see ei sobi loomupäraselt pildi-, heli-, video- ega kõnetöötluse töökoormustele.
• Pikk kontekst võib kohapeal olla kulukas: kogu 128K akna töötlemine võib suurendada mälukasutust ja vähendada läbilaskevõimet isegi siis, kui mudel ise on suhteliselt väike.
• Aktiivne Microsofti hallatav lõpp-punkt puudub: uued kasutajad, kes otsivad Microsofti hallatavat juurutust, peavad hindama toetatud järglast või muud majutusteenuse pakkujat.
• Mitmekeelne kasutus vajab testimist: mudel keskendub inglise keelele, mistõttu tuleks selle kvaliteeti enne tootmiskasutust teistes keeltes hinnata.

Millal valida Phi-3-mini-128k-instruct?

Vali Phi-3-mini-128k-instruct siis, kui projekt vajab suhteliselt väikest tekstimudelit, millel on ebatavaliselt suur kontekstitugi, ning meeskond suudab korraldada ise majutamise või ühilduva taristu. Sobivad kasutusjuhud on privaatne dokumendianalüüs, pikkade dokumentide kokkuvõtete tegemine, koodibaasi mõistmine, võrguühenduseta assistendid, otsinguga täiendatud genereerimine, manustatud rakendused ning latentsus- või kulutundlikud tekstitöövood.

See on eriti atraktiivne juhul, kui andmete hoidmine privaatses keskkonnas on olulisem kui võimalikult kõrge arutlemiskvaliteet. MIT-litsents ja allalaaditavad kaalud pakuvad ka rohkem kontrolli juurutuse üle kui ainult hallatava teenusena saadaval olev mudel, kuigi taristu, turvalisuse, seire ja väljundi valideerimise eest vastutab endiselt operaator.

Teine võimalus võib olla sobivam siis, kui rakendus vajab värskeid faktipõhiseid vastuseid ilma otsingu ülesehitamiseta, natiivset multimodaalset sisendit, usaldusväärseid funktsioonikutseid, tipptasemel tarkvaraarendust või praegu toetatud Microsofti hallatavat lõpp-punkti. Keeruka arutlemise ja programmeerimise puhul on üldjuhul eelistatav suurem mudel; pildi-, heli- või videosisendi korral multimodaalne mudel; uute Microsoft Foundry juurutuste puhul tuleks kaaluda toetatud järglast.

Kokkuvõte

Phi-3-mini-128k-instructi on kõige parem käsitleda kompaktse, avatud kaaludega ja pika konteksti toega mudelina, mitte suuremate tänapäevaste süsteemide üldise asendusena. Ligikaudu 3,8 miljardi parameetri, 128K kontekstiakna, ainult tekstiga töötamise, MIT-litsentsi ja kohaliku juurutuse toe kombinatsioon muudab selle kasulikuks privaatsetes ja ressursiteadlikes rakendustes. Peamised kompromissid on väiksem maksimaalne võimekus, 2023. aasta oktoobris lõppenud teadmisteperiood, piiratud natiivsed tööriistad ja Microsoft Foundry hallatava pakkumise lõpetamine.