Mis on Phi-3-small-128k-instruct?
Phi-3-small-128k-instruct kuulub Microsofti väikeste keelemudelite perekonda Phi-3. See sisaldab ligikaudu 7 miljardit parameetrit ja avaldati 21. mail 2024. Nimes olev „128K” viitab mudeli maksimaalsele konteksti pikkusele ehk tekstihulgale, mida mudel saab ühe päringu käigus arvesse võtta. Microsoft dokumenteerib selle piirina 131 072 tokenit.
Praktikas muudab pikk kontekst mudeli sobivaks suurte dokumentide, pikkade vestluste, lähtekoodirepositooriumide või mitme seotud failiga töötamiseks, kui sisend mahub mudeli kontekstiaknasse. Tegemist on juhiste järgi häälestatud mudeliga, mis tähendab, et see kohandati loomulikus keeles esitatud päringute järgimiseks, mitte ainult struktureerimata teksti ennustamiseks.
Mudel on ainult tekstipõhine. See võtab vastu tekstisisendit ja genereerib tekstiväljundit; see ei töötle algupäraselt pilte, heli ega videot ega genereeri neid meediumivorminguid.
Mudeli ülevaade ja kontrollitud tehnilised andmed
| Tehniline näitaja | Üksikasjad |
|---|---|
| Pakkuja | Microsoft |
| Mudeliperekond | Phi-3 |
| Parameetrid | Ligikaudu 7 miljardit |
| Arhitektuur | Tihe ainult dekooderiga Transformer, milles vahelduvad tihe ja plokihõre tähelepanuarvutus |
| Avaldamiskuupäev | 21. mai 2024 |
| Konteksti pikkus | 131 072 tokenit |
| Majutatud mudeli maksimaalne väljund | 4 096 tokenit Microsoft Foundrys |
| Teadmiste lõppkuupäev | Oktoober 2023 |
| Litsents | MIT |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
Konteksti piirangut ja väljundi piirangut ei tohiks omavahel segi ajada. 128K kontekst ei tähenda, et mudel suudab genereerida 128 000 tokeni pikkuse vastuse. Microsoft Foundry dokumenteeris maksimaalseks väljundiks 4 096 tokenit, kuid saadaolev väljundipiirang võib sõltuvalt isehostimiseks kasutatavast järeldustarkvarast ja juurutuse konfiguratsioonist erineda.
Milleks mudel on loodud
Phi-3-small-128k-instruct loodi üldotstarbeliseks teksti genereerimiseks, pöörates erilist tähelepanu juhiste järgimisele, tava- ja loogilisele arutlemisele, matemaatikale, koodi genereerimisele ning pika konteksti töötlemisele. Microsoft positsioneeris Phi-3 perekonna väiksemate mudelite kogumina, mille eesmärk on pakkuda kasulikke võimeid suuremate keelemudelitega võrreldes hõlpsamini hallatavate juurutusnõuetega.
Pika konteksti võimekus on eriti oluline ülesannetes, kus tulemus sõltub seostest suure tekstikogumi eri osade vahel. Näiteks sobib mudel pika aruande kokkuvõtmiseks, tehniliste märkmete kogumi kohta küsimustele vastamiseks, mahuka lähtekoodifaili ülevaatamiseks või pika eeskirjadokumendi põhjal teabe väljavõtmiseks. Mudel võib toimida ka kohaliku assistendina, kui organisatsioon eelistab avatud kaaludega kontrollpunkti käitamist selle asemel, et saata päringuid majutatud teenusele.
Microsoft teatas mudeli avaldamisel soodsatest võrdlustulemustest, kuid neid väiteid tuleks tõlgendada nende algse hindamiskonteksti põhjal. Võrdlustulemused ei taga sama jõudlust konkreetses rakenduses, eriti kui päringud sisaldavad valdkonnaspetsiifilist terminoloogiat, mitmetimõistetavaid juhiseid või teavet, mis jääb mudeli treeningandmete lõppkuupäevast hilisemasse aega.
Arutlemise, programmeerimise ja pika konteksti jõudlus
Mudel suudab täita tavapäraseid arutlusülesandeid, näiteks järgida mitmeastmelisi juhiseid, korrastada teavet, vastata küsimustele ja teha matemaatilisi teisendusi. Selle arutlusvõimet tuleks käsitleda keelemudeli arutlemisena, mitte garanteeritud formaalse tõestussüsteemina: mudel võib esitada kasulikke vahepealseid selgitusi, kuid teha siiski aritmeetilisi, loogilisi või faktilisi vigu.
Programmeerimisel suudab Phi-3-small-128k-instruct genereerida koodi, selgitada koodilõike, aidata olemasolevat koodi teisendada ja vastata programmeerimisküsimustele. Selle 128K suurune kontekstiaken võib olla kasulik, kui ülesanne eeldab suure mooduli või mitme omavahel seotud faili edastamist. Microsoft Foundrys puudub mudelil siiski algupärane tööriistade kasutamise tugi, mistõttu ei saa see kirjeldatud majutatud mudeliliidese kaudu iseseisvalt käivitada kompilaatorit, programmi täita, veebis sirvida ega välist funktsiooni kutsuda.
Pikk kontekst on oluline praktiline eelis, kuid suur sisendiaken ei taga, et iga detaili õigesti kasutatakse. Tootmiskeskkonnas kasutatava dokumendianalüüsi puhul tuleks väljundeid võrrelda algmaterjaliga, eriti kui vastus mõjutab õiguslikke, finantsilisi, meditsiinilisi, turbe- või muid suure mõjuga otsuseid.
Juurutamine ja praegune saadavus
Kanooniline avatud kaaludega kontrollpunkt on microsoft/Phi-3-small-128k-instruct Hugging Faces. Microsofti mudelikaart kirjeldab juurutamist Transformersi, vLLM-i, SGLang-i, ONNX Runtime’i ja muude ühilduvate kohalike järeldustööriistadega. See annab arendajatele mitu võimalust mudeli käitamiseks oma taristus, sõltuvalt valitud riistvarast, kvantimisest, mälust ja teeninduskonfiguratsioonist.
Microsoft Foundry oli varem majutatud kasutusvõimalus. Selle kataloogidokumentatsioonis oli tekstisisendi piiriks märgitud kuni 131 072 tokenit, tekstiväljundi piiriks kuni 4 096 tokenit, tööriistade kasutamine toetamata ning vastusevormingud ainult tekstipõhised. Hiljem märkis Microsoft mudeli pärandmudeliks, lõpetas selle toetamise 30. juunil 2025 ja eemaldas selle Foundryst 30. augustil 2025. Seetõttu ei tohiks ajaloolist Azure’i API hinnastust käsitleda praegu saadaoleva majutatud pakkumisena.
Microsoft nimetas Azure’i kasutajatele soovitusliku asendusena mudeli Phi-4-mini-instruct. See soovitus on migratsiooniviide, mitte tõend selle kohta, et mõlemad mudelid käituvad ühtemoodi või neil on samad piirangud ja hinnad.
Ajalooline hinnastamine ja kulude kompromissid
Microsofti ajaloolise Azure’i hinnastuse kohaselt maksis Phi-3-small-128k-instruct 0,00015 USA dollarit 1 000 sisendtokeni ja 0,0006 USA dollarit 1 000 väljundtokeni kohta. Need olid majutatud mudeli tokenipõhised hinnad, kuid seotud Foundry juurutus on lõpetatud, seega on tegemist ajaloolise hinnastusega, mitte praegu kasutatava ostuvõimalusega.
Ise majutavad kasutajad ei maksa Microsoftile allalaaditud kontrollpunkti kasutamise eest tokenipõhist API-tasu. Selle asemel tuleb tasuda arvutusvõimsuse, salvestusruumi, võrguühenduse, teenindustarkvara, hoolduse ja käitamise toe eest. Mudeli ligikaudu 7 miljardi parameetri suurus võib muuta selle juurutamise palju suurematest mudelitest praktilisemaks, kuid tegelik kulu ja kiirus sõltuvad riistvara- ja käituskeskkonna valikust. Esitatud uuringud ei määra kindlaks universaalset riistvaranõuet ega garanteeritud latentsusaega.
Toimetuslikult vaadates on seda mudelit kõige parem käsitleda tekstipõhiste töökoormuste kuluteadliku valikuna, mitte iga suurema mudeli asendusena. Selle kompaktne suurus ja avatud kaaludega kättesaadavus soosivad kontrollitud kohalikku juurutamist ja suure mahuga töötlemist, samal ajal kui suuremad või uuemad mudelid võivad olla eelistatumad siis, kui ülesanne nõuab suuremat töökindlust, värskemat ja laiemat teadmistepagasit, tööriistade integreerimist või arenenumat arutlemist.
Modaalsused, struktureeritud väljund ja tööriistad
- Tekstisisend: toetatud.
- Tekstiväljund: toetatud.
- Piltide, heli ja video sisend: algupäraselt toetamata.
- Piltide, heli, video või muusika genereerimine: toetamata.
- Tööriistade või funktsioonide kutsumine: Microsoft Foundry märkis selle toetamata funktsioonina.
- Veebiotsing: ei ole mudelisse sisse ehitatud.
- Voogedastus: esitatud mudelikirje kohaselt toetatud, sõltuvalt teeninduslahenduse rakendusest.
- Peenhäälestus: esitatud mudelikirje kohaselt toetatud, kusjuures täpne meetod sõltub juurutusplatvormist.
Mudelikirje ei kinnita eraldiseisva algupärase JSON-režiimi ega garanteeritud struktureeritud väljundi funktsiooni olemasolu. Arendajad võivad genereeritud teksti väliste tööriistade abil piirata või parsida, kuid seda ei tohiks esitada pakkuja garanteeritud struktureeritud väljundi võimekusena.
Piirangud, mida enne juurutamist arvesse võtta
Kõige olulisem piirang on see, et Phi-3-small-128k-instruct ei ole ajakohase teabe süsteem. Selle dokumenteeritud teadmiste lõppkuupäev on oktoober 2023. Mudel ei saa olemuslikult teada pärast seda kuupäeva toimunud sündmustest, välja arvatud juhul, kui hilisem teave esitatakse päringus või ühendatakse mudel välise otsingusüsteemiga. Otsingu lisamine võib ajakohasust parandada, kuid otsing ise ei ole mudeli algupärane võimekus.
Mudel on samuti ainult tekstipõhine ja sellel puudub algupärane tööriistade kasutamise tugi. Rakendused, mis vajavad piltide mõistmist, kõnetuvastust, videotöötlust, reaalajas juurdepääsu veebile, andmebaasitoiminguid või töökindlat funktsioonide täitmist, peaksid kaaluma nende vajaduste jaoks loodud mudelit või süsteemi.
Nagu teisedki keelemudelid, võib see genereerida ebaõigeid fakte, ohtlikku sisu, kallutatud vastuseid või ebajärjekindlat arutluskäiku. MIT-litsents annab kontrollpunkti kasutamiseks ja muutmiseks laialdased õigused, kuid ei kõrvalda vajadust rakenduse tasandi testimise, sisukaitsemeetmete, privaatsusülevaatuse ega inimjärelevalve järele.
Pikk kontekst võib väga suurte päringute puhul suurendada ka töötlemiskulu ja latentsusaega. Ainult asjakohaseid lõike sisaldav väiksem päring võib olla kiirem ja töökindlam kui kogu dokumendikogu saatmine, isegi kui kogu kogum mahub määratud piirangu sisse.
Millal seda mudelit valida
Vali Phi-3-small-128k-instruct siis, kui vajad avatud kaaludega MIT-litsentsiga tekstimudelit, millel on väga suur kontekstiaken, ja oled valmis juurutust ise haldama. See on mõistlik valik näiteks järgmisteks ülesanneteks:
- pikkade dokumentide kokkuvõtete ja küsimustele vastuste koostamine;
- kohalikud või privaatsed tekstipõhised assistendid;
- koodi selgitamine ja koodi genereerimise toetamine;
- matemaatika- ja üldised juhiste järgimise ülesanded;
- pakktöötlus, mille puhul väiksem mudel võib vähendada taristunõudeid;
- teadus- ja ärirakendused, mis saavad kasu avalikult kättesaadavast kontrollpunktist.
Teine valik võib olla sobivam, kui vajad algupärast multimodaalset sisendit, veebiotsingut, ajakohaseid teadmisi, tööriistade kasutamist, garanteeritud struktureeritud vastuseid või frontier-tasemel suuremat täpsust. Azure’i kasutajad, kes otsivad järglast, peaksid hindama Microsofti soovitatud mudelit Phi-4-mini-instruct, arvestades samal ajal, et selle praeguseid piiranguid, saadavust, jõudlust ja hinnastust tuleb eraldi kontrollida.
Kokkuvõttes eristab Phi-3-small-128k-instructi kõige selgemalt väikese avatud kaaludega mudeli ja 131 072 tokeni suuruse kontekstiakna kombinatsioon. See on endiselt kasulik ise hostitavates pika kontekstiga tekstirakendustes, kuid juurutusotsustes tuleks arvestada selle lõpetatud majutatud teenuse, 2023. aasta oktoobrisse jääva teadmiste lõppkuupäeva, ainult tekstipõhise ülesehituse ja algupäraste tööriistade puudumisega.