Mis on Phi-3-small-8k-instruct?
Phi-3-small-8k-instruct on Microsofti Phi-3 mudeliperre kuuluv 7 miljardi parameetriga keelemudel. See on tihe, ainult dekooderiga Transformer-mudel: tekstijada põhjal ennustab ja genereerib see jätku, mis sobib kõige paremini juhise ja vestluse konteksti. Tähis „instruct” tähendab, et algset mudelit täiendõpetati kasutaja taotluste järgimiseks, mitte lihtsalt toorteksti jätkamiseks.
Microsoft kirjeldab seda kui väikest keelemudelit, mille eesmärk on pakkuda kasulikku arutlus- ja genereerimiskvaliteeti väiksemate riistvara- ja latentsusnõuetega kui palju suuremad mudelid. Seda treeniti juhendatud peenhäälestuse ja otsese eelistusoptimeerimise abil – need meetodid on mõeldud juhiste järgimise, kasulikkuse ja ohutuse parandamiseks. Mudel avaldati 21. mail 2024 leebe MIT-litsentsi alusel.
Seda kontrollpunkti tuleks käsitleda pigem avatud kaaludega tekstimudelina kui täieliku majutatud assistendina. Sellel puudub sisseehitatud veebotsing, tarbijatele mõeldud vestlusliides ja algupärane juurdepääs ajakohasele teabele. Arendajad valivad käituskeskkonna, riistvara, viibavormingu, kvantimise ja rakenduse turvameetmed.
Põhiandmed ja konteksti piirang
| Tehnilised andmed | Üksikasjad |
|---|---|
| Pakkuja | Microsoft |
| Mudelipere | Phi-3 |
| Parameetrid | Ligikaudu 7 miljardit |
| Arhitektuur | Tihe, ainult dekooderiga Transformer, milles vahelduvad tihe ja plokkhõre tähelepanu |
| Kontekstiaken | 8192 tokenit |
| Dokumenteeritud majutatud väljundi maksimum | 4096 tokenit ajaloolistes Azure'i teenuse metaandmetes |
| Sisend | Tekst |
| Väljund | Genereeritud tekst |
| Litsents | MIT |
| Teadmiste lõppkuupäev | Oktoober 2023 |
| Väljalaskekuupäev | 21. mai 2024 |
8192 tokeni suurune kontekstiaken piirab tekstihulka, mida mudel saab ühe päringu ajal arvesse võtta. See hõlmab süsteemiviipa, kasutaja sisendit, vestluse ajalugu ja genereeritud vastust. See on piisav paljude keskendunud ülesannete jaoks, näiteks lühikese dokumendi kokkuvõtmiseks, kompaktse koodifaili kohta küsimustele vastamiseks või suhteliselt lühikese vestluse pidamiseks. Väga suurte käsiraamatute, mahukate koodihoidlate või ulatusliku mitme dokumendi analüüsi jaoks pole see mõeldud, kui ei kasutata otsingut ja tekstijupitamist.
4096 tokeni suurune väljundipiir pärineb endistest Azure'i kataloogi metaandmetest ning seda ei tohiks automaatselt käsitleda iga sõltumatu juurutuse universaalse piiranguna. Isemajutatud käituskeskkond võib seada oma genereerimisseaded, kuid sellele kehtivad endiselt mudeli kontekstipiirangud ja valitud riistvara praktilised võimalused.
Võimalused arutluseks, kodeerimiseks ja tekstitöötluseks
Phi-3-small-8k-instruct on mõeldud üldiseks tekstigenereerimiseks, juhiste järgimiseks, matemaatikaks, loogiliseks arutluseks, kodeerimiseks, kokkuvõtete tegemiseks, andmete eraldamiseks ja vestlusrakendusteks. Need ülesanded sobivad juhiste järgi häälestatud mudelile hästi, sest rakendus saab esitada selge taotluse ja saada otse kasutatava tekstivastuse.
Microsofti algses dokumentatsioonis teatati MMLU skooriks 75,7%. See on pakkuja esitatud võrdlustulemus ning seda tuleks tõlgendada mudeli soorituse näitajana konkreetses testikeskkonnas, mitte iga päringu või juurutuse garantiina. Praktilises kasutuses võib mudel aidata selgitada arvutuskäiku, teisendada struktureeritud teksti, koostada koodi, tuvastada dokumendis välju või luua lühikese kokkuvõtte. Siiski tuleb kontrollida aritmeetilisi vigu, põhjendamata eeldusi ja vigast koodi.
Kodeerimisel saab mudel genereerida koodinäiteid, selgitada olemasolevat koodi, soovitada muudatusi ja abistada tavapäraste programmeerimisülesannete juures. Väiksem suurus võib muuta selle kohaliku interaktiivse kasutuse otstarbekamaks kui suure mudeli kasutamise, eriti juhul, kui olulised on vastuse kiirus ja riistvarakulu. Mudel ei paku siiski autonoomset kodeerimiskeskkonda, ei käivita iseseisvalt koodi, ei sirvi dokumentatsiooni ega kutsu väliseid tööriistu. Uuringus märgitakse, et selle mudelikirje puhul ei ole tööriistade kasutus ja funktsioonikutse toetatud, mistõttu tuleb need võimalused vajaduse korral rakendusse endasse ehitada.
Ainult tekstisisend ja -väljund
Phi-3-small-8k-instruct võtab vastu teksti ja genereerib teksti. See ei töötle algupäraselt pilte, heli ega videot ega genereeri pilte, kõnet, muusikat või videot. Arendaja võib ehitada selle ümber multimodaalse rakenduse, kasutades heli transkribeerimiseks, piltide kirjeldamiseks või failidest teksti eraldamiseks eraldi süsteeme, kuid need võimalused kuuluksid ümbritsevasse töötlusvoogu, mitte sellesse kontrollpunkti.
Mudel ei paku ka iseenesest veebotsingut ega reaalajas andmeid. Selle märgitud teadmiste lõppkuupäev on oktoober 2023, seega ei kuulu pärast seda kuupäeva lisandunud sündmused ja teave mudeli õpitud teadmiste hulka. Otsinguga täiendatud genereerimine võib uuemat materjali pakkuda, lisades leitud teksti viipa, kuid rakendus peab ise korraldama otsingu, allikate valiku ja viidete haldamise.
Juurutusvõimalused ja praegune saadavus
Allalaaditav kontrollpunkt on saadaval Microsofti Hugging Face'i hoidlas ning seda saab laadida Transformersi ühilduvate versioonidega. Microsoft avaldas ka ONNX-i variandid protsessori, graafikaprotsessori, Windowsi, Linuxi, macOS-i ja mobiilipõhiste juurutusstsenaariumide jaoks. Ühilduvaid järeldusservereid, näiteks vLLM-i, saab kasutada juhul, kui mudel ja konfiguratsioon on toetatud. Vanemad Transformersi versioonid võivad vajada kohandatud mudelikoodi, mistõttu tuleks enne juurutamist kontrollida käituskeskkonna ja mudelikaardi juhiseid.
Microsoft pakkus varem Phi-3-small-8k-instructi teenuse Azure AI Models as a Service kaudu. Hiljem teatas Microsoft, et mudel eemaldatakse Foundryst 30. augustil 2025, ning soovitas asendusena Phi-4-mini-instructi. See muudatus puudutab majutatud Foundry teenust; see ei kustuta avatud kaaludega kontrollpunkti ega takista arendajatel seda iseseisvalt alla laadida ja käitada.
See eristus on oluline mudeli tänapäevase kasutatavuse hindamisel. Majutatud lõpp-punkt pakub hallatud taristut ja prognoositavat teenuseliidest, samas kui ise hostides vastutab kasutaja riistvara, skaleerimise, turbe, seire, mudeliuuenduste, viibavormingu ja töökindluse eest. Endise Azure'i lõpp-punkti tulemusi ei tohiks automaatselt eeldada samaks iga kvantitud või iseseisvalt teenindatava versiooni tulemustega.
Ajalooline hinnastus ja kulude kompromissid
Azure'i ajaloolises Models as a Service'i hinnakirjas oli hinnaks märgitud 0,00015 dollarit 1000 sisendtokeni kohta ja 0,0006 dollarit 1000 väljundtokeni kohta. Need summad kirjeldavad endist majutatud pakkumist ja neid ei tohiks käsitleda praeguste Foundry hindadena, sest mudeli juurdepääs Foundry kaudu lõpetati.
Ise hostides ei lisandu allalaaditud kaaludele Microsofti lõpp-punkti tokenipõhist tasu, kuid juurutamisega kaasnevad siiski taristukulud. Nende hulka kuuluvad sobiv protsessori- või graafikaprotsessoririistvara, salvestusruum, elekter, majutus, arendustöö ja hooldus. Kvantimine ja optimeeritud käituskeskkonnad võivad vähendada mälukasutust ja suurendada kiirust, kuigi nendega võivad kaasneda kvaliteedi- või ühilduvuskompromissid. Mudeli suhteliselt väike parameetrite arv muudab need võimalused praktilisemaks kui palju suurema mudeli puhul.
Toimetuslikust vaatenurgast on Phi-3-small-8k-instruct kõige atraktiivsem siis, kui tähtsamad on prognoositav kohalik töö, väikesed ressursinõuded ja paindlik litsents kui maksimaalne üldine võimekus või pikk kontekstiaken. Suurem mudel võib pakkuda paremat tulemust keerulise arutluse, laiapõhjaliste teadmiste või keeruka kodeerimise puhul, kuid vajab tavaliselt rohkem mälu ja arvutusvõimsust. Pika kontekstiga sõsar, näiteks Phi-3-small-128k-instruct, sobib paremini siis, kui peamine nõue on töödelda märksa suuremaid sisendeid, samas kui see 8K mudel sobib paremini lühemate viipade ja kergemate juurutuste jaoks.
Peamised tugevused ja piirangud
Mudeli peamised tugevused on kompaktne suurus, avatud kaaludega kättesaadavus, MIT-litsents, keskendumine tekstigenereerimisele ja tugi levinud kohaliku järelduse ökosüsteemidele. Seda saab kohandada privaatsetesse või kontrollitud keskkondadesse, kus viipade saatmine majutatud teenusele pole soovitav. Juhiste järgi häälestamine muudab selle küsimustele vastamisel, kokkuvõtete tegemisel, andmete eraldamisel, tekstide koostamisel, matemaatikas ja kodeerimisel kohe kasulikumaks kui häälestamata baaskontrollpunkt.
Sama olulised on selle piirangud. 8K kontekstiaken on tänapäevaste pika konteksti töövoogude jaoks tagasihoidlik. Mudel töötab ainult tekstiga, sellel puudub algupärane veebijuurdepääs ning sisseehitatud tööriista- või funktsioonikutse. 2023. aasta oktoobris lõppenud teadmisteperioodi tõttu ei sobi see iseseisvaks allikaks jooksvate sündmuste või muutuva tehnilise teabe puhul. Väiksemad mudelid võivad olla keerukate, mitmetähenduslike või mitmeastmeliste ülesannete puhul ka vähem usaldusväärsed kui suuremad alternatiivid, mistõttu on rakenduse tasandil valideerimine endiselt vajalik.
Juurutuse kvaliteet sõltub tokeniseerijast, viibamallist, käituskeskkonnast, kvantimisest, riistvarast ja turvakontrollidest. Mudelikaardi soovitatud kasutusviisid ja võrdlustulemused ei kaota vajadust testida mudelit tootmises kasutatavate täpsete viipade ja keskkonnaga. Suure riskiga otsused ei tohiks tugineda kontrollimata mudeliväljundile.
Millal valida Phi-3-small-8k-instruct?
Vali see mudel, kui vajad kompaktset kohapeal juurutatavat tekstimudelit näiteks järgmiste ülesannete jaoks:
- Privaatne või võrguühenduseta tekstigenereerimine, mille puhul viibad peavad jääma sinu kontrolli alla.
- Lühikeste dokumentide kokkuvõtete tegemine, klassifitseerimine, andmete eraldamine ja ümberkirjutamine.
- Tavapärane koodigenereerimine, koodi selgitamine ja programmeerimisabi.
- Matemaatika- ja arutlusülesanded, mis mahuvad 8K tokeni suurusesse konteksti.
- Rakendused, mille puhul on avatud kaalud, MIT-litsents ja riistvara tõhus kasutamine tähtsamad kui juurdepääs uusimatele majutatud funktsioonidele.
- Protsessori-, graafikaprotsessori-, Windowsi-, Linuxi-, macOS-i või mobiilipõhised juurutused, milles kasutatakse toetatud käituskeskkonna variante.
Mõni teine võimalus võib olla sobivam, kui vajad algupärast pildi- või helitöötlust, ajakohase veebiteabega põhjendatud vastuseid, sisseehitatud tööriistu, väga pikki dokumente, hallatud majutatud kättesaadavust või keerukate arutlus- ja kodeerimisülesannete puhul parimat võimalikku kvaliteeti. Lõpetatud Foundry lõpp-punkt muudab selle ka halvaks valikuks uue rakenduse jaoks, mis vajab konkreetselt praegu toetatud Microsofti majutatud API-t. Sellistel juhtudel hinda praegu saadaval olevat mudelit, millel on vajalik konteksti pikkus, modaalsused, tööriistade tugi ja teenusetaseme garantiid.
Kokkuvõte
Phi-3-small-8k-instruct on endiselt kasulik avatud kaaludega kontrollpunkt kergete tekstipõhiste tehisintellektirakenduste jaoks. Selle tugevaim kasutusjuht on arendaja, kes soovib väikest Microsofti mudelit, mida saab kohapeal käitada, kasutada tavapäraste juhiste järgimise ja kodeerimise ülesannete puhul ning integreerida kontrollitud rakendusse ilma suurest majutatud süsteemist sõltumata. Selle 8K kontekstiaken, 2023. aasta oktoobris lõppenud teadmisteperiood, algupäraste tööriistade ja veebotsingu puudumine ning lõpetatud Foundry teenus piiravad selle sobivust tänapäevaste pika konteksti, reaalajas või täielikult hallatud töövoogude jaoks. Käsitle seda tõhusa ehitusplokina, mitte täieliku assistendina, ning vali käituskeskkond ja turvameetmed vastavalt rakenduse nõuetele.