Mis on MPT-30B-Instruct?
MPT-30B-Instruct on 30 miljardi parameetriga avatud kaaludega keelemudel, mille lõi masinõppeettevõte MosaicML, mille Databricks omandas. Mudel avaldati 22. juunil 2023 eeltreenitud mudeli MPT-30B juhiseid järgiva versioonina. Selle kanooniline Hugging Face'i identifikaator on mosaicml/mpt-30b-instruct.
Juhiste järgi häälestamine tähendab, et baasmudelit treeniti täiendavalt vastama viipadele, milles palutakse tal ülesandeid täita, mitte lihtsalt teksti jätkata. Praktikas on MPT-30B-Instruct mõeldud lühivastusteks, küsimustele vastamiseks, kokkuvõtete tegemiseks, matemaatikaülesanneteks, arutlusviipade töötlemiseks ja muudeks seotud teksti genereerimise ülesanneteks. See ei ole üldotstarbeline majutatav toode, millel oleks tarbijaliides või ametlik Databricksi märgipõhine API-hind. Üldjuhul hangivad kasutajad mudeli kaalud ja käitavad seda oma taristus või kolmanda osapoole majutusteenuse kaudu.
Mudelimaastikul tänapäeval
MPT-30B-Instructi tuleks käsitleda pigem pärandmudeli kui praeguse tipptasemel pakkumisena. Selle peamine eripära on juurutamise üle saadav kontroll: tehniline meeskond saab mudeli alla laadida, valida selle teeninduskeskkonna ja integreerida selle rakendusse, sõltumata teenusepakkuja hallatavast vestlusliidesest. See paindlikkus võib olla oluline katsetamisel, privaatsetes keskkondades ja töökoormuste korral, mille puhul eelistatakse viipade saatmisele hallatud API kaudu mudeli ise majutamist.
Samas eelneb mudel paljudele hilisematele edusammudele arutlusvõime, tööriistade integreerimise, struktureeritud genereerimise, multimodaalse suhtluse ja majutatud järeldamise valdkonnas. Esitatud uurimismaterjal ei tuvasta selle mudeli jaoks praegust Databricksi majutatud lõpp-punkti, ametlikku API-hinnastust ega teenusepakkuja määratud maksimaalset väljundmärkide arvu. Need puuduvad andmed on olulised, kui võrrelda mudelit uuemate hallatud mudelitega, mille kasutushinnad ja teenusetaseme võimalused on avaldatud.
Arhitektuur ja 8192 märgi kontekstiaken
MPT-30B-Instruct kasutab muudetud ainult dekooderiga Transformeri arhitektuuri. MPT-disain hõlmab FlashAttentionit ehk tähelepanumehhanismi teostust, mille eesmärk on muuta treenimine ja järeldamine tõhusamaks, ning ALiBit ehk lineaarsete nihetega tähelepanu (Attention with Linear Biases). ALiBi pakub võimalust esitada märkide asukohasuhted ilma tavapäraste positsioonimanusteta.
Dokumenteeritud konteksti pikkus on 8192 märki. Märk on mudeli kasutatav tekstifragment, seega hõlmab kontekst nii viipa kui ka genereeritud jätku ega tähenda täpselt 8192 sõna. See aken on piisav paljude üksikute juhiste, lühidokumentide, kokkuvõtete ja küsimustele vastamise ülesannete jaoks, kuid väga suurte dokumendikogumite töötlemiseks sellest üksi ei piisa ilma eeltöötluse, tükeldamise või muu otsingustrateegiata.
Mudelikaardil on dokumenteeritud ligikaudu 29,95 miljardit parameetrit, 48 kihti, 64 tähelepanupead, mudeli dimensioon 7168 ja sõnavara suurus 50 432. Need näitajad aitavad selgitada juurutamise kompromisse: kuigi mudel on väiksem kui mõned palju suuremad tänapäevased süsteemid, vajab ligikaudu 30 miljardi parameetriga mudel siiski märkimisväärset GPU-mälu ning läbimõeldud otsuseid täpsuse, kvantimise ja teeninduskonfiguratsiooni kohta.
Treeningu fookus ja peamised ülesanded
MPT-30B-Instructi häälestati juhiste, küsimustele vastamise, kokkuvõtete, matemaatika, arutluse ja tekstist SQL-i genereerimisega seotud andmekogumite segu põhjal. Dokumenteeritud treeningusegu hõlmas andmekogumit Dolly HHRLHF, mis põhineb andmekogumitel Databricks Dolly-15k ja Anthropic HH-RLHF, samuti andmekogumeid Competition Math, DuoRC, CoT GSM8K, Qasper, Quality, Summ Screen FD ja Spider.
Sellise treeningufookuse tõttu võib mudel sobida näiteks järgmisteks rakendusteks:
- Lühivormis juhiste järgimine ja küsimustele vastamine.
- Suhteliselt väikeste dokumentide või tekstilõikude kokkuvõtete tegemine.
- Lihtsamad matemaatika- ja arutlusülesanded.
- Avatud kaaludega keelemudelite käitumise uurimine.
- Ise majutatud teksti genereerimise teenused ja prototüübid.
- Tekstist SQL-i genereerimise või muude seotud struktureeritud keeleülesannetega eksperimenteerimine koos rakenduse tasemel valideerimisega.
Andmekogumite segu ei tohiks käsitleda võrdlustulemuste ega faktilise usaldusväärsuse garantiina. Esitatud allikad ei paku ühtainsat kontrollitud skoori, mille põhjal saaks ennustada mudeli toimivust konkreetses rakenduses. Väljundid võivad sisaldada faktivigu, kallutatud keelekasutust, ohtlikku sisu või vormingut, mis muutub sõltuvalt viiba sõnastusest.
Sisendid, väljundid ja toetatud võimalused
MPT-30B-Instruct on ainult tekstipõhine mudel. See võtab vastu tekstiviipasid ja väljastab teksti; algupäraselt ei toeta see pilte, heli ega videot ning ei genereeri otse pilte, heli, videot, muusikat, manuseid ega kõnet. Seetõttu ei sobi see multimodaalsete rakenduste iseseisvaks komponendiks.
| Võimalus | Esitatud uurimismaterjali kohaselt saadaval |
|---|---|
| Tekstisisend | Jah |
| Tekstiväljund | Jah |
| Pildi-, heli- või videosisend | Ei |
| Mittetekstiline väljund | Ei |
| Algupärane veebiotsing | Ei |
| Majutatud tööriistade või funktsioonide kutsumine | Ei |
| Garanteeritud struktureeritud väljund või JSON-režiim | Ei |
| Häälestamine | Toetatud MosaicML LLM Foundry tööriistade kaudu |
Mudelit saab LLM Foundry ökosüsteemi abil häälestada, kuid täpsed riistvaranõuded sõltuvad valitud täpsusest, kvantimismeetodist, pakisuurusest ja teeninduskonfiguratsioonist. Häälestamise tuge tuleks seetõttu käsitleda tööriistavõimalusena, mitte väikese kuluga või valmislahendusena kohandamise garantiina.
Jõudlus, kulu ja juurutamise kompromissid
Esitatud uurimismaterjali põhjal ei ole MPT-30B-Instructi jaoks ametlikku praegust sisend- ega väljundmärgi hinda. Kuna tegemist on avatud kaaludega mudeliga, erineb selle rahaline mudel hallatud API-st: kasutajad võivad vältida teenusepakkuja märgipõhiseid tasusid, kuid peavad arvestama GPU rentimise või omamise, salvestusruumi, inseneritöö, seire, hoolduse ja elektri kuludega. Kolmandate osapoolte majutusteenused võivad kehtestada oma hinnad, kuid need ei tulene mudelist endast ja neid siin ei täpsustata.
Ise majutamine võib pakkuda suuremat kontrolli andmekäitluse ja teeninduskäitumise üle, kuid samal ajal läheb käitamise eest vastutamine kasutajale. Meeskond peab valima järeldamisvirna, eraldama piisavalt mälu, haldama mudelifailide kasutamist ja katsetama läbilaskevõimet realistlike viipadega. Mudeli FlashAttentionil põhinev arhitektuur võib toetada tõhusat arvutust, kuid see ei määra kindlat vastusekiirust. Tegelik latentsus sõltub riistvarast, täpsusest, kvantimisest, samaaegsusest, viiba pikkusest ja teostusest.
Uurimismaterjaliga kaasas oleva toimetusliku hinnangu järgi saab MPT-30B-Instruct arutlus- ja kodeerimisoskuse eest hindeks 5 punkti 10-st, kiiruse eest 4 punkti 10-st ja kulu eest 7 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused ega garantiid. Need viitavad mudelile, mille üldised tekstivõimalused on kasulikud ja avatud kaaludega mudeli majanduslik külg suhteliselt atraktiivne, kuid mille kiirus ja võimekus on paljudest uuematest majutatud või optimeeritud alternatiividest tagasihoidlikumad.
Peamised tugevused ja piirangud
Tugevused
- Juurdepääs avatud kaaludele: Mudeli saab Hugging Face'i kaudu alla laadida, selle asemel et kasutada seda ainult suletud lähtekoodiga lõpp-punkti kaudu.
- Ise majutamise paindlikkus: Organisatsioonid saavad valida oma taristu ja juurutamiskeskkonna.
- Kasulik juhiste järgi häälestamine: Treeningufookus hõlmab lühivastuseid, kokkuvõtteid, küsimustele vastamist, matemaatikat ja seotud ülesandeid.
- Väljalaskeaja kohta suhteliselt pikk kontekst: 8192 märgi aken toetab enamat kui lihtsad ühelauselised viibad.
- Häälestamise ökosüsteem: MosaicML LLM Foundry pakub kohandamise ja treeningutöövoogudega seotud tööriistu.
- Selgelt tekstipõhine ulatus: Meeskonnad saavad mudelit hõlpsasti hinnata, kui nende rakendus ei vaja multimodaalset sisendit ega väljundit.
Piirangud
- Pärandmudeli võimekuse tase: Tegemist on vanema mudeliga ning ei tohiks eeldada, et see suudab tänapäevaste tipptasemel mudelitega võistelda arutluse, kodeerimise või faktilise täpsuse poolest.
- Käitamise koormus: Ligikaudu 30 miljardi parameetriga mudeli käitamine nõuab märkimisväärseid ressursse ja juurutamisalaseid teadmisi.
- Algupärase multimodaalsuse puudumine: Pildid, heli ja video ei kuulu selle toetatud sisend- ega väljundtüüpide hulka.
- Sisseehitatud tööriistade puudumine: Veebiotsing, funktsioonide kutsumine ja majutatud agenditoimingud ei ole algupärased võimalused.
- Garanteeritud struktureeritud väljundi puudumine: Rakendused, mis vajavad korrektset JSON-i või rangeid skeeme, peavad mudeli vastuseid ise valideerima ja vajaduse korral parandama.
- Dokumenteeritud ametliku väljundipiirangu või API-hinna puudumine: Esitatud allikad ei määra teenusepakkuja avaldatud maksimaalset väljundmärkide arvu ega korduvat kasutushinda.
- Usaldusväärsusega seotud probleemid: Mudel võib genereerida faktivigu, kallutatud sisu, ohtlikku materjali ja viiba suhtes tundlikke tulemusi.
Millal valida MPT-30B-Instruct?
Vali MPT-30B-Instruct siis, kui avatud kaalud ja kontroll juurutamise üle on olulisemad kui juurdepääs uusimatele majutatud võimalustele. See võib sobida uurimisrühmale, kes uurib juhiste järgi häälestatud mudeleid, organisatsioonile, kes loob privaatse teksti genereerimise prototüüpi, või insenerirühmale, kes juba haldab sobivat GPU-taristut ja soovib mudelit kohapeal häälestada või teenindada.
See võib sobida ka juhul, kui töökoormus koosneb peamiselt lühivormis teksti genereerimisest ja meeskond on valmis väljundeid valideerima. Enne ärilist edasilevitamist või juurutamist, sealhulgas kavandatud kasutusega seotud kohustusi, tuleks hoolikalt läbi vaadata mudeli litsents CC-BY-SA-3.0.
Uuem hallatud mudel on tõenäoliselt sobivam, kui rakendus vajab prognoositavat API-arveldamist, väikese latentsusega majutatud järeldamist, tänapäevast tipptasemel arutlusvõimet, usaldusväärset kodeerimisabi, algupärast veebiotsingut, tööriistade kutsumist, rangelt struktureeritud väljundit või multimodaalset suhtlust. Väiksem või paremini optimeeritud mudel võib olla eelistatav ka siis, kui riistvarakulu ja vastusekiirus on olulisemad kui ligikaudu 30 miljardi parameetriga avatud kaaludega süsteemi pakutav kontroll.
Litsents ja praktilised ettevaatusabinõud
MPT-30B-Instructi levitatakse litsentsi CC-BY-SA-3.0 alusel. Enne ärilist kasutamist, edasilevitamist või tootesse integreerimist tuleks üle vaadata nii litsents kui ka mudelikaart. Litsentsi sobivus on tehnilisest võimekusest eraldiseisev küsimus: mudelit võib olla lihtne alla laadida, kuid omistamise, jagamisalase kohustuse, andmekäitluse ja rakenduse edasiste eeskirjade suhtes võib siiski olla vaja hoolikalt järelevalvet teostada.
Tootmiskasutuses käsitle genereeritud vastuseid kontrollimata tekstina, välja arvatud juhul, kui ümbritsev rakendus lisab turvameetmed. Kontrolli täpsuse seisukohast olulisi fakte, piira võimaluse korral viipasid ja väljundeid, filtreeri ohtlikku sisu ning testi mudelit esinduslike töökoormustega. MPT-30B-Instruct on kõige põhjendatumalt kasutatav kontrollitava, ise majutatava teksti genereerimise komponendina, mitte tänapäevase üldotstarbelise AI-teenusena.