Mis on MPT-7B-8K-Chat?
MPT-7B-8K-Chat on MosaicML-i arendatud vestluslik keelemudel, mida seostatakse nüüd Databricksiga. Mudel kuulub Mosaic Pretrained Transformersi ehk MPT mudeliperre ning sisaldab ligikaudu 7 miljardit parameetrit. See avaldati 18. juulil 2023 koos mudelitega MPT-7B-8K ja MPT-7B-8K-Instruct.
Mudel loodi MPT-7B-8K täiendava treenimisega ligikaudu 1,5 miljardi vestlusandmete märgi põhjal. Praktikas tähendab see, et mudeli treenimist kohandati edasi-tagasi dialoogi jaoks, mitte ainult üldiseks järgmise märgi ennustamiseks. See on loodud tekstilistele viipadele tekstivastuste genereerimiseks ning ei toeta natiivselt pilte, heli ega videot.
MPT-7B-8K-Chat on kõige otstarbekam liigitada pärandvaraks oleva avatud kaaludega uurimis- ja katsetamismudelina, mitte tänapäevase tippmudeli või üldiselt kättesaadava majutatud vestlusrobotiteenusena. Esitatud uuringus on kataloogikirjes teenusepakkujaks märgitud MosaicML ja seotud ettevõtteks Databricks.
Kontekstiaken ja mudeli arhitektuur
Selle versiooni peamine tehniline omadus on 8192 märgi pikkune kontekst. Kontekstiaken näitab, kui palju teksti saab mudel ühe päringu ajal arvesse võtta, sealhulgas vestluse ajalugu ja soovitud vastust. 8K suurune aken võimaldab pidada pikemaid vestlusi või töödelda mõõduka pikkusega dokumente kui algne MPT-7B konteksti konfiguratsioon. Vestluse jaoks kasutatav maht on siiski väiksem, kui varasemad vestlusvoorud ja genereeritav vastus hõivavad samast piirangust osa.
MPT-7B-8K-Chat kasutab ainult dekoodriga GPT-laadset transformer-arhitektuuri. MPT mudeliperes kasutatakse selliseid tehnilisi lahendusi nagu FlashAttention ja ALiBi positsioonilised nihked. FlashAttention on tähelepanumehhanismi teostus, mille eesmärk on parandada mälu- ja arvutusressursside kasutamise tõhusust, samal ajal kui ALiBi pakub viisi märgikohtade esitamiseks jadas. Need arhitektuurilised üksikasjad aitavad selgitada, kuidas mudel kavandati pikemate jadade jaoks, kuid neid ei tohiks tõlgendada uuematest mudelitest parema tulemuse garantiina.
Kontrollitud kontekstipiir on 8192 märki. Esitatud uuringus ei kinnitatud eraldi maksimaalset väljundmärgi piirangut. Tegelikus juurutuses sõltuks vastuse jaoks saadaolev ruum ka sellest, kui suure osa kontekstiaknast hõivavad viip ja vestluse ajalugu.
Võimalused ja toetatud modaalsused
MPT-7B-8K-Chat on tekst-sisendiga ja tekst-väljundiga mudel. Seda saab kasutada dialoogi genereerimiseks, vestlusprototüüpide loomiseks, lihtsaks tekstide koostamiseks ning pikemaid tekstivestlusi hõlmavateks katseteks. Selle peamine toetatud sisendmodaalsus on tekst ning otsene väljund on tekst.
- Tekstisisend: Toetatud.
- Tekstiväljund: Toetatud.
- Piltide, heli ja video sisend: Esitatud mudelikirje kohaselt ei ole toetatud.
- Piltide, heli, video, muusika, esituste ja kõne väljund: Ei ole toetatud.
- Natiivne tööriista- või funktsioonikutse: Toetust ei ole kinnitatud.
- Natiivne struktureeritud väljund või eraldi JSON-režiim: Toetust ei ole kinnitatud.
- Veebiotsing: Natiivset veebiotsingu võimalust ei ole kinnitatud.
- Voogedastus: Võrdlevas mudelikirjes on see märgitud toetatuks, kuid toimivat majutatud API-liidest ei ole kinnitatud.
Natiivse tööriistakasutuse ja veebiotsingu puudumine on oluline rakendustes, mis vajavad värsket teavet, juurdepääsu andmebaasidele, väliseid toiminguid või usaldusväärselt piiratud vastuseid. Arendajad võivad luua mudeli ümber täiendava rakendusloogika, kuid see ei muuda baasmudelit teenusepakkuja toetatud funktsioonikutsete või veebipõhiselt teabega ühendatud süsteemiks.
Arutlusoskus, programmeerimine, kiirus ja kulupositsioon
MPT-7B-8K-Chat kohandati täiendava treenimisega vestluste jaoks, mitte spetsiaalselt keerukaks matemaatiliseks arutlemiseks, tarkvaraarenduseks või tööriistu kasutavateks töövoogudeks. Uuringus ei ole teenusepakkuja avaldatud võrdlustesti, mis kinnitaks mudeli arutlus- või programmeerimisvõimekust. Esitatud kataloogi toimetuslikus võrdluses hinnatakse arutlusoskust ja programmeerimist 3 punktiga 10-st, kiirust 7 punktiga 10-st ning maksumust 9 punktiga 10-st. Need on subjektiivsed toimetuslikud hinnangud, mitte ametlikud jõudlusmõõtmised.
Hinded kirjeldavad vanema ja suhteliselt väikese avatud kaaludega mudeli tõenäolist kompromissi: sobiva riistvara korral võib seda olla kohapeal odav katsetada ning see võib vastata kiiresti, samal ajal kui uuemad mudelid võivad pakkuda paremat juhiste järgimist, faktitäpsust, arutlusoskust, programmeerimisabi ja ohutuskäitumist. Kõrget toimetuslikku kuluhinnet ei tohiks käsitleda teenusepakkuja hinnana. Majutatud API hinda ei ole kinnitatud ning esitatud uuringus ei ole mudelil kinnitatud praegust teenusepakkuja hallatavat hinnaplaani.
Kohapealse juurutamisega võivad kaasneda ka kulud, mida API-hind ei kajasta, sealhulgas arvutusriistvara, salvestusruum, tarkvara seadistamine, hooldus ja arendustöö. Mudeli ligikaudu 7 miljardi parameetriga maht võib muuta selle katsetamiseks kättesaadavamaks kui märksa suuremad mudelid, kuid uuringus ei täpsustata riistvaranõudeid ega garanteerita kindlat genereerimiskiirust.
Treeningu eesmärk ja praktilised kasutusjuhtumid
Mudeli kohandamine vestlusteks muudab selle kõige asjakohasemaks olukordades, kus rakendus vajab elementaarset vestluslikku tekstigeneratsiooni ja juurutuskeskkonda kontrollib kasutaja. Mõistlikud kasutusjuhtumid on järgmised:
- Mitteärilised vestlusrobotite prototüübid.
- Dialoogigenereerimise ja avatud kaaludega keelemudelite uurimine.
- Kohapealsed katsed 8K tekstikontekstiga.
- Vestlusliideste testimine enne uuema tootmismudeli valimist.
- Lihtne rollimäng, tekstide koostamine või uurimuslik tekstigeneratsioon, mille puhul faktitäpsus ei ole kriitilise tähtsusega.
Näiteks võib teadlane kasutada mudelit selle testimiseks, kuidas vestlus muutub siis, kui alles hoitakse rohkem varasemaid vestlusvoore, või dokumendipõhise vestlusliidese prototüübi loomiseks 8192 märgi piirangu piires. Selliseid kasutusviise tuleks hinnata hallutsinatsioonide, kallutatuse, solvava väljundi ja viibatundlikkuse suhtes.
Mudel ei sobi hästi rakendustesse, mis vajavad usaldusväärseid värskeid fakte, reguleeritud valdkondade vastuseid, tootmistaseme ohutuskontrolle, piltide või heli mõistmist, veebiga ühendatud vastuseid või kvaliteetset koodigeneratsiooni. Samuti ei sobi see hästi olukorda, kus organisatsioon vajab hallatavat majutatud API-t koos avaldatud kättesaadavuse ja hinnastusega.
Litsents ja kättesaadavus
MosaicML-i mudelikataloog määratleb MPT-7B-8K-Chati mitteärilisena ning seostab selle litsentsiga Creative Commons Attribution-NonCommercial-ShareAlike 4.0, mida lühendatakse sageli kujul CC BY-NC-SA 4.0. See piirang on mudeli valimisel keskse tähtsusega: ei tohiks eeldada, et äriline juurutamine, tasulised teenused ja muu ettevõtlusega seotud kasutus on lubatud. Organisatsioonid peaksid enne mudeli kasutamist tutvuma kogu litsentsiga ja hankima asjakohast õigusnõu.
Algne mudeli identifikaator oli mosaicml/mpt-7b-8k-chat ning dokumenteeritud mudeli asukoht oli seotud Hugging Face'iga. Esitatud uuringu kohaselt võib algne Hugging Face'i repositoorium praegu tagastada 404-vastuse või olla muul viisil kättesaamatu. MosaicML-i LLM Foundry dokumentatsioon viitab endiselt sellele mudeliperele, kuid dokumentatsiooniviited ei taga, et algseid mudelifaili saab kohe alla laadida.
Seetõttu tuleks kättesaadavust enne selle mudeli ümber töövoo loomist kontrollida. Samuti peaksid kasutajad veenduma, et mis tahes peeglil, tuletatud mudelil või asendusfailil on ühilduv litsents ja kontrollitav päritolu.
Piirangud ja riskid
MPT-7B-8K-Chat võib genereerida faktiliselt ebaõiget, kallutatud, solvavat või ebaturvalist sisu. Vestluseks kohandamine ei taga, et vastused on täpsed, kahjutud või konkreetsele sihtrühmale sobivad. Mudeli teadmiste lõppkuupäeva ei ole kinnitatud ning 2023. aasta juulis avaldamise kuupäeva ei tohi käsitleda kuupäevana, milleni mudel teavet teab.
Selle 8192 märgi pikkune aken on kasulik, kuid paljude uuemate pika kontekstiga süsteemidega võrreldes piiratud. Pikad viibad ei taga samuti automaatselt usaldusväärset dokumendimõistmist: mudel võib jätta üksikasju tähelepanuta, järgida valet juhist või genereerida põhjendamata järeldusi. Rakendused peaksid väljundeid valideerima, mitte käsitlema mudelit autoriteetse teabeallikana.
Muud kinnitamata või kättesaamatud võimalused on maksimaalne väljundipiirang, viipade vahemällu salvestamine, partiide API, majutatud API hinnastus, natiivne JSON-režiim ja teenusepakkuja toetatud veebiotsing. Need puudujäägid muudavad mudeli vähem sobivaks tootmissüsteemidesse, mis sõltuvad selgelt määratletud teenusevõimalustest.
Millal valida MPT-7B-8K-Chat?
Vali MPT-7B-8K-Chat siis, kui projekt on mitteäriline, mudelifailid on võimalik hankida usaldusväärsest allikast ning eesmärk on uurida või kohapeal prototüüpida tekstipõhist dialoogi. Vestlusteks kohandamine, 8192 märgi pikkune kontekstiaken ja suhteliselt väike mudelimaht võivad olla kasulikud katsetes, kus juurutuse kontroll ja väikesed taristukulud on olulisemad kui tipptasemel kvaliteet.
Vali mõni muu lahendus siis, kui projekt vajab ärilisi kasutusõigusi, hooldatavat majutatud teenust, usaldusväärseid tööriistakutseid, värsket veebiteavet, multimodaalset sisendit, tugevat programmeerimis- või arutlusvõimet või dokumenteeritud ettevõttetaseme tuge. Nõudlike tootmisrakenduste jaoks sobib tõenäoliselt paremini uuem juhiste järgi kohandatud või tipptasemel mudel, kuigi õige alternatiiv sõltub rakenduse kvaliteedi-, latentsus-, privaatsus- ja kulunõuetest.
Üldjoontes on MPT-7B-8K-Chat endiselt asjakohane ajaloolise ja eksperimentaalse avatud kaaludega vestlusmudelina. Selle peamine väärtus ei seisne tipptasemel võimekuses, vaid võimaluses töötada vestlusliku MPT-mudeliga, mis toetab 8K tekstikonteksti. Enne kasutuselevõttu tuleks kontrollida selle mitteärilist litsentsi, algse repositooriumi ebakindlat kättesaadavust, kinnitatud majutatud teenusevõimaluste puudumist ja mudeli vanust.