Mis on MPT-7B-Chat?
MPT-7B-Chat on MPT-7B keelemudeli vestluspõhine peenhäälestus. MosaicML avaldas selle 5. mail 2023 Mosaic Pretrained Transformeri ehk MPT mudeliperekonna osana. Hiljem omandas MosaicML-i Databricks, mistõttu seostatakse seda mudelit nüüd sageli Databricksiga, kuigi algses väljalaskes ja mudelihoidlas on selle arendajana märgitud MosaicML.
Mudel sisaldab ligikaudu 6,7 miljardit parameetrit. Praktilises mõttes kuulub see väiksemate ja hõlpsamini kasutatavate avatud kaaludega keelemudelite hulka, võrreldes paljude uuemate süsteemidega. See loodi dialoogis vastuste genereerimiseks, mitte lihtsalt iseseisva teksti jätkamiseks, mistõttu sobib see vestlusroboti käitumise, viipevormingute ja transformerite lokaalse juurutamise katsetamiseks.
MPT-7B-Chatist tuleks mõelda eelkõige kui allalaaditavast mudeli kontrollpunktist, mitte kui tänapäevasest kommertslikust API-tootest. Esitatud allikad kinnitavad selle Hugging Face'i hoidlat ja avatud kaalude kättesaadavust, kuid ei kinnita aktiivset Databricksi hallatavat lõpp-punkti, märgipõhist hinnastamist ega praegust hallatud järeldusteenust selle konkreetse kontrollpunkti jaoks.
Kuidas selle vestlusvorming töötab
MPT-7B-Chat peenhäälestati vestlus- ja juhistepõhiste andmetega, sealhulgas ShareGPT-Vicuna, HC3, Alpaca, Helpful and Harmless ning Evol-Instructi andmekogumitega. Eesmärk oli panna algne MPT-7B mudel vestlussituatsioonides loomulikumalt vastama.
Mudel kasutab ChatML-vormingut. ChatML esitab vestluse selgelt märgistatud süsteemi-, kasutaja- ja assistendisõnumitena. Süsteemisõnum võib anda üldised käitumisjuhised, kasutajasõnum sisaldab päringut ja assistendisõnum mudeli vastust. See struktuur on mitme vooruga rakenduste puhul kasulik, sest rakendus saab varasemad sõnumid alles hoida ja iga kõneleja järjepidevalt tuvastada.
ChatML on vormingukonventsioon, mitte tõend tänapäevase struktureeritud väljundi või agendiraamistiku kohta. Esitatud uuringud ei kinnita MPT-7B-Chati puhul garanteeritud JSON-i genereerimist, natiivset funktsioonikutset, tööriistade kasutamist ega veebotsingut.
Tehnilised andmed ja piirangud
| Spetsifikatsioon | Kinnitatud üksikasjad |
|---|---|
| Mudeliperekond | MPT ehk Mosaic Pretrained Transformer |
| Parameetrid | Ligikaudu 6,7 miljardit |
| Arhitektuur | Ainult dekooderiga transformer |
| Konteksti pikkus | 2048 tokenit |
| Sisendmodaalsus | Tekst |
| Väljundmodaalsus | Tekst |
| Väljalaskekuupäev | 5. mai 2023 |
| Litsents | CC-BY-NC-SA-4.0 |
| Väljundi maksimaalne tokenite arv | Ei ole kinnitatud |
2048 tokeni pikkune kontekst on oluline praktiline piirang. Token on ühik, mida mudel kasutab teksti esitamiseks; konteksti piir hõlmab koos nii vestluse ajalugu kui ka soovitud vastust. Seetõttu võivad pikad dokumendid, suured viiped või pikad vestlusajalood olemasoleva konteksti kiiresti ära kasutada. Uuringud ei esita eraldi maksimaalse väljundi seadistust, mistõttu ei tohiks rakendused eeldada kindlat vastuse tokenite piirangut peale üldise kontekstipiirangu.
MPT-perekonna dokumentatsioon nimetab rakenduse komponentidena muu hulgas ALiBi positsioonilise tähelepanu, FlashAttentioni ja optimeeritud järelduskihid. Need on mudeliperekonna ja järelduskiibi tehnilised omadused; neid ei tohiks tõlgendada iga seadme puhul garanteeritud vastamiskiirusena.
Võimekused ja toetatud modaalsused
MPT-7B-Chat võtab vastu teksti ja genereerib teksti. Kinnitatud ei ole pildi-, heli-, video-, muusika- ega kõneväljund ning esitatud uuringud ei viita mitme modaalsuse sisendi toetusele. Seega on see mõeldud tekstipõhiseks dialoogiks, mitte piltide mõistmiseks, häälsuhtluseks, videoanalüüsiks ega meedia genereerimiseks.
Selle peamine võimekus on vestlusliku teksti genereerimine. Seda saab kasutada näiteks küsimustele vastamiseks, lühikese vestlusajaloo säilitamiseks, süsteemiviipade testimiseks ja hariduslike vestlusroboti prototüüpide loomiseks. Peenhäälestusandmed valiti juhiste järgimise ja vestluskäitumise parandamiseks, kuid see ei tõenda usaldusväärset faktitäpsust ega ajakohaseid teadmisi.
Esitatud teave ei kinnita natiivseid arutlusrežiime, mõttekäigu juhtimist, struktureeritud väljundi garantiisid, tööriistade kasutamist, funktsioonikutseid, veebotsingut, vahemällu salvestamist, pakktöötluse API-sid ega praegust teenusepakkuja hallatavat voogedastusliidest. Arendajad võivad allalaaditava kontrollpunkti ümber rakendusloogika üles ehitada, kuid see erineb mudeli enda kinnitatud natiivse võimekuse olemasolust.
Litsents ja kommertskasutusega seotud kaalutlused
MPT-7B-Chat avaldati CC-BY-NC-SA-4.0 litsentsi alusel. Uuring käsitleb seda mitteärilise litsentsina, millele kehtivad litsentsi konkreetsed tingimused. See erinevus on oluline, kui võrrelda mudelit avatud kaaludega mudelitega, mis on avaldatud kommertskasutust lubavate tingimuste alusel.
Organisatsioonid peaksid litsentsi enne kontrollpunkti kasutamist tootes, ettevõttesiseses töövoos, hallatud teenuses või muus tegevuses, mida võidakse pidada äriliseks, hoolikalt läbi vaatama. Mudelit ei tohiks pidada automaatselt kommertslikuks juurutuseks sobivaks ainult seetõttu, et selle kaalud on allalaaditavad.
Peamised tugevused ja piirangud
Milleks MPT-7B-Chat sobib
- Juurdepääsetav katsetamine avatud kaaludega: Suhteliselt väike parameetrite arv muudab selle lokaalseks testimiseks hõlpsamini kasutatavaks kui suuremad sama ajastu mudelid.
- Dialoogile keskendunud käitumine: See peenhäälestati spetsiaalselt mitme vooruga vestluste jaoks, mitte üksnes baasmudeli tekstijätkamiseks.
- Läbipaistev viibestruktuur: ChatML määrab süsteemi-, kasutaja- ja assistendisõnumitele selged rollid.
- Uurimistöö ja haridus: Kontrollpunkt sobib transformerite järelduse, vestluspõhise peenhäälestuse, viipevormingute ja mudelite lokaalse juurutamise õppimiseks.
- Sõltumatus märgipõhisest API-hinnast: Allalaaditud kaaludega töötamisel ei ole katsetamiseks vaja praegust esimese osapoole märgipõhist teenust, kuigi riistvara ja käitamisega seotud kulud kehtivad endiselt.
Olulised piirangud
- Lühike kontekst: Kinnitatud 2048 tokeni suurune kontekstiaken on pikkade dokumentide ja pikaajaliste vestluste jaoks piirav.
- Pärandstaatus: 2023. aastal avaldatuna on see vanem kui paljud praegused keelemudelid ning ei pruugi vastata nende arutlus-, programmeerimis-, faktitäpsuse ega juhiste järgimise tasemele.
- Mitteäriline litsents: CC-BY-NC-SA-4.0 piirab kasutust võrreldes kommertskasutust lubavamate alternatiividega.
- Kinnitatud ajakohase hallatud API puudumine: Esitatud allikad ei dokumenteeri praegust Databricksi API hinnastamist ega selle konkreetse mudeli hallatud lõpp-punkti.
- Ainult tekst: Esitatud spetsifikatsioonide põhjal ei saa seda valida mitme modaalsusega rakenduste jaoks.
- Kinnitatud natiivsete tööriistade ja struktureeritud väljundi puudumine: Rakendused, mis vajavad garanteeritud JSON-i, funktsioonikutseid, veebotsingut või agendi toiminguid, vajavad teistsugust dokumenteeritud lahendust või täiendavat rakenduskihi arendust.
Hind ja kättesaadavus
MPT-7B-Chati puhul ei ole kinnitatud ühtegi praegust Databricksi esimese osapoole sisendi- ega väljundihinda. Mudel on Hugging Face'i ökosüsteemi kaudu saadaval avatud kaaludega kontrollpunktina, kuid allalaaditavad kaalud ei tähenda sama mis tasuta kasutamine tootmises. Kasutajatel võivad siiski tekkida kulud riistvara, pilvandmetöötluse, salvestusruumi, juurutamise ja hoolduse eest.
Kuna esitatud uuringutes ei ole kinnitatud praegust hallatud teenuse hinda, ei tohiks eeldada kuutellimust, märgipõhist hinda ega tasuta API-mahtu. Enne uue tootmissüsteemi kavandamist tuleks kättesaadavust kontrollida mudelihoidlas ja juurutusplatvormil.
Millal valida MPT-7B-Chat?
Vali MPT-7B-Chat siis, kui eesmärk on uurida või prototüüpida suhteliselt väikest avatud kaaludega vestlusmudelit, käitada vestlusrobotit lokaalselt, testida ChatML-i viipeid või teha transformerimudelitega seotud haridustööd. See võib olla ka kasulik ajalooline võrdluspunkt MPT-perekonna ja varaste avatud kaaludega dialoogimudelite kujundusvalikute mõistmiseks.
Väiksem mudel võib muuta katsetamise palju suurema mudeli kasutamisest praktilisemaks, kuid esitatud uuringud ei kinnita kindlat riistvaranõuet ega universaalset kiiruseelist. Tegelik jõudlus sõltub järelduse rakendusest ja olemasolevast riistvarast.
Teistsugune lahendus on sobivam, kui projekt vajab kommertskasutuse õigusi, pikka kontekstiakent, ajakohaseid faktiteadmisi, natiivseid tööriistakutseid, garanteeritud struktureeritud väljundit, mitme modaalsusega sisendit või toetatud hallatud API-t. Tänapäevased tootmisrakendused peaksid hindama ka uuemaid mudeleid, kui olulised on arutluse kvaliteet, programmeerimise töökindlus, turvakontrollid või teenusepakkuja jätkuv tugi. MPT-7B-Chati peamine väärtus seisneb allalaaditavas, dialoogile suunatud kontrollpunktis ja selle hariduslikus kasulikkuses, mitte tänapäevases teenusekattes.
Kokkuvõte
MPT-7B-Chat on 6,7 miljardi parameetriga vestlusmudel, mis pakkus MPT-perekonnas praktilist avatud kaaludega võimalust mitme vooruga tekstidialoogiks. Selle ChatML-vorming ja hõlpsasti kättesaadav kontrollpunkt muudavad selle kasulikuks lokaalseks katsetamiseks ja õppimiseks. Samas muudavad 2048 tokeni suurune kontekstipiirang, mitteäriline litsents, ainult tekstipõhine ülesehitus, pärandstaatus ja kinnitatud ajakohase hallatud API-toe puudumine selle paljude uute kommerts- või tootmisjuurutuste jaoks halvasti sobivaks.