MPT-7B-Instruct

Mis on MPT-7B-Instruct?

MPT-7B-Instruct on 7 miljardi parameetriga ainult dekooderil põhinev keelemudel, mis on loodud kirjalike juhiste järgimiseks ja teksti genereerimiseks. Selle töötas välja MosaicML, mille alusmudelitega seotud tegevus kuulub nüüd Databricksi alla. Mudel avaldati 5. mail 2023 ning seda levitatakse allalaaditavate avatud kaaludena Hugging Face Hubi kaudu, mitte Databricksi praeguse tokenipõhise hostitud mudelina.

Mudel on MPT-7B juhiste järgi häälestatud versioon. Juhiste järgi häälestamine tähendab, et üldotstarbelist keelemudelit treenitakse täiendavalt päringute ja kasulike vastuste näidetega, mistõttu vastab see tõenäolisemalt otse sellistele viipadele nagu „võta see lõik kokku“, „sõnasta see lõik ümber“ või „koosta lühike selgitus“. MPT-7B-Instructi häälestamisel kasutati andmeid, mis pärinesid Databricksi Dolly-15k andmestikust ning Anthropic’u Helpful and Harmless inimtagasisidel põhineva õppe andmetest.

Selle praktiline olemus on seega üsna selge: tegemist on kompaktse avatud kaaludega tekstimudeliga kohalikuks katsetamiseks ja lühikeste juhiste järgimiseks. Seda ei esitleta praeguse tipptasemel mudeli, multimodaalse assistendi ega hallatava ettevõtetele mõeldud järeldusteenusena.

MPT-7B-Instructi koht Databricksi ja MosaicML-i mudelivalikus

MPT-7B-Instruct kuulub Mosaic Pretrained Transformersi ehk MPT mudeliperekonda. Juhiste järgimise poolest paikneb see baas-MPT-7B kontrollpunktist kõrgemal, sest see on häälestatud kasutajate päringutele vastama, kuid praeguste standardite järgi on see endiselt vanem 7 miljardi parameetriga mudel.

Tänapäeval tuleks seda kontrollpunkti käsitleda MosaicML-i ja Databricksi alusmudelite arenduse pärandina säilinud avatud kaaludega mudelina. Esitatud mudeliteave ei tuvasta MPT-7B-Instructi jaoks praegust Databricksi tokenipõhist lõpp-punkti ega standardset esimese osapoole API-hinnastust. Selle mudeli kasutajad laadivad selle üldjuhul ise alla ja käitavad ise või kasutavad sobivat kolmanda osapoole hostimislahendust, mille kulud ja tugitingimused on mudelist eraldi.

Arhitektuur ja 2048 tokeni kontekstiaken

MPT-7B-Instruct kasutab GPT-laadset ainult dekooderil põhinevat transformeri arhitektuuri. MPT-perekond sisaldab selliseid rakendusfunktsioone nagu FlashAttentioni tugi, ALiBi positsioonilised nihked ja treeningu stabiilsust parandavad täiustused. ALiBi on positsioonilise nihke meetod, mis aitab transformeril tokenite järjekorda esitada ja võib toetada konteksti pikkuse ekstrapoleerimist, kuigi selle kontrollpunkti avaldatud konfiguratsioon määrab endiselt konteksti pikkuseks 2048 tokenit.

Token on keelemudeli kasutatav väike tekstiosa; see võib tähistada sõna, sõnaosa, kirjavahemärki või tühikut. 2048 tokeni piirang kehtib mudeli saadaolevale kontekstile ja on oluline praktiline piirang. Pikka dokumenti, ulatuslikku vestlust või suurt koodifaili sisaldav viip võib ületada mudeli kasutatava sisendakna. Suuremahulise materjaliga töötavad rakendused peaksid lähteteksti osadeks jagama, koostama kokkuvõtteid järk-järgult või valima uuema, suurema dokumenteeritud kontekstiaknaga mudeli.

Esitatud uurimismaterjal ei anna eraldi maksimaalse väljundtokenite arvu spetsifikatsiooni. Arendajad ei tohiks seetõttu eeldada, et mudel toetab kindla pikkusega vastuseid, mis ületavad mudeli üldise konteksti ja valitud järelduskonfiguratsiooni piires lubatu.

Võimekused ja toetatud modaalsused

MPT-7B-Instruct on teksti sisendiga ja teksti väljundiga mudel. See võtab vastu kirjalikke viipasid ning genereerib kirjalikke jätke või vastuseid. Sellel puudub kinnitatud natiivne pildi-, heli- või videosisend ning otsene pildi-, heli-, video-, muusika-, kõne- või muu mittetekstilise väljundi võimekus.

Mudel võib viipamise korral genereerida teksti, mis meenutab JSON-i, koodi, loendeid või muid struktureeritud vorminguid, kuid seda ei tohiks segi ajada dokumenteeritud struktureeritud väljundi garantii ega skeemipõhise dekodeerimisfunktsiooniga. Samuti võiks rakendus ühendada genereeritud teksti väliste tööriistadega, kuid kontrollpunkti enda puhul ei ole natiivset tööriistakasutuse ega funktsioonikutsete tuge dokumenteeritud.

Arutlus- ja kodeerimisvõimekus

MPT-7B-Instruct sobib lihtsate juhiste järgimiseks, lühikesteks vastusteks, ümberkirjutamiseks, kokkuvõtete tegemiseks ja lihtsamate tekstide koostamiseks. See võib olla kasulik ka juhiste järgi häälestatud avatud mudelite käitumise uurimisel või suhteliselt kompaktse kontrollpunkti kohandamisel konkreetse valdkonna jaoks.

Seda ei peaks valima eelkõige keerukaks mitmeastmeliseks arutluseks. Selle mudeli kohta esitatud toimetuslik hinnang annab praeguste üldotstarbeliste tehisintellektimudelitega võrreldes arutlusvõimekusele hindeks 4 punkti 10-st ja kodeerimisvõimekusele 3 punkti 10-st. Need on võrdlushinded, mitte teenusepakkuja avaldatud võrdlustestide tulemused. Need näitavad, et keeruka analüüsi, raskete matemaatiliste ülesannete, täiustatud programmeerimise ja usaldusväärseid pikki järeldusahelaid nõudvate ülesannete puhul tuleks ootused hoida tagasihoidlikud.

Kodeerimisel võib MPT-7B-Instruct aidata lihtsate näidete, selgituste või põhiliste tekstiteisendustega, kuid olemasolev uurimismaterjal ei tõenda spetsiaalset kooditreeningu fookust, kodeerimise võrdlustesti tulemust ega usaldusväärset tootmiskeskkonna tasemel programmeerimisvõimekust. Tarkvaraarenduseks võib sobida paremini uuem koodile spetsialiseerunud või üldotstarbeline mudel.

Juurutamine ja peenhäälestamine

Kontrollpunkti saab Hugging Face’ist laadida Transformersi teegi abil ning kasutada MosaicML-i LLM Foundry töövoogudega. LLM Foundry pakub MPT-mudelite treenimise, hindamise, järelduse ja peenhäälestamise tööriistu. Kuna MPT kontrollpunktid kasutavad kohandatud mudeli rakenduskoodi, võib kohalik laadimine nõuda usaldusväärse kaugkoodi lubamist. Seda seadet tuleks hoolikalt üle vaadata: see lubab mudelihoidlaga seotud kohandatud koodil kohalikus keskkonnas käivituda, mistõttu peaks juurutamisel kasutama usaldusväärseid versioone ja sobivat isoleerimist.

Avatud kaalud annavad operaatorile rohkem kontrolli kui ainult hostitud mudel. Meeskond saab valida riistvara, järelduskäituskeskkonna, kvantimise meetodi, turvakontrollid ja peenhäälestamise protsessi. Kvantimine võib vähendada mälunõudeid ning optimeeritud järelduskäituskeskkonnad võivad suurendada läbilaskevõimet, kuid valitud mudeliversiooni ja käituskeskkonna ühilduvust tuleb testida.

Sellise kontrolliga kaasnevad ka käitamisega seotud kohustused. Kasutaja peab tagama sobiva riistvara või hostimise, haldama mudelifailide, hooldama tarkvarakeskkonda, jälgima jõudlust, tegelema turvalisusega ning lisama rakenduse jaoks vajalikud sisufiltrid või juurdepääsukontrollid. Need kohustused eristavad MPT-7B-Instructi oluliselt hallatavast mudeli API-st.

Hind, kättesaadavus ja litsents

MPT-7B-Instructi sisend- ega väljundtokeni hinda ei ole esitatud, sest tegemist on avatud kaaludega kontrollpunkti, mitte praeguse Databricksi tokenipõhise API-mudeliga. Mudeli allalaadimisega ei pruugi kaasneda tokenipõhist tasu, kuid selle käitamisega kaasnevad siiski taristukulud, sealhulgas kohaliku riistvara, pilvandmetöötluse, salvestusruumi ja arendustöö kulud. Kui kontrollpunkti hostib kolmas osapool, tuleks selle teenusepakkuja hinnastust eraldi hinnata.

Avaldatud mudeliteave määratleb litsentsiks CC BY-SA 3.0 ja näitab, et äriline kasutamine on lubatud. Kasutajad peaksid enne tuletatud teoste, peenhäälestatud versioonide või mudelil põhinevate toodete levitamist siiski tutvuma täieliku litsentsi ja kõigi kohaldatavate hoidla tingimustega. Litsents ei vabasta vajadusest hinnata genereeritud sisu, privaatsuse, turvalisuse ega regulatiivsete nõuete aspektist.

Peamised tugevused ja piirangud

Tugevused

• Allalaaditavad avatud kaalud: Kasutajad saavad kontrollpunkti käitada ja kohandada, sõltumata ühest esimese osapoole järelduslõpp-punktist.
• Mõõdukas mudeli suurus: Seitse miljardit parameetrit on palju suuremate keelemudelitega võrreldes katsetamiseks suhteliselt kompaktne suurus, kuigi tegelikud riistvaranõuded sõltuvad täpsusest ja käituskeskkonnast.
• Juhiste järgi häälestamine: Mudel on loodud järgima tavalisi kirjalikke päringuid, mitte toimima ainult baasina teksti lõpetamise kontrollpunktina.
• Peenhäälestamise tugi: MosaicML-i LLM Foundry pakub treenimise, hindamise, järelduse ja kohandamisega seotud töövooge.
• Ärilise kasutuse märge: Avaldatud mudeliteave määratleb litsentsiks CC BY-SA 3.0, mis lubab litsentsitingimuste kohaselt ärilist kasutamist.

Piirangud

• Lühike kontekst: Dokumenteeritud 2048 tokeni pikkune kontekst on piirav pikkade dokumentide, suurte koodibaaside ja pikkade vestluste puhul.
• Vanem põlvkond: 2023. aasta kontrollpunktina jääb see tõenäoliselt uuematele juhiste järgi häälestatud mudelitele alla arutluse, kodeerimise, mitmekeelse töö, ohutuskäitumise ja pika konteksti kasutamise poolest, kuigi esitatud uurimismaterjal ei sisalda otsest võrdlustesti.
• Natiivse multimodaalsuse puudumine: Mudel piirdub teksti sisendi ja teksti väljundiga.
• Dokumenteeritud natiivsete tööriistade puudumine: Esitatud teave ei kinnita funktsioonikutseid, veebiotsingut, struktureeritud väljundeid ega muid hallatavate agentide funktsioone.
• Käitamisega seotud koormus: Ise hostimine annab taristu, turvalisuse, hoolduse ja skaleerimisega seotud vastutuse kasutajale.
• Praeguse standardse esimese osapoole hinnastuse puudumine: Selle täpse kontrollpunkti jaoks ei ole esitatud tokenipõhist Databricksi API-pakkumist.

Millal valida MPT-7B-Instruct?

Vali MPT-7B-Instruct siis, kui allalaaditavad kaalud ja kohalik kontroll on olulisemad kui juurdepääs uusimatele mudelivõimekustele. See on mõistlik kandidaat õppeprojektide, avatud mudelite uurimise, lühikeste tekstide genereerimise, võrguühenduseta või privaatsuse tagamiseks tehtavate katsete ning peenhäälestamise uuringute jaoks, kui piisab kompaktsest juhiste järgi häälestatud kontrollpunktist.

See võib olla sobiv ka siis, kui meeskonnal on juba ühilduv MPT-taristu või soov võrrelda vanemat avatud mudelit uuemate kontrollpunktidega. Kiiruse ja kulude eelised ei ole igas keskkonnas garanteeritud, kuid väiksemat mudelit võib olla vähem nõudlik käitada kui palju suuremat mudelit, eriti pärast sobivat kvantimist. Tegelik kompromiss sõltub riistvarast, täpsusest, pakktöötlusest, käituskeskkonna optimeerimisest ja töökoormuse suurusest.

Teistsugune lahendus on sobivam siis, kui rakendus vajab pikki dokumente, tugevat arutlusvõimet, usaldusväärset koodigeneratsiooni, multimodaalset sisendit, natiivseid tööriistakutseid, garanteeritud struktureeritud väljundit või hooldatavat hostitud API-t koos avaldatud kasutushindadega. Sellisel juhul võib uuem juhiste järgi häälestatud mudel või hallatav mudeliteenus vähendada arendustööd ja pakkuda võimekusi, mida MPT-7B-Instructi puhul ei ole dokumenteeritud.

Kokkuvõte

MPT-7B-Instruct on endiselt kasulik ajalooline avatud kaaludega kontrollpunkt lühikeste juhiste järgimiseks ja mudelite kohalikuks katsetamiseks. Selle selgeimad eelised on kättesaadavad kaalud, hallatav 7 miljardi parameetriga suurus, juhiste järgi häälestamine ja olemasolevad MosaicML-i tööriistad. Selle peamised puudused on 2048 tokeni pikkune kontekstipiirang, multimodaalsete ja natiivsete tööriistavõimekuste puudumine, ebakindel tootmiskeskkonna tugi ning eeldatavasti väiksem jõudlus kui praegustel mudelitel. Seda tuleks käsitleda eelkõige ise hostitava uurimis- ja kohandamisvõimalusena, mitte tänapäevase üldotstarbelise tipptasemel mudelina.