Mis on MPT-7B-8K?
MPT-7B-8K on MosaicML-i Mosaic Pretrained Transformersi perekonda kuuluv ainult dekooderiga transformer-arhitektuuril põhinev keelemudel. Sellel on ligikaudu 7 miljardit parameetrit ning see on loodud teksti genereerimiseks sisendtokenite jada põhjal. Mudelit levitatakse avatud kaaludega kontrollpunktina, mitte praeguse mõõdetava kasutusega majutatud API-tootena.
Mudeli töötas välja MosaicML, mis kuulub nüüd Databricksile. Mudeli ametlik repositoorium on Hugging Face'is mosaicml/mpt-7b-8k. Väljalaskekuupäevaks on märgitud 18. juuli 2023, mistõttu kuulub see varasemate avatud kaaludega mudelite hulka, mis loodi spetsiaalselt suhteliselt väikese keelemudeli kasutatava konteksti laiendamiseks.
Nimes olev „8K” viitab maksimaalsele 8192-tokenisele konteksti pikkusele. Token on keelemudeli kasutatav tekstifragment; olenevalt keelest ja vormindusest võivad 8192 tokenit tähendada mitut tuhandet sõna. Teksti täpne hulk varieerub, eriti kui dokumendid sisaldavad koodi, tabeleid või ebatavalist vormindust.
Pika konteksti ülesehitus ja treenimine
MPT-7B-8K laiendab algse MPT-7B mudeli konteksti pikkust 2048 tokenilt 8192 tokenini. Kaasasoleva Databricksi ja MosaicML-i dokumentatsiooni kohaselt jätkati mudeli treenimist MPT-7B kontrollpunkti põhjal ning sellele lisati 500 miljardit teksti- ja kooditokenit. Kogu treeningu käigus töödeldud tokenite hulgaks on teatatud ligikaudu 1,5 triljonit.
Arhitektuur kasutab Attention with Linear Biases'i, mida lühendatakse sageli kujule ALiBi. ALiBi lisab positsiooniteabe tähelepanukihtide nihete kaudu, selle asemel et tugineda tavapärastele õpitud positsioonimanustele. MPT-7B-8K puhul on see lahendus osa meetodist, millega toetatakse pikemaid jadasid.
Mudel kasutab ka rakenduslikke lahendusi, mille eesmärk on parandada treenimise ja järeldamise tõhusust, sealhulgas optimeeritud tähelepanumehhanismi. Need lahendused ei kõrvalda mudeli konteksti piirangut ning pikemat kontekstiakent ei tohiks tõlgendada garantiina, et pika dokumendi iga detail leitakse üles või seda mõistetakse õigesti.
Mida mudel suudab teha
MPT-7B-8K on peamiselt tekstisisendi ja tekstiväljundiga mudel. Seda saab kasutada teksti genereerimiseks, kokkuvõtete koostamiseks, küsimustele vastamiseks, teabe eraldamiseks, uurimiseksperimentideks ja valdkonnaspetsiifiliseks kohandamiseks. Võrreldes algse MPT-7B-ga muudab suurem kontekst selle sobivamaks viipade jaoks, mis sisaldavad pikki aruandeid, juhendeid, transkriptsioone või muid mitmeosalist dokumente.
Näiteks võib rakendus anda mudelile pika dokumendi ja paluda selle kokku võtta, tuvastada kindlad väljad või vastata esitatud teksti puudutavatele küsimustele. Tulemused sõltuvad viiba ülesehitusest, dokumendi struktuurist, dekodeerimisseadetest ja mudeli võimest säilitada kogu sisendi ulatuses asjakohast teavet.
Alus-kontrollpunkti ei ole juhiste järgi kohandatud ega spetsiaalselt vestluseks optimeeritud. Seetõttu võib see vestluslikele päringutele vastata ebaühtlasemalt kui juhiseid järgiv mudel. Kasutajad peavad üldjuhul esitama sobiva viibavormingu ning võivad vajada konkreetse ülesande jaoks täiendavat peenhäälestust.
Võimekus ja toetatud modaalsused
MPT-7B-8K kontrollitud väljundmodaalsus on tekst. Puuduvad kontrollitud tõendid selle kohta, et mudel suudaks loomupäraselt luua pilte, heli, videot, muusikat, manuseid või muid mittetekstilisi mudeliväljundeid. Ka sisend on tekstipõhine; kaasasolevas mudeliteabes ei ole tuvastatud pildi-, heli- ega videosisendi võimekust.
Selle kontrollpunkti puhul ei ole kontrollitud loomupärast veebotsingu võimekust, funktsioonikutsumise liidest ega tööriistade kasutamise süsteemi. Väline rakendus võiks mudeli teoreetiliselt suuremasse töövoogu paigutada, kuid see oleks rakendustaseme orkestreerimine, mitte MPT-7B-8K sisseehitatud funktsioon. Samuti ei ole dokumenteeritud struktureeritud väljundi garantiid ega kontrollitud JSON-režiimi.
Kaasasolevates mudeliandmetes on voogedastus märgitud toetatuks, kuid seda tuleb mõista isemajutatud või ühilduva järeldusmootori kontekstis. See ei tõenda praeguse Databricksi majutatud API-lõpp-punkti olemasolu ega standardiseeritud voogedastuslepingut.
Konteksti- ja väljundipiirangud
Maksimaalne kontrollitud konteksti pikkus on 8192 tokenit. Järeldussüsteemis hõlmab see kogus nii viipa kui ka genereeritud jätku, kuigi täpne kasutatav jaotus võib sõltuda teenindusteegist ja konfiguratsioonist.
Kaasasolevate allikate põhjal ei õnnestunud kontrollida mudelispetsiifilist genereeritavate tokenite maksimaalset arvu. Seetõttu peavad kasutajad genereerimispikkuse konfigureerima valitud järeldusmootoris ning tagama, et viip koos soovitud jätkuga jääks mudeli konteksti mahu piiridesse.
8192-tokenine aken on paljude üksikute dokumentide jaoks kasulik, kuid see ei võrdu piiramatu dokumendimäluga. Pikad viibad võivad endiselt piirangut ületada ning mudel võib suure sisendi peale jaotunud teabe korral olulised lõigud tähelepanuta jätta või anda puudulikke vastuseid.
Juurutamine, peenhäälestus ja litsents
MPT-7B-8K on mõeldud juurutamiseks ühilduvate avatud lähtekoodiga tööriistade kaudu. Kaasasolevas dokumentatsioonis nimetatakse MPT rakenduse Hugging Face Transformersi tuge, samas kui MosaicML-i dokumentatsioonis on mosaicml/mpt-7b-8k märgitud mudeliks, mida toetatakse 8192-tokenise maksimaalse kontekstiga peenhäälestuseks.
Kuna kasutajad saavad kaalusid ise käitada, hõlmavad juurutusvõimalused kohalikku taristut, pilve GPU-instantsse ja kohandatud teenindussüsteeme. Tegelikud nõuded ja jõudlus varieeruvad sõltuvalt arvulise täpsuse seadetest, kvantimisest, pakisuurusest, jada pikkusest, riistvarast ja käituskeskkonna konfiguratsioonist. Kaasasolev uurimus ei määra üht kindlat riistvaranõuet ega garanteeritud tokenite arvu sekundis.
Mudel on loetletud litsentsi CC-BY-SA-3.0 all. Enne kontrollpunkti tootesse integreerimist või kohandatud materjalide levitamist peaksid kasutajad tutvuma litsentsi ja kõigi kohaldatavate kasutuskohustustega.
Peenhäälestus võib muuta mudeli konkreetse valdkonna või väljundvormingu jaoks kasulikumaks, kuid see ei lisa automaatselt multimodaalset sisendit, loomupärast tööriistakutsumist, veebotsingut ega suuremat kontekstiakent. Need funktsioonid eeldavad eraldi süsteemikomponente või teistsugust mudelit.
Hinnakujundus ja kasutuskulud
MPT-7B-8K kohta ei tuvastatud praegust esimese osapoole majutatud API hinnakirja ning kontrollitud sisend- ega väljundtokenite hindu ei ole saadaval. Mudelit on kõige õigem käsitleda pärandvara-laadse avatud kaaludega kontrollpunktina, mitte praeguse hallatud API-pakkumisena.
See ei tähenda, et kasutamine oleks tasuta. Kasutajal võib olla vaja tasuda GPU-riistvara, pilveinstantside, salvestusruumi, andmeedastuse, järeldustarkvara, seire ja arendustöö eest. Kulude suhe sõltub sellest, kui sageli mudelit käitatakse ja kas kasutajal on sobiv taristu juba olemas. Isemajututatud mudel võib anda andmete ja teeninduse üle suurema kontrolli, kuid samal ajal jäävad hooldus- ja jõudlusvastutus kasutajale.
Peamised tugevused ja piirangud
MPT-7B-8K peamine tugevus on suhteliselt väikese mudelimahu ja 8192-tokenise kontekstiakna kombinatsioon. Võrreldes algse MPT-7B konfiguratsiooniga annab see rakendustele pikkade dokumentide töötlemiseks rohkem ruumi, ilma et peaks kohe kasutusele võtma palju suurema mudeli. Avatud kaaludega levitamine toetab ka kohalikku katsetamist, kohandatud teenindust ja peenhäälestust.
Selle piirangud on olulised. Tegemist on 2023. aasta mudeliga ning üldiselt jääb see väiksema või sarnase suurusega uuematele avatud kaaludega mudelitele võimekuselt alla. Kuna see on alusmudel, mitte juhiste järgi kohandatud vestlusmudel, võib see vajada hoolikat viibastamist või kohandamist. Kontrollitud mudelispetsiifilist teadmiste lõppkuupäeva ei ole, mistõttu ei tohiks eeldada, et mudel sisaldab ajakohast teavet.
- Kontekst: Kontrollitud piirang on 8192 tokenit ning pikk kontekst ei taga kogu viiba ulatuses täpset teabe leidmist.
- Juhiste järgimine: Alus-kontrollpunkti ei ole spetsiaalselt juhiste järgi kohandatud, mistõttu võib ülesannete täitmise kvaliteet olla ebaühtlane.
- Tööriistad ja ajakohane teave: Loomupärast veebotsingut ja tööriistakutsumist ei ole kontrollitud.
- Modaalsused: Kontrollitud kasutusjuht hõlmab teksti sisendit ja teksti väljundit, mitte pildi-, heli- ega videotöötlust.
- Hallatud teenus: Praeguse esimese osapoole majutatud API saadavust ega hinnakirja ei tuvastatud.
- Teadmiste ajakohasus: Autoriteetset mudelispetsiifilist teadmiste lõppkuupäeva ei leitud.
Millal valida MPT-7B-8K?
MPT-7B-8K on mõistlik valik siis, kui peamine vajadus on avatud kaaludega tekstimudel, mille kontekst on algse MPT-7B omast suurem, eriti katsetamiseks, dokumentide kokkuvõtete koostamiseks, pika kontekstiga küsimustele vastamiseks, teabe eraldamiseks või valdkonnaspetsiifiliseks peenhäälestuseks.
See võib sobida ka projektidele, kus kohalik või kontrollitud juurutus on olulisem kui juurdepääs praegusele majutatud API-le. Ligikaudu 7 miljardi parameetriga mudelit võib olla märksa praktilisem käitada kui oluliselt suuremaid mudeleid, kuigi tegelik kiirus ja maksumus sõltuvad valitud riistvarast ja käituskeskkonnast. Esitatud toimetuslikud hinnangud järeldusvõimele, kodeerimisele, kiirusele ja kulule on hinnangulised, mitte teenusepakkuja avaldatud võrdlustulemused: järeldusvõime 3/10, kodeerimine 4/10, kiirus 6/10 ja kulu 8/10.
Teine võimalus võib olla sobivam, kui rakendus vajab tugevat tänapäevast järeldusvõimet, usaldusväärset juhiste järgimist, ajakohaseid faktiteadmisi, loomupärast multimodaalset sisendit, garanteeritud struktureeritud väljundit, veebotsingut, funktsioonikutsumist või läbipaistva tokenipõhise hinnastusega toetatud hallatud API-t. Uuem juhiste järgi kohandatud või tööriistu toetav mudel võib sellistel juhtudel rakenduse keerukust vähendada, samas kui uuem pika kontekstiga mudel võib pakkuda paremat kvaliteeti siis, kui suure dokumendimahu täpne töötlemine on olulisem kui just selle avatud kaaludega kontrollpunkti kasutamine.
Praktiline kokkuvõte
MPT-7B-8K-d on kõige mõistlikum käsitleda ajaloolise ja kohandatava pika kontekstiga tekstigeneratsioonimudelina, mitte praeguse üldotstarbelise AI-teenusena. Selle peamine praktiline omadus on 8192-tokenine kontekstiaken koos avatud kaalude ja peenhäälestuse toega. Mudel võib olla kasulik kontrollitud katsetes ja dokumendikesksetes töövoogudes, kuid kasutajad peaksid kavandama oma järeldustaristu pakkumise ega tohiks oodata uuemate mudelitega seotud juhiste järgimise, tööriistade toe, multimodaalsuse või praeguse hallatud teenuse kasutuskogemuse taset.