Mis on MPT-7B-StoryWriter?
MPT-7B-StoryWriter on MosaicML-i loodud avatud kaaludega, ainult dekooderiga põhjuslik keelemudel, mis kuulub MPT-mudeliperekonda. Praeguse kataloogiteabe kohaselt on selle seotud pakkuja Databricks. Mudel sisaldab ligikaudu 6,7 miljardit parameetrit ja avaldati 5. mail 2023.
Selle peamine eesmärk on pikavormilise ilukirjanduse jätkamine. Selle asemel et toimida peamiselt vestlusabilisena, mis järgib mitmesuguseid juhiseid, ennustab StoryWriter viiba järel tulevat teksti. Sobiv viip võib sisaldada käsikirja mitut peatükki, millele järgneb jaotise pealkiri või jutustav suunis. Seejärel püüab mudel lugu samas üldises kontekstis jätkata.
Mudelit tasub käsitleda spetsialiseeritud uurimis- ja loovkirjutamise kontrollpunktina. See on saadaval allalaaditavate kaaludena, mitte kontrollitud praeguse esimese osapoole hostitud teenusena, millel oleks mudelipõhine märgihinnastamine. Selle kanooniline Hugging Face'i identifikaator on mosaicml/mpt-7b-storywriter.
Pika konteksti võimalused ja konteksti pikkus
Dokumenteeritud mudeli konteksti pikkus on 65 536 tokenit. Token on väike tekstiosa, mida keelemudel kasutab; ühe tokeni esindatud täpne sõnade arv varieerub sõltuvalt keelest ja sisust. Seega on 65 536 tokeni suurune kontekstiaken piisavalt mahukas, et paigutada ühte viipa arvestatav käsikiri või ulatuslik jutustuse ajalugu, kuid kasutatav maht sõltub tokeniseerijast, vormindusest ja soovitud jätkuna genereeritava teksti pikkusest.
StoryWriterit peenhäälestati 2500 sammu jooksul Books3 korpusest pärinevate 65 000 tokeni pikkuste ilukirjanduskatkenditega. Treeningueesmärk jäi järgmise tokeni ennustamiseks, mistõttu õppis mudel teksti jätkama, mitte vastuseid tänapäevase juhiste järgi häälestamise protsessi kaudu koostama.
MPT-mudelid kasutavad tavapäraste õpitud positsioonimanuste asemel Attention with Linear Biases'i, mida lühendatakse sageli ALiBi-ks. See lahendus lisab tähelepanuarvutustesse kaugusega seotud nihke ning seda kasutati pikema konteksti käitumise toetamiseks. MosaicML teatas ligikaudu 68 000 tokeni pikkustest esitlustest ja kuni 84 000 tokenini ulatuvatest testidest kindlaksmääratud riistvara- ja järeldustingimustes. Need arvud pärinevad pakkuja esitatud esitlustest ega ole universaalne garantii. Dokumenteeritud mudeli kontekst jääb 65 536 tokeni juurde ning üle selle piiri töötamisel võivad kvaliteet ja ressursinõuded muutuda.
Mida mudel teha suudab
StoryWriter suudab genereerida jätkuromaane, lühijutte, järjepidevaid ilukirjandustekste ja muid jutustavaid mustandeid. Selle pikk kontekst on eriti kasulik siis, kui viip peab säilitama selliseid üksikasju nagu tegelastevahelised suhted, tegevuspaiga kirjeldused, süžeeliinid või varasemad peatükid.
Kasulikud rakendused on näiteks:
- Poolelioleva romaani või pika loo jätkamine.
- Olemasoleva narratiivse ülesehituse põhjal alternatiivsete stseenide genereerimine.
- Raamatu mõõtkavas keelemudeliviipadega eksperimenteerimine.
- Pikkade ilukirjanduslike lõikude analüüsimine või laiendamine.
- Pika konteksti käitumise uurimine avatud kaaludega mudelis.
Kuna tegemist on põhjusliku lõpetamismudeliga, peab viip tavaliselt sisaldama struktuuri, mille vestlusele optimeeritud mudel muidu ise tuletaks. Näiteks võib käsikiri, millele järgneb pealkiri Chapter 8 või jutustav üleminek, anda mudelile selgema jätkamise sihi kui üksnes lühike juhis.
Piirangud ja kvaliteediga seotud kompromissid
Esitatud dokumentatsiooni kohaselt ei ole StoryWriter juhiste järgi häälestatud ega vestluseks optimeeritud kontrollpunkt. Seetõttu võib see olla otsesele küsimustele vastamisel, mitmevoorulises dialoogis, range vorminduse järgimisel, tööriistade kasutamisel või äriprotsessides vähem usaldusväärne kui tänapäevane juhiseid järgiv mudel. Ilukirjandusele suunatud peenhäälestus ei muuda selle väljundit ka faktitäpsuse mõttes usaldusväärseks.
Mudel ei paku kontrollitud natiivset tuge funktsioonikutsetele, tööriistade kasutamisele, struktureeritud väljundile, veebiotsingule ega multimodaalsele sisendile ja väljundile. See on tekstisisendi ja tekstiväljundiga mudel. Autoriteetses läbi vaadatud materjalis ei ole kontrollitud mudelipõhist teadmiste lõppkuupäeva, mistõttu ei tohiks kasutajad käsitleda seda ajakohase teabe allikana.
Pikkade kontekstidega kaasnevad praktilised kulud. Väga suure viiba töötlemine nõuab rohkem mälu ja arvutusvõimsust kui lühikese viiba töötlemine ning konteksti pikendamine üle dokumenteeritud pikkuse võib vähendada sidusust või suurendada rakendusest sõltuvate probleemide tõenäosust. Esitatud 68 000 ja 84 000 tokeni tulemusi tuleks käsitleda eksperimentaalse konteksti laiendusena, mitte garanteeritud tootmispiiridena.
Toimetuslikud võimekuse hinnangud peavad mudeli arutlus- ja kodeerimiskasutust väheseks, sest tegemist on vanema, ilukirjandusele spetsialiseerunud lõpetamismudeliga, mitte arutlus- või programmeerimiskontrollpunktiga. Need on toimetuslikud hinnangud, mitte pakkuja avaldatud võrdlustestide tulemused. Selle tugevaim suhteline omadus on avatud kaalude ja pika kontekstiga jutustava teksti genereerimise kombinatsioon.
Juurutamine, kättesaadavus ja litsents
MosaicML-i väljalaskedokumentatsiooni kohaselt levitatakse MPT-7B-StoryWriterit allalaaditavate kaaludena Apache 2.0 litsentsi alusel. Seda saab laadida Hugging Face'iga ühilduvate tööriistade abil ja kasutada MosaicML LLM Foundry ökosüsteemis.
Mudeli käitamine lokaalselt või privaattaristus annab kasutajatele juurutamise üle kontrolli ja väldib sõltuvust mudelipõhisest hostitud API-st. Juurutamine nõuab siiski sobivat arvutusvõimsust ja mälu, eriti pikkade viipade korral. Uuringus ei täpsustata üht universaalselt kohaldatavat riistvarakonfiguratsiooni, latentsusnäitajat ega genereeritava väljundi maksimaalset pikkust, mistõttu tuleks need väärtused määrata valitud järeldustarkvara, täpsuse, riistvara ja saadaoleva mälu põhjal.
Selle konkreetse kontrollpunkti kohta ei ole kontrollitud praegust esimese osapoole hostitud API hinnastamist. Seetõttu ei ole võimalik esitada usaldusväärset sisend- ega väljundtokeni hinda. Majanduslik kompromiss seisneb peamiselt allalaaditavate kaalude käitamise taristukulude ja hallatud, ajakohase hostitud mudeli kasutusmugavuse vahel.
Võimekuse kokkuvõte
| Võimekus | Kontrollitud või toimetuslik hinnang |
|---|---|
| Mudeli tüüp | Ainult dekooderiga põhjuslik keelemudel |
| Parameetrid | Ligikaudu 6,7 miljardit |
| Dokumenteeritud kontekst | 65 536 tokenit |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Multimodaalne tugi | Kontrollitud pildi-, heli- või videosisend ja -väljund puudub |
| Tööriistade või funktsioonide kutsumine | Kontrollitud tugi puudub |
| Peenhäälestus | Avatud kaaludega mudelina toetatud, sõltudes valitud tööriistadest ja taristust |
| Litsents | Apache 2.0 |
| Hostitud hinnastamine | Kontrollitud praegune mudelipõhine esimese osapoole API hinnastamine puudub |
| Väljundtokenite maksimum | Esitatud uuringus täpsustamata |
Millal valida MPT-7B-StoryWriter?
Valige MPT-7B-StoryWriter siis, kui peamine vajadus on avatud kaaludega pika kontekstiga tekstilõpetus ilukirjanduse jaoks ja olete valmis juurutuskeskkonda ise haldama. See sobib mõistlikult käsikirja mõõtkavas viipadega eksperimenteerimiseks, ALiBi-põhise konteksti laiendamise uurimiseks või jutustavate jätkude genereerimiseks ilma suletud lähtekoodiga hostitud lõpp-punktile tuginemata.
Selle avatud litsents ja allalaaditav vorm võivad olla kasulikud ka siis, kui kohalik või kontrollitud juurutamine on tähtsam kui juurdepääs uusimatele juhiseid järgivatele funktsioonidele. Mudeli spetsialiseeritus võib olla loovkirjutamise katsetes eelis, kuid seda ei tohiks segi ajada tänapäevase üldotstarbelise abilisega.
Millal võib mõni muu valik olla sobivam?
Usaldusväärseks küsimustele vastamiseks, struktureeritud äriprotsessideks, tööriistade kutsumiseks, kodeerimisabiks või mitmevooruliseks vestluseks sobib tõenäoliselt paremini tänapäevane juhiste järgi häälestatud mudel. Hostitud mudel võib samuti olla eelistatav siis, kui prioriteediks on lihtne juurdepääs, hallatud skaleerimine, prognoositav teenuse toimimine või kasutuspõhine arveldamine, mitte allalaaditavad kaalud.
Faktipõhiseks uurimistööks, ajakohase teabe hankimiseks või viiteid nõudvaks tööks kasutage nende ülesannete jaoks loodud süsteemi ning kontrollige selle teadmisi ja otsingukäitumist. Multimodaalsete rakenduste jaoks valige mudel, millel on selgesõnaline pildi-, heli- või videotugi. Range JSON-i või muude struktureeritud töövoogude korral valige dokumenteeritud struktureeritud väljundi võimalustega mudel, selle asemel et eeldada, et StoryWriter järgib skeemi järjepidevalt.
Kokkuvõte
MPT-7B-StoryWriter paistab endiselt silma dokumenteeritud 65 536 tokeni pikkuse konteksti ja pika ilukirjanduse jätkamisele keskendumise poolest. Selle Apache 2.0 litsentsi alusel levitatavad avatud kaalud muudavad selle praktiliseks katsetamiseks ja kontrollitud juurutamiseks, samal ajal kui ALiBi loob aluse MosaicML-i kirjeldatud pika konteksti käitumisele. Mudeli vanus, juhiste järgi häälestamise puudumine, kontrollitud hostitud hinnastamise puudumine ning dokumenteeritud tööriista- ja multimodaalsete võimaluste puudumine muudavad selle spetsialiseeritud pärandmudeliks, mitte tänapäevaste tootmiskeskkonna üldotstarbeliste abiliste valikuks.