Mis on MPT-30B?
MPT-30B on 30 miljardi parameetriga, ainult dekooderil põhinev põhjuslik keelemudel MosaicML-i Mosaic Pretrained Transformersi mudelite perest. Ainult dekooderil põhinev mudel genereerib teksti viipana esitatud teksti põhjal ühe märgi kaupa. Baasmudel avaldati 22. juunil 2023 ning seda levitatakse Hugging Face Hubi kaudu avatud kaaludena.
Mudel on mõeldud teksti genereerimiseks, katsetamiseks, kohandatud peenhäälestuseks ja enda hallatavas taristus kasutamiseks. Erinevalt majutatud kommertsmudelist on MPT-30B allalaaditav mudelipakett, mitte teenus, millel oleks kehtiv ametlik märgipõhine hind. Selle käitamiseks on seega vaja sobivat arvutustaristut ja mudelite teenindamise tarkvara ning kasutaja peab ise vastutama juurutamise ja hoolduse eest.
MosaicML sai hiljem Databricksi osaks, mistõttu seostatakse MPT-30B-d tänapäevastes kataloogides ja tootekirjetes Databricksiga. Mudel ise on endiselt MosaicML-i arendatud mudel ning seda ei tohiks segi ajada hiljuti välja antud Databricksi tipptasemel mudeli ega hallatava API-teenusega.
Arhitektuur ja kontekstiaken
MPT-30B kasutab GPT-laadset transformeri arhitektuuri, milles on 48 kihti ja 8192 märgi pikkune kontekst. Kontekstiaken näitab tekstihulka, mida mudel saab ühe päringu jooksul arvesse võtta, sealhulgas viipa ja genereeritud jätku, nagu teeninduslahendus ette näeb. Dokumenteeritud 8192 märgi piir oli avaldamise ajal avatud mudeli kohta võrdlemisi suur, kuid uuemate süsteemide palju pikemate kontekstidega võrreldes on see tagasihoidlik.
Üks tähelepanuväärne arhitektuuriline valik on Attention with Linear Biases ehk tavaliselt ALiBi. See tehnika lisab tähelepanumehhanismi arvutustesse positsiooniga seotud nihke ning MPT-30B-s kasutati seda konteksti pikkuse ekstrapoleerimise toetamiseks. Selline lahendus ei tähenda, et iga juurutus võiks dokumenteeritud konteksti piiri ohutult ületada; rakendused peaksid käsitlema 8192 märki kontrollitud konteksti pikkusena, välja arvatud juhul, kui konkreetse teostuse dokumentatsioon ütleb teisiti.
MPT-30B sisaldab ka FlashAttentioniga seotud tõhususele suunatud funktsioone. Need võivad ühilduvates järeldus- või treeningtöövoogudes parandada tähelepanumehhanismi mälu- ja arvutusomadusi, kuid tegelik kiirus sõltub riistvarast, tarkvaraversioonist, kvantimisest, pakisuurusest ja teeninduse konfiguratsioonist.
Mudel kasutab GPT-NeoX-i laadset baidipaaride kodeeringul põhinevat tokeniseerijat. Varasem mudeli dokumentatsioon märkis, et mudelipaketi laadimine Transformersi kaudu võis nõuda mudelipõhist teostustuge ja usaldusväärse kaugkoodi lubamist, kuna MPT arhitektuur ei kuulunud algselt Transformersi standardteostusse. Mudeli juurutajad peaksid tutvuma kehtivate laadimisjuhistega ning hindama hoidlast pärineva koodi käivitamisega seotud turvariske.
Litsents ja kättesaadavus
MPT-30B baasmudel on loetletud äriliseks kasutamiseks Apache 2.0 litsentsi alusel. Avatud kaaludena levitamine võimaldab organisatsioonil mudeli alla laadida, seda enda hallatavas taristus käitada ja sobiva kasutusjuhtumi jaoks kohandada. See erineb oluliselt majutatud API-st, mille puhul teenusepakkuja käitab mudelit ning küsib kasutuse või tellimuse alusel tasu.
Mudelipakett on saadaval Hugging Face'is asuvas MosaicML-i mudelihoidlas ning selle teostus- ja ökosüsteemitugi on seotud MosaicML-i LLM Foundryga. Failide kättesaadavus ei taga iseenesest, et mudelit on odav või lihtne käitada: 30 miljardi parameetriga mudel võib nõuda palju mälu ja arvutusvõimsust, eriti ilma kvantimise või muu optimeerimiseta.
MPT-30B on ajalooline avatud kaaludega mudel, mitte tänapäevane tipptasemel mudel. Ka selle avaldamiskuupäev tähendab, et mudelilt ei saa eeldada ajakohaseid teadmisi. Olemasolev dokumentatsioon ei kinnita mudelipõhist teadmiste lõike kuupäeva, mistõttu ei tohiks mudelit pidada usaldusväärseks allikaks pärast treeningut toimunud sündmuste või tehniliste arengute kohta.
Võimekus ja toetatud modaalsused
MPT-30B võtab vastu teksti ja toodab teksti. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri neid meediumivorme otse. Seetõttu sobib see tavapäraste keelemudeli töökoormuste jaoks, nagu teksti koostamine, kokkuvõtete tegemine, viipade abil klassifitseerimine, esitatud teksti põhjal küsimustele vastamine ning koodi või proosa jätkamine, arvestades mudeli vanusest ja treeningust tulenevaid piiranguid.
Uuritud allikad ei kinnita baasmudeli loomupärast tööriistakasutust, funktsioonikutseid, veebiotsingut, tegevusväljundit ega hallatavat struktureeritud väljundi liidest. Arendajad võivad enda hallatava keelemudeli ümber rakendusloogika ehitada, kuid see erineb teenusepakkuja dokumenteeritud tööriistaprotokolli või garanteeritud JSON-režiimi olemasolust. Rakendused, mis vajavad usaldusväärselt skeemiga piiratud väljundit, peaksid lisama oma valideerimise ja veakäsitluse või valima uuema mudeli, millel on dokumenteeritud struktureeritud väljundi tugi.
Peenhäälestus on MPT-30B üks praktilisi tugevusi. Kuna kaalusid saab alla laadida ja mudelit saab käitada organisatsiooni kontrolli all, saavad meeskonnad uurida valdkonnaga kohandamist või kohandatud käitumist ilma viipasid majutatud teenusepakkujale saatmata. Peenhäälestus nõuab siiski sobivaid andmeid, arvutusvõimsust, hindamist ja praktilisi teadmisi; avatud kaalud ei kaota neid nõudeid.
Tugevused ja piirangud
Peamised tugevused
- Avatud kaalud: Arendajad saavad mudelipaketi alla laadida ja seda käitada, selle asemel et sõltuda üksnes kaug-API-st.
- Äriliseks kasutamiseks sobiv litsents: Baasmudel on loetletud Apache 2.0 litsentsi alusel, mis võimaldab litsentsitingimustest lähtudes laialdast ärilist kasutust.
- Oma väljalaskeaja kohta kasulik kontekst: 8192 märgi pikkune kontekst oli 2023. aastal avaldatud avatud mudeli kohta võrdlemisi suur.
- Kohandatavus: Enda hallatav taristu ja peenhäälestus annavad juurutuse, andmekäitluse ja mudeli kohandamise üle suurema kontrolli kui suletud majutatud lõpp-punkt.
- Tõhususele keskenduv disain: ALiBi ja FlashAttentioniga seotud funktsioonid olid mõeldud praktiliste treeningu- ja järeldustöövoogude toetamiseks.
Olulised piirangud
- Käitamise kulu: 30 miljardi parameetriga mudelipakett nõuab väiksemate avatud mudelite, sealhulgas MPT-7B-ga võrreldes palju ressursse. Riistvara ja teeninduslahenduse valik mõjutavad oluliselt kiirust ja hinda.
- Pärandtasemel võimekus: MPT-30B pärineb ajast enne paljusid tänapäevaseid parandusi juhiste järgimises, arutlemises, kodeerimises, tööriistakasutuses, pika konteksti töötlemises ja hallatavas juurutuses.
- Praeguse majutatud teenuse hinnastuse puudumine: Allalaaditava baasmudeli ametlikku kinnitatud märgipõhist hinda ei ole. Rahaline kulu seisneb peamiselt taristus, arenduses ja hoolduses, mitte API tariifis.
- Ainult tekstiga töötamine: Baasmudel ei paku loomupärast pildi-, heli- ega videosisendit või -väljundit.
- Kaasaegsete juhtliideste kinnitatud toe puudumine: Esitatud dokumentatsioon ei kinnita loomupärast JSON-režiimi, struktureeritud väljundeid, viipade vahemällu salvestamist, pakett-API kasutust, voogedastust ega teenusepakkuja hallatavaid funktsioonikutseid.
- Teadmised ei ole ajakohased: Mudeli 2023. aasta paiku avaldamine ja dokumenteerimata teadmiste lõike kuupäev muudavad selle väliste allikate ja kontrollimiseta sobimatuks ajakohaste faktide allikaks.
Arutlemine, kodeerimine, kiirus ja kulude kompromissid
MPT-30B on üldotstarbeline keelemudel, mitte spetsiaalne arutlusmudel. See suudab koostada selgitusi ja mitmeastmelist teksti, kuid esitatud uurimus ei kinnita spetsiaalset arutlusrežiimi, arutluskäiku ega tipptasemel arutlusvõimekust. Seetõttu tuleks mis tahes arutlusvõime hindamist käsitleda rakendusepõhise või toimetusliku hinnanguna, mitte teenusepakkuja avaldatud võimekusena.
Sama eristus kehtib kodeerimise kohta. MPT-30B-d saab kasutada koodi genereerimiseks või jätkamiseks, sest see genereerib teksti, kuid olemasolev uurimus ei kinnita ajakohast kodeerimise võrdlustesti tulemust ega spetsialiseeritud kodeerimismudeli staatust. Tarkvaraarenduses kasutamist kaaluvad meeskonnad peaksid hindama oma töökoormuse täpseid programmeerimiskeeli, hoidla konteksti, testide genereerimise vajadusi ja veataluvust.
Selle kiiruse ja hinna profiil erineb majutatud mudelite omast. Enda hallatav juurutus väldib märgipõhiseid API-tasusid ning võib anda kontrolli andmete ja võimsuse üle, kuid mudeli suurus suurendab riistvaranõudeid. Väiksem mudel võib lihtsate ülesannete puhul olla kiirem ja odavam, samas kui uuem majutatud mudel võib kasutustasudest hoolimata pakkuda paremat väljundikvaliteeti või mugavamat skaleerimist. MPT-30B-ga seotud toimetuslikud hinded on hinnangulised, mitte teenusepakkuja ametlikud hinnangud, ning neid ei tohiks käsitleda standardiseeritud võrdlustestidena.
Millal valida MPT-30B?
MPT-30B on mõistlik valik, kui peamine nõue on avatud ja allalaaditav keelemudel, mida organisatsioon saab ise käitada ja kohandada. Sobivate kasutusjuhtude hulka kuuluvad uurimiskatsed, kontrollitud tekstigeneratsiooni teenused, peenhäälestuse uuringud, sisemised prototüübid ja juurutused, mille puhul on viipade ja väljundite hoidmine privaatselt hallatavas taristus olulisem kui uusima saadaoleva mudeli kasutamine.
See võib sobida ka meeskondadele, kes hindavad konkreetselt Apache 2.0 litsentsi ja soovivad MPT-7B-st suuremat MPT-pere mudelipaketti. Suurem parameetrite arv peaks siiski olema töökoormusega põhjendatud: kui väiksem mudel vastab kvaliteedinõuetele, võib see pakkuda paremat kiirust ja väiksemaid taristukulusid.
Millal võib parem olla mõni muu valik?
Uuem ja aktiivselt toetatud mudel on üldjuhul sobivam tootmissüsteemidele, mis vajavad ajakohaseid faktiteadmisi, multimodaalset sisendit, veebiandmetele tuginevat vastuste põhjendamist, usaldusväärset struktureeritud väljundit, loomupärast tööriistakasutust või hallatavaid API-toiminguid. Majutatud mudel võib olla eelistatav ka siis, kui meeskond soovib vältida GPU-de hankimist, mudelite teenindamise hooldust, võimsuse planeerimist ja ühilduvusega seotud tööd.
Väiksem avatud kaaludega mudel võib paremini sobida juhul, kui latentsus, mälukasutus või juurutuse maksumus on olulisem kui 30 miljardi parameetriga mudelipaketi suurem võimekus. Seevastu võib raskete arutlus- või kodeerimisülesannete puhul olla sobivam uuem ja suurem mudel. Need alternatiivid kujutavad endast võimekuse ja käitamise kompromisse, mitte väidet, et MPT-30B-l oleks üks universaalselt parem asendus.
Kokkuvõte
MPT-30B on endiselt kasulik ajalooliselt oluline avatud kaaludega keelemudel, millel on lubav baasmudeli litsents, 8192 märgi pikkune kontekstiaken ning praktiline võimalus mudelit enda taristus käitada ja peenhäälestada. Selle peamine tugevus on kontroll juurutuse ja kohandamise üle. Kõige suuremad puudused on mudeli vanus, ressursinõuded, kinnitatud tänapäevaste API-funktsioonide puudumine, ainult tekstiga töötamine ja ajakohaste teadmiste puudumine. Seda tuleks hinnata 2023. aasta paiku avaldatud allalaaditava mudelipaketina, mitte tänapäevase hallatava tipptasemel teenusena.