MPT-30B-Chat

Mis on MPT-30B-Chat?

MPT-30B-Chat on vestluslik keelemudel, mis põhineb MosaicML-i MPT-arhitektuuril. Mudelil on ligikaudu 30 miljardit parameetrit ehk õpitud arvväärtust, mida kasutatakse teksti genereerimiseks. Mudeli suurus paigutab selle väljalaskeperioodi kohta suurte mudelite kategooriasse, samas kui vestluseks kohandatud peenhäälestus eristab seda üldotstarbelisest MPT-30B alusmudelist.

MosaicML avaldas MPT-30B-Chat-i 22. juunil 2023. aastal. Hiljem omandas MosaicML-i Databricks, mistõttu on praeguses kataloogi- ja omandikontekstis seotud pakkuja Databricks. Kontrollpunkti levitatakse avatud kaaludega mudelina, mitte praegu kontrollitud ja üldiselt kättesaadava Databricksi API-tootena.

Mudeli eesmärk on lihtne: tekstilise vestluse või juhise põhjal genereerib see tekstilise vastuse. See sobib eriti hästi katseteks, mis hõlmavad assistendilaadset dialoogi, interaktiivset küsimustele vastamist ja muid rakendusi, kus arendaja kontrollib mudeli käituskeskkonda.

Milline on selle koht praeguses kataloogis?

MPT-30B-Chat-i tuleks käsitleda pigem pärandina avatud kaaludega mudelina kui praeguse tipptasemel tootena. Esitatud kataloogiteave ei kinnita selle konkreetse mudeli praegust kättesaadavust Databricksi hostitud API kaudu ning hostitud järelduse tegemise kohta ei ole kinnitatud ametlikku hinda. See eristus on oluline, sest avatud kaaludega kontrollpunkt ja hallatav mudeli-API tähendavad erinevaid juurutamise kohustusi.

Avatud kaaludega mudeli puhul peab käitaja üldjuhul korraldama järelduskeskkonna, mudeli teenindamise, turvakontrollid, seire, skaleerimise ja hoolduse. Selle lehe jaoks tehtud uurimus ei kinnita MPT-30B-Chat-i praegust Databricksi hallatavat lõpp-punkti. Seetõttu ei tohiks eeldada, et mudeli saab praeguse Databricksi API kaudu lihtsalt kasutusele võtta üksnes seetõttu, et Databricks on MosaicML-iga seotud.

Põhispetsifikatsioonid

Token on mudeli kasutatav tekstiühik; see võib tähistada tervet sõna, sõnaosa, kirjavahemärki või tühikuga seotud tekstiosa. 8192 tokeni suurune kontekstiaken hõlmab vestlust ja muud mudelile esitatud teksti koos genereeritud vastusega. Uurimus ei esita eraldi maksimaalset väljundtokenite piirangut, mistõttu ei tohiks eeldada täpset väljundi ülempiiri peale üldise kontekstipiirangu ja valitud teeninduslahenduse käitumise.

Vestlus ja toetatud modaalsused

MPT-30B-Chat on ainult tekstipõhine. See võtab vastu tekstisisendi ja genereerib tekstilise väljundi; esitatud spetsifikatsioonides ei nimetata pildi-, heli-, video-, muusika-, manustamis-, kõne- ega muid mittetekstilisi väljundeid. Seetõttu ei sobi see multimodaalsete assistentide aluseks, kui need peavad pilte analüüsima, salvestisi kuulama, meediat genereerima või kõnelisi vastuseid andma.

Vestluseks kohandatud peenhäälestus on mõeldud aitama mudelil vastata mitmevoorulises dialoogis, mitte üksnes lõpetada eraldiseisvat teksti. Praktikas esitaks rakendus asjakohase vestlusajaloo tekstina. Kuna see ajalugu kasutab osa kontekstist, vähendavad pikad vestlused, ulatuslikud juhised või suured kleebitud dokumendid uue vastuse jaoks jäävat ruumi.

Võimekus ja praktilised kompromissid

Mudeli peamine tugevus seisneb avatud kaalude, vestluseks kohandatud peenhäälestuse ja 2023. aasta paiku avalikult levitatud kontrollpunkti kohta suhteliselt suure parameetrite arvu kombinatsioonis. Need omadused muudavad selle kasulikuks, kui meeskond soovib uurida mudeli käitumist, käitada kontrollitud lokaalset või privaatset juurutust või kohandada vestlusmudelit, selle asemel et sõltuda täielikult kolmanda osapoole järelduse lõpp-punktist.

Selle lehe jaoks esitatud toimetuslikus hinnangus sai MPT-30B-Chat arutlusoskuse hindeks 4, kodeerimisoskuse hindeks 5, kiiruse hindeks 4 ja kuluhindeks 6. Need on toimetuslikud võrdlevad hinnangud, mitte pakkuja avaldatud võrdlustulemused. Neid tuleks käsitleda suunavate hinnangutena: mudel saab hakkama tavapäraste arutlus- ja kodeerimisjuhistega, kuid hinded ei tõesta kindlat täpsuse, viivituse ega kulu taset konkreetses juurutuses.

Selle kiiruse- ja kuluprofiil sõltub suurel määral käitaja kasutatavast riistvarast ja teenindussüsteemist. 30 miljardi parameetriga mudel vajab üldjuhul oluliselt rohkem mälu ja taristut kui väike keelemudel, samas kui ise hostimine võib pakkuda kontrolli andmete ja kasutusökonoomika üle. Esitatud uurimus ei sisalda võrdlusandmeid viivituse, riistvaranõuete ega tokenipõhise hinna kohta, mistõttu ei saa kinnitatud teabe põhjal täpseid kuluvõrdlusi arvutada.

Arutlus, kodeerimine ja tööriistade tugi

MPT-30B-Chat on üldotstarbeline vestlusmudel, mitte eraldi dokumenteeritud arutlusmudel. See võib genereerida selgitusi, kokkuvõtteid ja samm-sammulisi vastuseid, kuid olemasolev uurimus ei kinnita spetsiaalset arutluskoolitust, formaalset mõttekäigu avaldamise käitumist ega keerukate matemaatiliste või analüütiliste ülesannete võrdlustulemusi.

Seda võib kasutada programmeerimisaruteludes ja koodi genereerimisel ning selle toimetuslik kodeerimishinne on 5. See hinne on sisemine võrdlev hinnang, mitte mõõdetud pakkuja väide. Arendajad peaksid testima oma rakenduse jaoks olulisi konkreetseid keeli, raamistikke ja ülesandetüüpe, mitte käsitlema hinnet tootmiskõlbliku koodi töökindluse tõendina.

Selle mudeli tööriistakasutuse ega funktsioonikutsete võimekust ei ole kinnitatud. Ümbritsev rakendus võib potentsiaalselt tõlgendada genereeritud teksti ja ühendada selle välise tarkvaraga, kuid see oleks rakenduskihi lahendus, mitte dokumenteeritud loomupärane tööriistaliides. Samuti ei ole kinnitatud esimese osapoole veebotsingu võimekust. Ei tohiks eeldada, et mudel hangib internetist ajakohast teavet.

Peenhäälestus ja kohandamine

Esitatud mudelikirje märgib, et peenhäälestus on toetatud. Selles kontekstis sobib MPT-30B-Chat uurimis- või kohandamisvoogudesse, kus käitaja kohandab avatud mudelit konkreetse vestlusstiili või valdkonnaga. Uurimus ei täpsusta soovitatavat peenhäälestusmeetodit, andmestiku suurust, riistvarakonfiguratsiooni ega kvaliteedi paranemist, mistõttu tuleb rakendusotsuseid kontrollida sõltumatute testidega.

Peenhäälestus ei kõrvalda ka mudeli litsentsi- ega ohutuspiiranguid. Kohandatud kontrollpunktile kehtivad endiselt asjakohased tingimused ning vastamisstiili muutmine ei taga faktilist täpsust, väiksemat kallutatust ega ohutut käitumist.

Piirangud, litsents ja ohutus

Kõige olulisem praktiline piirang on mudelikataloogis märgitud mitteärilise kasutuse litsentsistaatus. See muudab MPT-30B-Chat-i uue ärilise toote jaoks halvasti sobivaks, välja arvatud juhul, kui litsentsi sobiv muutus või eraldi luba on kinnitatud. Organisatsioonid peaksid kavandatud kasutuse jaoks üle vaatama tegelikud litsentsitingimused ja küsima õigusnõu, mitte tuginema üksnes lühikesele kataloogimärkusele.

Mudelikaart hoiatab, et väljundid võivad ilma täiendavate kaitsemeetmeteta olla faktiliselt valed, kallutatud, solvavad või muul viisil ebaturvalised. Need ei ole generatiivsete keelemudelite puhul ebatavalised riskid, kuid eriti olulised on need siis, kui ise hostitud mudel paigutatakse otse kasutajate ette. Tootmissüsteemid vajaksid sisendi- ja väljundikontrolle, seiret, väärkasutuse käsitlemist, testimist tüüpiliste juhistega ning tundlike kasutusjuhtude jaoks võimalust kaasata inimene.

Selle konkreetse MPT-30B-Chat-i kontrollpunkti autoriteetset teadmiste lõppkuupäeva ei ole kinnitatud. Kuna ka veebotsingu võimekust ei ole dokumenteeritud, ei tohiks mudelile toetuda jooksvate sündmuste, reaalajas hindade, muutuvate õigusnormide ega muu ajakohast hankimist nõudva teabe puhul.

Hinnastamine ja API kättesaadavus

MPT-30B-Chat-i praegust ametlikku hostitud API hinda ei ole kinnitatud. Mudelikirje märgib nii sisendi- kui ka väljundihinna kättesaamatuks ning ei kinnita selle konkreetse kontrollpunkti praegust Databricksi lõpp-punkti. Seetõttu ei ole usaldusväärset miljoni tokeni hinda ega tellimuse maksumust, millest teatada.

Ise hostitud juurutuse puhul seisneb asjakohane kulu pigem taristus ja käitamises kui avaldatud tokenitariifis. See võib hõlmata arvutusressursse, mälu, salvestusruumi, võrguühendust, arendust, seiret ja hooldust. Uurimus ei sisalda nende kulude täpseks hindamiseks piisavalt teavet. Mudelit kaaluv meeskond peaks mõõtma kavandatud riistvaral läbilaskevõimet ja ressursikulu ning kontrollima samal ajal, kas litsents lubab kavandatud kasutust.

Millal valida MPT-30B-Chat?

MPT-30B-Chat on kõige põhjendatum valik siis, kui projekt vajab avatud kaaludega vestluslikku kontrollpunkti teadusuuringuteks, hariduseks, kontrollitud katsetamiseks või pärandtekstivestluse rakenduseks. See võib sobida ka juhul, kui käitaja väärtustab juurutuse üle kontrolli ja on valmis teeninduskeskkonda iseseisvalt haldama.

• Vali see järgmistel juhtudel: ise hostitud vestluskatseteks, avatud keelemudelite uurimiseks, pärandvestlussüsteemideks ja interaktiivseks teksti genereerimiseks, kui 8192-tokenine kontekst on piisav.
• Kaalu mõnda muud võimalust järgmistel juhtudel: uute äriliste toodete, praeguse hallatava API, sisseehitatud veebiotsingu, loomupärase tööriistakutsumise, multimodaalse sisendi või väljundi või dokumenteeritud teadmiste lõppkuupäeva ja pakkuja praeguse toe vajaduse korral.
• Kasuta täiendavaid kaitsemeetmeid järgmistel juhtudel: meditsiiniliste, õiguslike, finantsiliste, ohutuskriitiliste, avalikkusele suunatud või suure mõjuga otsuste puhul, sest mudeli väljundid võivad olla ebatäpsed, kallutatud, solvavad või ebaturvalised.

Võrreldes väiksemate tekstimudelitega võib MPT-30B-Chat pakkuda vestluskatseteks suuremat võimekust, kuid selle käitamiseks võib vaja minna rohkem ressursse. Võrreldes praeguste hallatavate mudelitega pakub see avatud kaalude kaudu suuremat kontrolli, kuid sellel puuduvad aktiivselt hooldatavalt API-tootelt eeldatavad kinnitatud hostitud teenuse funktsioonid, selge hinnastamine ja praegune tugi. Seega ei sõltu õige valik üksnes parameetrite arvust, vaid pigem litsentsist, juurutuse omanikust, ohutusnõuetest ja sellest, kas rakendus vajab tekstigenereerimisest enamat.

Kokkuvõte

MPT-30B-Chat on MosaicML-i ajalooliselt oluline avatud kaaludega vestlusmudel, mis on nüüd seotud Databricksiga. Sellel on ligikaudu 30 miljardit parameetrit ja 8192-tokenine kontekstiaken. Tekstipõhine ülesehitus ja vestluseks kohandatud peenhäälestus muudavad selle arusaadavaks ja kasulikuks kontrollitud dialoogikatsetes. Samas piiravad selle praktilist rolli oluliselt mitteäriline staatus, pärandmudeli positsioon, kinnitatud hostitud API-hinna puudumine, dokumenteeritud tööriista- ja veebotsingu toe puudumine ning teadaolevad ohutuspiirangud. Enamiku uute juurutuste puhul tuleks seda hinnata teadus- või pärandvalikuna, mitte eeldada, et tegemist on praeguse ärilise mudeliteenusega.