Mis on Dolly v2 3B?
Dolly v2 3B on Databricksi avatud kaaludega põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti ühe märgi kaupa, kasutades järgmisena tuleva teksti ennustamiseks eelnevat teksti. Praktikas tähendab see, et mudel võtab vastu ingliskeelse juhise või küsimuse ning koostab sellele tekstilise vastuse.
Mudel sisaldab ligikaudu 2,8 miljardit parameetrit ja põhineb EleutherAI Pythia-2.8B baasmudelil. Databricks kohandas seda täiendõppega ligikaudu 15 000 juhise-vastuse näite põhjal, mida nimetatakse databricks-dolly-15k-ks. Näited hõlmavad ajurünnakuid, klassifitseerimist, suletud küsimustele vastamist, teksti genereerimist, teabe eraldamist, avatud küsimustele vastamist ja kokkuvõtete koostamist.
Dolly v2 3B-d tuleks käsitleda pigem allalaaditava mudeli kontrollpunkti kui majutatud vestlusroboti või tänapäevase üldotstarbelise API-tootena. Selle kaalud on saadaval databricks/dolly-v2-3b hoidlas, mis võimaldab arendajatel mudelit oma taristul käitada, uurida, kvantida, kohandada või teenusena pakkuda.
Dolly mudelite perekonnas
Dolly v2 3B kuulub Databricksi avatud mudelite Dolly perekonda ja on nüüdseks pärandmudel. Selle peamine tähtsus seisneb kättesaadavuses: see pakub suhteliselt väikest juhiste järgi kohandatud kontrollpunkti, mida saab kasutada ilma Databricksi hallatavast järeldus- ehk inferentsiotsast sõltumata.
Seda ei tohiks hinnata tänapäevase tipptasemel mudelina. Esitatud uuringus ei tuvastatud selle kontrollpunkti jaoks esimese osapoole hallatavat API-t, veebiotsingu integratsiooni ega teenusepakkuja hallatavat märgipõhist arveldamist. Seega valivad Dolly v2 3B kasuks otsustavad arendajad kohaliku kontrolli ja väiksema taristuvajaduse, loobudes mugavusest, ajakohasest teadmusest, hallatud töökindlusest ja täiustatud võimalustest, mida tavaliselt pakuvad uuemad majutatud mudelid.
Tehnilised andmed
Avaldatud konfiguratsioon määratleb Dolly v2 3B kui GPT-NeoX-i põhjusliku keelemudeli. Selle 2048 märgi pikkune maksimaalne positsioonipikkus piirab seda, kui palju viipa ja vestlusajalugu saab ühes kontekstis töödelda. See on piisav lühikeste juhiste ja väikeste dokumentide jaoks, kuid piirav pikkade aruannete, ulatuslike vestluste, suurte otsingutulemuste ja koodibaaside puhul.
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | Databricks |
| mudeli identifikaator | databricks/dolly-v2-3b |
| Väljalase | Aprill 2023 |
| Mudeli olek | Pärandvara hulka kuuluv avatud kaaludega mudel allalaaditavaks ja isehostitavaks inferentsiks |
| Arhitektuur | GPTNeoXForCausalLM |
| Parameetrite arv | Ligikaudu 2,8 miljardit |
| Baasmudel | EleutherAI Pythia-2.8B |
| Täiendõppe andmed | Ligikaudu 15 000 juhise-vastuse kirjet |
| Konteksti pikkus | 2048 märki |
| Sisend | Ingliskeelne tekst |
| Väljund | Genereeritud tekst |
| Väljundi maksimaalne märgikogus | Esitatud uuringus ei ole täpsustatud |
Algse kontrollpunkti konfiguratsioon määrab kaalude formaadiks bfloat16. Tegelik mälukasutus ja genereerimise jõudlus sõltuvad teenindustarkvarast, riistvarast, täpsusest ja operaatori rakendatud kvantimisest.
Võimalused ja tugevused
Dolly v2 3B suudab järgida lihtsaid loomulikus keeles antud juhiseid ja genereerida vastuseid kergemate keeleülesannete jaoks. Sobivate näidete hulka kuuluvad lühikese teksti kokkuvõtmine, teksti liigitamine väikesesse kategooriate hulka, nimeliste üksikasjade eraldamine, ideede genereerimine, lihtsale küsimusele vastamine või lühikese teksti koostamine soovitud vormingus.
Selle peamine praktiline tugevus on juurutatavus. Kuna kontrollpunkti saab alla laadida, ei pea arendajad saatma viipasid Databricksi teenusesse ega maksma teenusepakkujale iga genereeritud märgi eest. Suhteliselt väike mudel muudab selle kohalike katsetuste jaoks paremini kättesaadavaks kui märksa suuremad mudelid, eriti vähendatud täpsuse või kvantimise kasutamisel.
Avatud kaalud võivad olla väärtuslikud siis, kui meeskond soovib uurida mudeli käitumist, katsetada viipade koostamise meetodeid, luua õppeprojekti või uurida kohandamist. Täiendõpe on võimalik, kuna kaalud on saadaval, kuigi uuringus ei tuvastatud Dolly v2 3B jaoks Databricksi hallatavat täiendõppeteenust.
Arutlemise, kodeerimise ja kvaliteedi piirangud
Databricks ei kirjelda Dolly v2 3B-d tipptasemel mudelina. Mudeli dokumentatsioonis mainitakse probleeme süntaktiliselt keerukate viipade, programmeerimise, matemaatiliste tehete, faktitäpsuse, kuupäevade ja kellaaegade, avatud küsimuste, hallutsinatsioonide, täpselt määratud pikkusega loendite genereerimise, stiili jäljendamise, huumori ja teatavat liiki kirjade kirjutamisega.
Need piirangud mõjutavad seda, kuidas mudelit tuleks kasutada. Mudel võib anda usutavana kõlava vastuse ka siis, kui tal puudub õigeks vastamiseks vajalik teave. Seda ei tohiks pidada autoriteetseks allikaks päevakajaliste sündmuste, kuupäevade, arvutuste ega erialase faktipõhise uurimistöö puhul. Esitatud uuring ei määra kindlaks konkreetse kontrollpunkti autoriteetset teadmiste lõppkuupäeva; juhiste andmete koostamisega seotud kuupäevi ei tohiks tõlgendada mudeli täieliku eeltreeningu teadmiste lõppkuupäevana.
Esitatud mudeliandmetes toodud arutlemise ja kodeerimise hinnangud on toimetuslikud hinnangud, mitte Databricksi võrdlustestid. Arutlemisele antakse hindeks 3 punkti 10-st ja kodeerimisele 2 punkti 10-st. Need hinnangud on kooskõlas mudeli kasutamisega lihtsate teisenduste ja põhiliste juhiste järgimise jaoks, kuid mitte usaldusväärseks mitmeastmeliseks arutlemiseks, tarkvaraarenduseks või matemaatiliseks tööks.
Modaalsused, tööriistad ja API tugi
Dolly v2 3B toetab ainult tekstisisendit ja tekstiväljundit. See ei võta algupäraselt vastu pilte, heli ega videot ning ei loo pildi-, heli-, video-, muusika-, manustamis- ega kõneväljundit. Mudeli dokumentatsioonis ei ole märgitud sisseehitatud veebiotsingu, funktsioonikutsete ega tööriistade kasutamise tuge.
Kohalikud teenindusraamistikud võivad pakkuda mugavusi, näiteks genereeritud teksti voogedastust, kuid see on ühilduva inferentsitööriista omadus, mitte Databricksi hallatava API funktsioon. Esitatud andmetes märgitakse, et voogedastus on kohalike genereerimistööriistade kaudu saadaval, kuid teenusepakkuja hallatavat voogedastus-API-t ei ole dokumenteeritud.
Kiirus, kulu ja hinnastamine
Allalaaditaval Dolly v2 3B kontrollpunktil ei ole ametlikku sisend- ega väljundmärgi hinda. Selle asemel maksab operaator mudeli käitamiseks kasutatavate ressursside eest, näiteks GPU- või CPU-aja, salvestusruumi, elektri ja teenindustaristu eest. Lõplik kulu sõltub riistvarast, täpsusest, kvantimisest, liiklusest ja valitud inferentsivirnast.
Mudeli toimetuslik kiirusehinne on 7 punkti 10-st ja kuluhinne 9 punkti 10-st. Need on subjektiivsed võrdlevad hinnangud, mitte teenusepakkuja avaldatud mõõtmised. Need kajastavad väiksema isehostitava mudeli tõenäolist eelist suuremate mudelite ees ressursivajaduse seisukohalt, kuid ei taga kindlat märki sekundis määra ega kogu käituskulu.
Kohalik juurutamine võib olla katkendlike katsetuste korral odav, kuid majutatud mudel võib muutuda kulutõhusamaks, kui meeskond peaks muidu hooldama töökindlat riistvara, seiret, skaleerimist, turvet ja käideldavust. Seega on Dolly v2 3B mudeli otsene hind madal, kuid omamise kogukulu ei pruugi olla null.
Parimad kasutusjuhud
- Juhiste järgi kohandatud keelemudelite tööpõhimõtete õppimine.
- Kohalikud inferentsikatsed tagasihoidliku riistvaraga.
- Viipade koostamise ja mudeli käitumise uurimine.
- Lühikesed ingliskeelsed kokkuvõtete, klassifitseerimise, eraldamise ja ajurünnaku ülesanded.
- Projektid, mis vajavad allalaaditavaid kaalusid või võrguühenduseta laadset isehostitavat kasutust.
- Kvantimise, täiendõppe ja kohandatud teenindustorustike uurimine.
Nende kasutusjuhtude puhul võib kontrollpunkti juhtimise võimalus olla olulisem kui parima võimaliku vastusekvaliteedi saavutamine. Mudel sobib eriti hästi siis, kui ülesanne on lühike, keel on inglise keel ning inimene või järgnev töötlusprotsess saab väljundit kontrollida.
Millal valida Dolly v2 3B?
Vali Dolly v2 3B siis, kui avatud kaalud, kohalik käitamine, hariduslik väärtus või taristu üle kontrolli omamine on keskse tähtsusega nõuded. See võib olla mõistlik lähtekoht väikesele kontseptsiooni tõestusele, kus mudeli vastuseid kontrollitakse ja rakendus ei vaja ajakohast teavet.
Uuem majutatud mudel on üldiselt sobivam siis, kui rakendus vajab tugevat arutlemist, usaldusväärset kodeerimist, matemaatikat, pika konteksti töötlemist, ajakohaseid teadmisi, hallatud skaleerimist, veebiotsingut, tööriistade kasutamist või tootmiskeskkonna tasemel turvakontrolle. Kui isehostimine on vajalik, kuid Dolly v2 3B kvaliteedipiirangud ei ole vastuvõetavad, võib eelistada ka suuremat või uuemat avatud kaaludega mudelit. Esitatud uuringus ei tuvastatud konkreetset järglasmudelit ega esitatud võrdlusteste, mistõttu tuleks sellist valikut kontrollida rakenduse enda viipade ja hindamiskogumi põhjal.
Juurutamise ja litsentsimisega seotud kaalutlused
Mudelit saab lokaalselt laadida Transformersi teegi abil, kasutades selle hoidlas kirjeldatud kohandatud juhiste genereerimise torustikku. Algsetes näidetes tuleb usaldada hoidlas olevat kaugkoodi ning mälunõuete vähendamiseks soovitatakse võimaluse korral laadida mudel vähendatud täpsusega.
Databricks kirjeldab Dolly v2 3B-d kui äriliselt kasutatavat mudelit, millele kehtib mudelihoidlaga avaldatud litsents. Enne levitamist või ärilist juurutamist vaadake üle täpne hoidla litsents, mudeli tingimused, sõltuvuste litsentsid ja kavandatud kasutusega seotud kohustused. Kuna mudelit majutatakse ise, vastutab juurutav organisatsioon ka juurdepääsukontrolli, seire, väljundi ülevaatamise ja töökindluse eest.
Dolly v2 3B on endiselt kasulik näide ligipääsetavast juhiste järgi kohandatud avatud kaaludega mudelist, kuid selle roll on spetsialiseeritud. See sobib kõige paremini kompaktseks ja kontrollitavaks mudeliks kohalike katsetuste ning kergekaalulise tekstigenereerimise jaoks, mitte tänapäevaste hallatud, pika kontekstiga või tipptasemel süsteemide asendajaks.