Mis on Dolly v1 6B?
Dolly v1 6B on Databricksi avatud kaaludega kausaalne keelemudel, mis avaldati 24. märtsil 2023. „Kausaalne” tähendab, et mudel genereerib teksti ühe märgi kaupa, kasutades järgmisena tuleva teksti ennustamiseks eelnevat konteksti. Kuue miljardi parameetriga mudel loodi järgima loomulikus keeles antud juhiseid, mitte üksnes lõpetama sisestatud toorteksti.
Databricks lõi Dolly v1 6B mudeli, kohandades EleutherAI GPT-J 6B mudelit täiendõppe abil. Täiendõpe on täiendav treeninguetapp, mille käigus kohandatakse olemasolev mudel konkreetse käitumise jaoks. Sel juhul oli eesmärk muuta GPT-J tundlikumaks viipade suhtes, milles kirjeldatakse ülesannet ja palutakse vastust.
Väljalase oli oluline peamiselt avatud mudeli näitena. Databricks näitas, et vanem ja suhteliselt kompaktne keelemudel võib omandada kasuliku juhiste järgimise võime ilma uue ulatusliku eeltreeninguta. Tänapäeval tuleks Dolly v1 6B-d siiski käsitleda ajaloolise ja haridusliku mudelina, mitte tänapäevaste juhtivate hostitud keelemudelitega võrreldava lahendusena.
Arhitektuur, baasmudel ja treening
Dolly v1 6B sisaldab ligikaudu kuut miljardit parameetrit ning kasutab autoregressiivseks teksti genereerimiseks ainult dekooderiga transformeri arhitektuuri. See põhineb EleutherAI GPT-J 6B mudelil ja kasutab GPT-J tokeniseerijat. Dokumenteeritud konteksti pikkus on ligikaudu 2048 tokenit ehk selline kombineeritud viiba ja ümbritseva teksti hulk, mida mudel saab ühe päringu jooksul arvesse võtta.
Databricks kohandas mudelit ligikaudu 52 000 juhise ja vastuse kirje põhjal Stanfordi Alpaca andmestikus. Treeningunäited hõlmasid mitmesuguseid tavapäraseid juhiste järgimise ülesandeid. Databricksi väljalaskeinfo kohaselt kestis esialgne treeningukatse umbes 30 minutit masinal, millel oli kaheksa NVIDIA A100 40 GB GPU-d, kuigi mudeli dokumentatsioonis kirjeldatud kontrollpunkt hõlmas täiendavaid treeningepohhe.
Need üksikasjad aitavad selgitada nii mudeli atraktiivsust kui ka selle piiranguid. Võrreldes keelemudeli treenimisega algusest peale oli selle treeningukäsitlus suhteliselt sihipärane ja säästlik. Samal ajal ei taga väike juhiste andmestik ja vanem baasmudel uuematelt süsteemidelt oodatavat ulatust, töökindlust ega arutlusvõimet.
Võimekus ja toetatud modaalsused
Dolly v1 6B võtab vastu teksti ja genereerib teksti. See ei toeta pildi-, heli- ega videosisendit ega genereeri otse muud tüüpi meediat. Seetõttu sobib mudel tavapäraste viiba ja vastuse töövoogude jaoks, mitte multimodaalseks analüüsiks ega meedia genereerimiseks.
Dokumenteeritud kasutusjuhtude hulka kuuluvad:
- Juhiste põhine teksti genereerimine
- Ajurünnak ja ideede genereerimine
- Klassifitseerimine
- Teabe eraldamine
- Teksti kokkuvõtete koostamine
- Suletud ja avatud küsimustele vastamine
- Ümbersõnastamine ja ümberkirjutamine
Näiteks võib kasutaja anda mudelile lühikese tekstilõigu ja paluda selle põhjal eraldada nimetatud üksused, teha tekstist kokkuvõtte, liigitada see või kirjutada see ümber teistsuguses stiilis. Samuti võib see olla väike kohalik mudel viibavormingute ja juhiste abil kohandamise uurimiseks.
Neid võimeid ei tohiks tõlgendada usaldusväärsete tulemuste garantiina. Kättesaadavad uuringud nimetavad oluliste piirangutena faktivigu, hallutsinatsioone, korduvaid vastuseid, nõrka matemaatilist arutlusvõimet ja ebausaldusväärset programmeerimisväljundit. Mudel võib genereerida veenvat teksti ka siis, kui see on vale, mistõttu tuleb väljundid kõigi oluliste kasutusjuhtude korral üle vaadata.
Kontekstiaken ja väljundi piirangud
Dolly v1 6B konteksti pikkus on ligikaudu 2048 tokenit. See piirang hõlmab nii viipa kui ka teksti, mis on mudelile genereerimise ajal kättesaadav. Tänapäevaste keelemudelite standardite järgi on see lühike, mistõttu sobib mudel halvasti väga pikkade dokumentide, mahukate vestlusajalugude või ulatuslikku hangitud konteksti nõudvate töövoogude jaoks.
Esitatud mudeliinfos ei ole määratud autoriteetset maksimaalset väljundtokenite arvu. Praktikas piirab saadaolev konteksti maht siiski ühe suhtluse käigus genereeritava teksti hulka, sest viip ja genereeritud jätk jagavad mudeli piiratud kontekstimahtu. Rakendused ei tohiks seega eeldada, et mudel suudab ühe päringuga koostada pikki ja ühtseid dokumente.
Juurutamine ja hinnastamine
Dolly v1 6B avaldati allalaaditavate avatud kaaludena kohalikuks või ise hallatavaks juurutamiseks. Seda saab laadida Transformersi teegi ja Databricksi Dolly repositooriumiga seotud kohandatud genereerimistoru abil. Esitatud teabe kohaselt on mudeli ametlik repositoorium databricks/dolly-v1-6b.
Databricks ei paku selle mudeli jaoks ametlikku hostitud tokenipõhist API-d ega avaldatud sisend- ja väljundtokeni hinda. Seetõttu ei ole korduvat tellimustasu, mida hostitud mudeliplaanidega võrrelda. Rahaline kompromiss sõltub hoopis riistvarast, salvestusruumist, arendustööst ja tööks vajalikest ressurssidest, kui kaalud käitatakse ise.
Selline korraldus võib muuta Dolly v1 6B katsetamiseks soodsaks, kui sobiv riistvara on juba olemas. See ei tähenda, et juurutamine oleks tasuta: kasutaja vastutab endiselt seadistamise, järelduskiiruse, seire, turbe, skaleerimise ja litsentside kontrollimise eest. Mudeli avatud kaalud on seega kõige kasulikumad neile, kes vajavad spetsiaalselt kohalikku kontrolli või soovivad mudelit otse uurida.
Arutlus, kodeerimine ja tööriistade tugi
Dolly v1 6B-d ei ole dokumenteeritud arutlusele spetsialiseerunud mudelina. Selle mudeli kohta esitatud toimetuslikud võimekushinnangud annavad arutlusvõimele madala hinde 2 punkti 10-st ja kodeerimisvõimele samuti 2 punkti 10-st. Need on toimetuse hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Need peegeldavad mudeli vanust, kuue miljardi parameetri suurust, juhiste abil kohandamise meetodit ja dokumenteeritud nõrkusi.
Mudel võib genereerida lihtsat koodi või proovida sooritada sirgjoonelisi arutluskäike, kuid selle programmeerimisväljundit tuleks ilma testimise ja ülevaatuseta pidada ebausaldusväärseks. See ei sobi vaikimisi keerukaks tarkvaraarenduseks, matemaatiliste ülesannete lahendamiseks ega ülesanneteks, kus väikesel fakti- või loogikaveal võivad olla olulised tagajärjed.
Dolly v1 6B ei paku dokumenteeritud tööriistakasutust ega funktsioonikutseid. Samuti ei ole kirjeldatud, et see toetaks loomupäraseid struktureeritud väljundi või JSON-režiimi garantiisid. Kui rakendus nõuab kindlat vormingut, tuleb tulemust valideerida rakenduse koodiga, mitte eeldada, et see vastab sellele järjepidevalt.
Kiiruse, kulude ja kvaliteedi kompromissid
Suhteliselt kompaktse ja kohapeal käitatava mudelina võib Dolly v1 6B olla atraktiivne juhul, kui prioriteet on käituskeskkonna üle kontrolli omamine, mitte vastuste maksimaalne kvaliteet. Esitatud toimetuslikud hinnangud annavad sellele kiiruse hindeks 5 punkti 10-st ja kulude hindeks 9 punkti 10-st. Need on subjektiivsed toimetuse hinnangud, mitte teenusepakkuja mõõdetud võrdlustulemused ega hostitud teenuse hinnatabel.
Kõrge kuluhinne peegeldab hostitud tokenitasude puudumist ja mudeli suhteliselt väikest suurust, kuid kohalikud käitamiskulud sõltuvad endiselt riistvarast ja töökoormusest. Suurem või uuem mudel võib anda paremaid vastuseid, kuid vajada rohkem mälu, arvutusvõimsust või tasulist hostitud teenust. Dolly v1 6B pöörab selle kompromissi vastupidiseks: see pakub suhteliselt kerget avatud mudelit, kuid on tänapäevaste alternatiividega võrreldes märgatavalt vähem töökindel ja võimekas.
Dolly v1 6B koht Databricksi mudelivalikus
Dolly v1 6B oli Databricksi esimene avalik Dolly väljalase. Nüüd on see pärandmudel, mille on välja vahetanud Dolly v2 perekond, kuhu kuuluvad Dolly v2 3B, Dolly v2 7B ja Dolly v2 12B. Need hilisemad väljalasked on Dolly perekonna uurijatele asjakohasemad Databricksi valikud, kuigi esitatud teave ei sisalda nende vahel üksikasjalikku võrdlust võrdlustestide alusel.
See positsioon on oluline, kui mudelit tänapäeval hinnata. Dolly v1 6B võib endiselt olla kasulik varase avatud juhiste abil kohandamise eksperimendi taasesitamiseks, kohaliku kausaalse mudeli laadimise õppimiseks või väikese teksti genereerimise töövoo katsetamiseks. Uue tootmisrakenduse puhul peaks asjaolu, et mudel on välja vahetatud ja seda ei pakuta hallatava Databricksi API-na, olema tugev argument selle vaikimisi mittevalimiseks.
Millal valida Dolly v1 6B?
Vali Dolly v1 6B siis, kui projekt saab konkreetselt kasu avatud kaaludega mudelist, mida saab alla laadida ja enda kontrolli all käitada. Sobivad näited on õppeotstarbelised demonstratsioonid, juhiste abil kohandamise uuringud, kohalikud teksti genereerimise eksperimendid, viibavormingute prototüüpimine ja varaste hostitud vestlusmudelitele alternatiivsete avatud lahenduste ajalooline analüüs.
Selle väike suurus ja kohaliku juurutamise mudel võivad olla atraktiivsed ka juhul, kui tokenipõhise API-arvelduse vältimine on olulisem kui võimalikult tugevate vastuste saamine. See valik on kõige põhjendatum siis, kui inimesed vaatavad väljundid üle ja ülesanded on väikese riskiga.
Teistsugune valik on sobivam juhul, kui vajad usaldusväärseid faktipõhiseid vastuseid, täiustatud arutlusvõimet, töökindlat koodi genereerimist, pika konteksti töötlemist, multimodaalset sisendit või väljundit, struktureeritud tööriistakutseid või hallatavat taristut. Dolly v1 6B sobib halvasti ka rakendustele, mis vajavad ajakohaseid teadmisi, sest autoriteetset mudelipõhist teadmiste lõppkuupäeva ei ole määratud ja mudel põhineb vanematel treeningmaterjalidel.
Piirangud ja lõpphinnang
Dolly v1 6B peamised tugevused on avatud kaalude kättesaadavus, arusaadav treeningulugu, kohaliku juurutamise võimalus ja kasulikkus näitena juhiste abil kohandamisest GPT-J 6B mudeli põhjal. Selle peamised nõrkused on sama selged: ligikaudu 2048 tokeni pikkune kontekstiaken, ametliku hostitud API-hinnastuse ja hallatava juurutamise puudumine, multimodaalse toe puudumine, dokumenteeritud tööriistakutsete puudumine, nõrk arutlus- ja kodeerimisvõime ning kalduvus fakti- ja korduvusvigadele.
Seda mudelit on kõige õigem mõista kompaktse teadus- ja õppeotstarbelise artefaktina. See on endiselt oluline neile, kes uurivad avatud juhiste abil kohandatud keelemudelite arengut, kuid seda ei tohiks esitleda tänapäevase tipptasemel süsteemina. Uute töökoormuste puhul tasub hinnata uuemaid mudeleid, kui kvaliteet, konteksti pikkus, faktiline usaldusväärsus, programmeerimisvõime või operatiivne tugi on olulisemad kui kohalik katsetamine ja juurdepääs avatud kaaludele.