Mis on Dolly v2 7B?
Dolly v2 7B on Databricksi pakutav avatud kaaludega juhiste järgimisele häälestatud keelemudel. „Avatud kaaludega“ tähendab, et treenitud mudelifailid saab alla laadida ja ühilduvas keskkonnas käivitada, selle asemel et pääseda mudelile ligi ainult majutatud teenuse kaudu. See muudab Dolly v2 7B asjakohaseks arendajatele ja teadlastele, kes vajavad kohalikku järeldamist, privaatseid prototüüpe või praktilist kogemust juhiste järgi häälestatud keelemudeliga.
Databricks avaldas mudeli 12. aprillil 2023 Dolly v2 mudeliperekonna osana. Perekonda kuuluvad ka Dolly v2 3B ja Dolly v2 12B, kuid sellel lehel keskendutakse 7B mudelile. Dolly v2 7B põhineb EleutherAI alusmudelil Pythia 6.9B ning seda häälestati täiendavalt ligikaudu 15 000 Databricksi töötajate koostatud juhise ja vastuse näite põhjal.
Häälestusandmestik nimega databricks-dolly-15k hõlmab ajurünnakuid, klassifitseerimist, suletud ja avatud domeeniga küsimustele vastamist, teksti genereerimist, teabe eraldamist ning kokkuvõtete koostamist. Mõnes kategoorias on kasutatud lähtetekste, sealhulgas Wikipediast pärinevat materjali. Andmestikul ja mudelil on eraldi litsentsi- ja viitamistingimused, mistõttu peaksid ärikasutajad enne juurutamist tutvuma kehtiva mudelikaardi ja hoidla tingimustega.
Tehniline profiil ja konteksti piirang
Dolly v2 7B on GPT-NeoX-i põhine põhjuslik keelemudel, millel on ligikaudu 6,9 miljardit parameetrit. Põhjuslik keelemudel genereerib teksti ühe märgi kaupa, kasutades kontekstina eelnevat teksti. Ametlik konfiguratsioon määrab maksimaalseks positsioonipikkuseks 2048 tokenit. Token on mudeli sisemiselt kasutatav tekstiosa ega vasta täpselt ühele sõnale, mistõttu loetava teksti tegelik maht sõltub viiba keelest ja vormindusest.
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | Databricks |
| Mudeliperekond | Dolly v2 |
| Arhitektuur | GPT-NeoX-i põhine põhjuslik keelemudel |
| Parameetrite arv | Ligikaudu 6,9 miljardit |
| Maksimaalne konteksti pikkus | 2048 tokenit |
| Sisendi tüüp | Tekst |
| Väljundi tüüp | Genereeritud tekst |
| Majutatud API hinnastus | Allalaaditava mudeli puhul ei kohaldu |
Esitatud uuringus ei määratleta mudelipõhist maksimaalset väljundtokenite arvu, mis oleks eraldi 2048 tokeni suurusest positsioonipiirangust. Praktikas peavad viip ja genereeritud jätk mahtuma mudeli toetatud järjestuse pikkusesse ning juurutustarkvara seatud piirangutesse.
Mida Dolly v2 7B suudab teha
Dolly v2 7B on peamiselt üldotstarbeline tekstimudel, mis järgib juhiseid. Seda saab kasutada loomulikus keeles päringutele vastuste genereerimiseks, etteantud teksti teisendamiseks ja lihtsa struktureeritud sisu loomiseks. Toetatud ülesannete hulka kuuluvad:
- Lühikeste dokumentide või tekstilõikude kokkuvõtmine
- Teksti klassifitseerimine kasutaja määratud kategooriatesse
- Soovitud faktide või väljade eraldamine tekstist
- Etteantud tekstilõigu kohta küsimustele vastamine
- Ideede, mustandite ja muu kirjaliku sisu genereerimine
- Mõnele avatud domeeniga küsimusele vastamine
Selle peamine praktiline eelis on juurutamise paindlikkus, mitte tipptasemel väljundikvaliteet. Kuna kaalud on allalaaditavad, saab organisatsioon katsetada kohalikku järeldamist, sõltumata Databricksi tokenipõhisest mudeli lõpp-punktist. See võib olla kasulik juhul, kui meeskond soovib hoida viipasid ja väljundeid enda taristus, eeldusel et tal on mudeli käitamiseks vajalikud tehnilised ressursid ja õigused.
Piirangud arutlusvõimes, programmeerimises ja faktilisuses
Databricks on dokumenteerinud, et Dolly mudeliperekond ei esinda tipptaset. Mudelil võib tekkida raskusi süntaktiliselt keerukate viipade, programmeerimise, matemaatiliste tehete, faktilise täpsuse, kuupäevade ja kellaaegade, avatud küsimustele vastamise, hallutsinatsioonide, täpse loendipikkuse, stiili jäljendamise ja huumoriga.
Need piirangud mõjutavad seda, kuidas mudeli väljundit tuleks hinnata. Dolly v2 7B võib sobida umbkaudse kokkuvõtte, klassifitseerimise töövoo mustandi või privaatse eksperimendi jaoks, kuid selle vastuseid ei tohiks automaatselt käsitleda kontrollitud faktidena. Õigus-, finants-, meditsiini-, operatiiv- või muu suure mõjuga teabega seotud rakendused vajavad valideerimist ega tohiks sõltuda mudeli toetamata väidetest.
Ka selle programmeerimis- ja arutlusvõimet tuleks pidada tagasihoidlikuks. Selle kirje juurde kuuluvas toimetuslikus hinnangus on arutlus- ja programmeerimisvõime saanud hindeks 3 kümnest, kuid need on võrdlevad toimetuslikud hinded, mitte Databricksi avaldatud võrdlustestide tulemused. Need näitavad vanema 7B suurusjärgu mudeli kasutamisega kaasnevat kompromissi võrreldes uuema mudeliga, mis on loodud täiustatud arutluse või tarkvaraarenduse jaoks.
Sisend, väljund ja tööriistade tugi
Dolly v2 7B võtab vastu teksti ja toodab teksti. See ei toeta algupäraselt pilte, heli ega videot ning ei genereeri neid meediatüüpe otse. Mudel ise ei paku ka esimese osapoole veebotsingut, funktsioonikutseid, tööriistade kasutamist, struktureeritud väljundi jõustamist ega hallatud majutatud järeldamis-API-t.
Väline tarkvara võib genereeritud teksti rakenduse töövoogu integreerida, kuid see oleks rakenduse tasandi integratsioon, mitte mudeli algupärane võimekus. Seetõttu peaksid arendajad vältima Dolly v2 7B käsitlemist tänapäevaste API-mudelite otsese asendusena, kui need mudelid pakuvad skeemiga piiratud JSON-i, tööriistade väljakutsumist, voogedastusteenuseid või integreeritud otsingut.
Juurutamine, kiirus ja maksumus
Dolly v2 7B on mõeldud ise majutatud või kohandatud järeldamiseks. Databricksi dokumentatsiooni kohaselt saab mudelit käitada A10-klassi GPU-del, samal ajal kui väiksema täpsusega järeldamine võib vähendada mälunõudeid. Hoidlas on dokumenteeritud ka A100 ja V100 GPU-dega seotud konfiguratsioonid. Tegelik kiirus ja mälukasutus sõltuvad riistvarast, täpsusest, pakettide suurusest, tarkvaraversioonidest ja genereerimisseadetest.
Esitatud uuringus ei ole allalaaditava mudeli jaoks pakkuja määratud sisend- ega väljundtokeni hinda. See ei tähenda, et juurutamine oleks tasuta: kasutajatel võivad siiski tekkida kulud GPU-de, salvestusruumi, elektri, majutuse, arenduse, seire ja hoolduse eest. Toimetuslikus kirjes on Dolly v2 7B saanud kiiruse hindeks 5 kümnest ja maksumuse hindeks 9 kümnest. Need on subjektiivsed võrdlevad hinnangud, mitte Databricksi avaldatud mõõtmised. Maksumuse hinnang kajastab majutatud tokenitasude puudumist ja 6,9 miljardi parameetriga mudeli suhteliselt hallatavat suurust, kuid ise majutamisega kaasnevad endiselt taristukulud.
Millal valida Dolly v2 7B?
Dolly v2 7B on mõistlik valik juhul, kui peamine vajadus on allalaaditav juhiseid järgiv mudel katsetamiseks. Sobivate kasutusjuhtude hulka kuuluvad õppeprojektid, privaatsed prototüübid, mudeliuuringud, lihtsam kokkuvõtete koostamine, põhiklassifitseerimine, teabe eraldamine ja lihtsa sisu genereerimine. See võib olla kasulik ka siis, kui kohalik kontroll on olulisem kui parim saadaolev arutlus- või faktiline võimekus.
Valige selle asemel uuem või hallatud mudel, kui rakendus vajab usaldusväärset programmeerimist, matemaatilist arutlust, ajakohaseid faktivastuseid, pikki dokumente, multimodaalset sisendit, algupärast tööriistade väljakutsumist, piiratud struktuuriga JSON-i või majutatud API-ga seotud tootetuge. Suurem või uuem mudel võib pakkuda paremat kvaliteeti, samas kui väiksem spetsialiseeritud mudel võib kindla ülesande korral vajada vähem ressursse. Dolly mudeliperekonnas on 3B ja 12B versioonid asjakohased suuruse võrdluspunktid, kuid esitatud uuringus ei ole nende mudelite üksikasjalikke jõudluse- ega kuluerinevusi kindlaks tehtud.
Üldhinnang
Dolly v2 7B-d tuleks käsitleda pigem ajalooliselt olulise ja ligipääsetava avatud kaaludega juhisemudelina kui tänapäevase tipptasemel süsteemina. Selle ligikaudu 6,9 miljardi parameetriga arhitektuur, allalaaditavad kaalud, ärikasutusele suunatus ja ulatuslik juhiste järgi häälestatud andmestik muudavad selle kasulikuks õppimiseks ja privaatseks katsetamiseks. Selle 2048 tokeni suurune kontekstipiirang, ainult tekstil põhinev ülesehitus, algupäraste tööriistade puudumine ning dokumenteeritud nõrkused arutluses, programmeerimises, matemaatikas ja faktilisuses seavad tootmiskasutusele selged piirid.
Seda tänapäeval hindava meeskonna jaoks on keskne küsimus, kas kohaliku mudeli omamise ja väiksema sõltuvuse eelised majutatud järeldamisest kaaluvad üles uuemate alternatiivide kvaliteedi- ja hoolduseelised. Kui töökoormus on väike ja väljundeid saab üle vaadata, jääb Dolly v2 7B praktiliseks katsemudeliks. Kui täpsus, pikk kontekst, täiustatud arutlus või integreeritud rakendusfunktsioonid on hädavajalikud, on sobivam mõni muu valik.