Dolly v2 12B

Mis on Dolly v2 12B?

Dolly v2 12B on Databricksi loodud 12 miljardi parameetriga avatud kaaludega põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades järgmist tokenit ehk järgmist väikest tekstiosa selle põhjal, mis sellele eelnes. Seetõttu saab mudelit kasutada tavapärasteks tekstigenereerimise ülesanneteks, näiteks küsimustele vastamiseks, tekstilõikude kokkuvõtmiseks, tekstide koostamiseks ja kirjalike juhiste järgimiseks.

Tähis „12B“ viitab ligikaudu 12 miljardile mudeli parameetrile. Parameetrid on mudeli õpitud arvulised väärtused, mida kasutatakse mustrite äratundmiseks ja väljundite loomiseks. Suurem parameetrite arv ei taga automaatselt paremaid tulemusi, kuid annab kasuliku ettekujutuse mudeli suurusest ja selle käitamiseks vajalikest arvutusressurssidest.

Databricks avaldas Dolly v2 12B 12. aprillil 2023. See põhineb mudelil EleutherAI Pythia-12B ning seda kohandati juhiste järgimiseks ligikaudu 15 000 Databricksi töötajate koostatud juhise ja vastuse näite abil. Juhiste järgi kohandamine on täiendav treeninguetapp, mille käigus õpetatakse eeltreenitud mudelit kasutajate päringutele otse vastama, mitte lihtsalt teksti jätkama.

Pakkuja ja praegune positsioon

Pakkuja on Databricks ning Hugging Face’is on mudeli kanooniline identifikaator databricks/dolly-v2-12b. Esitatud uuringu põhjal ei ole Dolly v2 12B praegu Databricksi majutatav API-mudel. Seda on täpsem käsitleda pärandmudelina, mida saab alla laadida ja iseseisvalt käitada.

See erinevus on kättesaadavuse hindamisel oluline. Mudelit saab endiselt avalikult alla laadida selle Hugging Face’i hoidlast ning ametlikku sulgemiskuupäeva ei leitud. Kaalude allalaadimine ei taga siiski hallatud järeldamist, automaatset skaleerimist, käideldavusgarantiid ega tavapärast majutatud mudeli hinnastust. Kasutaja vastutab järeldamiseks vajaliku keskkonna ja arvutusressursside eest.

Peamised tehnilised andmed

2048 tokeni pikkune kontekst põhineb Pythia mudelist tuletatud konfiguratsioonil. Token on väike tekstiosa, mistõttu ei vasta see piirang 2048 sõna piirangule. Praktikas jagavad sisendviip ja genereeritud lõpetus mudeli kasutatavat konteksti, kuid esitatud allikad ei määratle eraldi täpset genereerimise maksimaalset seadistust.

Mida Dolly v2 12B suudab teha?

Dolly v2 12B on loodud juhiste järgimiseks ja teksti genereerimiseks. Sobivate ülesannete hulka kuuluvad lühikeste tekstilõikude koostamine, lihtsatele küsimustele vastamine, kokkuvõtete tegemine, teksti ümberkirjutamine ning vestlusliku või assistendilaadse käitumise uurimine kontrollitud keskkonnas. Kuna kaalud on kättesaadavad, saavad arendajad uurida ka mudeli sisemist toimimist, kohandada seda konkreetse andmestikuga või katsetada täiendavat juhiste järgi kohandamist.

Selle avatud kaaludega mudeliks olemine on eriti kasulik organisatsioonidele, kes soovivad mudeli käitamise üle otsest kontrolli. Iseseisvalt majutatud juurutust saab suletud majutatud teenusest otsesemalt uurida ja kohandada. Avaldatud treeningukood ja andmestik muudavad Dolly kasulikuks ka juhiste järgi kohandamist ja avatud keelemudelite arendamist käsitlevates õppetööprojektides.

Neid eeliseid ei tohiks segi ajada tipptasemel võimekusega. Databricksi enda dokumentatsioon toob välja mudeli nõrkused keerukate viipade, programmeerimise, matemaatiliste tehete, faktitäpsuse, kuupäevade ja kellaaegade, avatud küsimustele vastamise, loendite koostamise, stiili jäljendamise ning hallutsinatsioonide kontrollimise puhul. Hallutsinatsioon on väljund, mis kõlab usutavalt, kuid millel puudub alus või mis on vale. Seetõttu tuleks väljundid enne faktiliste, finantsiliste, operatiivsete või ohutusega seotud otsuste tegemisel kasutamist üle kontrollida.

Modaalsused, tööriistad ja arutlusvõime

Dolly v2 12B töötab ainult tekstiga. See võtab vastu tekstisisendi ja loob tekstiväljundi; esitatud tehnilised andmed ei viita pildi-, heli-, video-, muusika-, manustamis- ega muule mittetekstilisele väljundile. Samuti ei ole dokumenteeritud sisseehitatud veebotsingu, funktsioonikutsete ega tööriistade kasutamise tuge.

Mudel võib luua arutlusele või samm-sammulisele selgitusele sarnanevat teksti, kuid sellel ei ole dokumenteeritud spetsiaalset arutlusrežiimi. Esitatud toimetusliku hinnangu kohaselt on selle arutlusvõime 3 punkti 10-st ja kodeerimisvõime 2 punkti 10-st. Need on võrdlevad toimetuslikud hinded, mitte pakkuja avaldatud võrdlustestide tulemused. Need kajastavad mudeli praktilisi piiranguid, mitte Databricksi ametlikku toimivusgarantiid.

Kodeerimine on tekstigenereerimise ülesandena võimalik, kuid uuring hoiatab konkreetselt Dolly v2 12B kasutamise eest tõsises programmeerimises. Samuti puuduvad sellel dokumenteeritud struktureeritud väljundi, JSON-režiimi, toimingute ja tööriistade käivitamise funktsioonid, mida seostatakse sageli uuemate majutatud mudelitega.

Hinnastamine ja käitamise kulud

Esitatud uuringu kohaselt ei ole Dolly v2 12B-l ametlikku majutatud API hinnastust. Kaalud on saadaval iseseisvaks majutamiseks, mistõttu ei ole mudeli otsekasutuse eest loetletud pakkujapoolset tokenipõhist tasu. See ei tähenda, et mudeli käitamine oleks tasuta: kasutajal võivad tekkida kulud sobiva riistvara, pilvearvutuse, salvestusruumi, juurutamise, seire ja inseneritöö eest.

Seetõttu erineb kuluprofiil majutatud mudeli omast. Iseseisev majutamine võib olla atraktiivne, kui meeskond vajab käitamise üle kontrolli või soovib katsetada ilma viipasid välisele järeldamisteenusele saatmata. Juhukasutuse korral võivad operatiivne töö ja riistvaranõuded aga kaaluda üles API-tasu puudumise. Esitatud uuringus ei ole toodud minimaalset riistvarakonfiguratsiooni ega usaldusväärset päringu kohta arvutatud käitamiskulu, mistõttu ei tohiks neid näitajaid oletada.

Peamised tugevused ja piirangud

Tugevused

• Avatud kättesaadavus: Mudeli kaalud, treeningukood ja andmestik avaldati äriliseks kasutamiseks, järgides kohaldatavaid litsentsitingimusi.
• Iseseisev majutamine: Kasutajad saavad mudelit iseseisvalt käitada, selle asemel et tugineda Databricksi praegusele majutatud lõpp-punktile.
• Fookus juhiste järgimisel: Inimeste loodud näidetel põhinev peenhäälestus muudab selle otseste päringute jaoks sobivamaks kui kohandamata baaskeelemudeli.
• Väärtus teadustöös: Avaldatud mudeliartefaktid toetavad katsetamist, õppeprojekte ja juhiste järgi kohandamise uurimist.
• Kohandatavus: Esitatud tehniliste andmete kohaselt on peenhäälestus toetatud, võimaldades uurida mudeli kohandamist spetsialiseeritud andmetele.

Piirangud

• Lühike kontekst: 2048 tokeni pikkune kontekst on piirav pikkade dokumentide, pikemate vestluste ja suurte koodifailide puhul.
• Vananenud võimekuse tase: Databricks kirjeldab mudelit kui mitte tipptasemel mudelit ning sellel puuduvad paljud tänapäevaste hallatud mudelitega seotud võimalused.
• Usaldusväärsusega seotud probleemid: Faktilised vead, hallutsinatsioonid, nõrk kuupäevade ja kellaaegade käsitlemine ning kehv toime keerukate viipade puhul nõuavad inimese tehtavat ülevaatust.
• Nõrk programmeerimis- ja matemaatikavõime: Mudel ei ole usaldusväärse koodiloome, arvutuste ega tehniliste probleemide lahendamise jaoks tugev valik.
• Hallatud API-funktsioonide puudumine: Puuduvad esitatud tõendid ametliku majutatud hinnastuse, veebotsingu, funktsioonikutsete, voogedastuse, pakktöötluse või struktureeritud JSON-väljundi kohta.
• Operatiivne vastutus: Iseseisev majutamine annab taristuga seotud, turbe-, skaleerimis- ja hooldusvastutuse kasutajale.

Millal seda mudelit valida?

Vali Dolly v2 12B siis, kui peamine vajadus on avalikult allalaaditav juhiste järgi kohandatud mudel kohalikuks katsetamiseks, teadustööks, õpetamiseks või kohandamiseks. See võib olla mõistlik valik ka siis, kui ärilise kasutamise võimalus ja otsene kontroll mudeli üle on olulisemad kui juhtiv täpsus, pikk kontekst või hallatud teenuse mugavus.

Näiteks võib juhiste järgi kohandamist uuriv arendaja kasutada avaldatud mudelit ja andmestikku praktilise lähtekohana. Uurimisrühm võib võrrelda kohaliku kohandamise tehnikaid, rajamata oma tööd varalisele lõpp-punktile. Sobiva taristuga organisatsioon võib hinnata iseseisvalt majutatud tekstimudelit väikese riskiga sisekatsetes.

Teistsugune lahendus on sobivam siis, kui ülesanne nõuab usaldusväärseid faktipõhiseid vastuseid, täiustatud arutlusvõimet, tugevat matemaatika- või programmeerimisvõimekust, pildi- või helisisendi mõistmist, pikkade dokumentide töötlemist, struktureeritud väljundeid, tööriistade kutsumist või toetatud tootmis-API-t. Uuemad majutatud mudelid pakuvad üldjuhul mugavamat juurutamist ja tugevamaid võimalusi, samas kui väiksemad kohalikud mudelid võivad pakkuda paremat kiiruse ja kulude tasakaalu juhul, kui Dolly 12 miljardi parameetri suurus ei ole vajalik.

Üldhinnang

Dolly v2 12B on endiselt kasulik näide avalikult välja antud juhiste järgi kohandatud keelemudelist, kuid seda tuleks hinnata pigem pärandmudelina teadustööks ja iseseisvaks majutamiseks kui tänapäevase üldotstarbelise assistendina. Selle peamine eelis on kontroll: kasutajad saavad mudeli alla laadida, seda uurida, käitada ja kohandada. Peamine kompromiss seisneb võimekuses ja usaldusväärsuses. Piiratud kontekst, sisseehitatud tööriistade puudumine, majutatud API hinnastuse puudumine ning dokumenteeritud nõrkused faktitäpsuses, programmeerimises, matemaatikas ja keerukate juhiste järgimisel muudavad sobiva kasutusulatuse hoolika valiku hädavajalikuks.

Õppimise, katsetamise ja mudeli kohandamise puhul võivad need kompromissid olla vastuvõetavad. Usaldusväärse tootmisassistendi või nõudlike arutlusülesannete jaoks on tõenäoliselt parem valik uuem mudel, millel on tugevamad hindamistulemused, hallatud järeldamine ning tänapäevane tööriistade või struktureeritud väljundite tugi.