Mis on Cerebras-GPT-2.7B?
Cerebras-GPT-2.7B on Cerebras Systemsi välja töötatud avatud kaaludega ingliskeelne põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades sellele eelneva teksti põhjal järgmist tokenit. Praktikas saab see jätkata viipasid, genereerida tekstilõike ning olla aluseks katsetele või täiendavale treenimisele, kuid see ei käitu automaatselt juhiseid järgiva assistendina.
Mudel sisaldab ligikaudu 2,7 miljardit parameetrit ja kuulub Cerebrase välja antud seitsmemudelilisse Cerebras-GPT-i perekonda. See avaldati 6. aprillil 2023 ning selle kontrollpunkt on Hugging Face'i kaudu saadaval. Mudelit levitatakse Apache 2.0 litsentsi alusel, mistõttu sobib see selle litsentsi tingimusi järgides paljudeks teadus-, haridus- ja ärilisteks katseteks.
Cerebras tutvustas seda mudeliperekonda avatud algatusena, et uurida arvutusressursitõhusat ja arvutuslikult optimaalset keelemudelite arendamist. Cerebras-GPT-2.7B treeniti suure tekstikogumi The Pile abil, kasutades ligikaudu 20 treeningtokenit parameetri kohta kooskõlas Chinchilla-laadsete skaleerimispõhimõtetega. Need andmed kirjeldavad mudeli treenimist, kuid ei määra kontrollpunkti täpset teadmiste lõppkuupäeva.
Arhitektuur ja treeningu üksikasjad
Kontrollpunkt kasutab GPT-3-laadset Transformeri arhitektuuri. Kontrollitud spetsifikatsioonide hulka kuuluvad 32 Transformeri kihti, mudeli dimensioon 2560, 32 tähelepanupead, 50 257 tokenist koosnev sõnavara, õpitavad positsioonimanused ja 2048 tokeni pikkune jada.
Jada pikkus tähistab tokeniseeritud teksti maksimaalset hulka, mida mudel on ette nähtud ühes jadas töötlema. Tokenid on tekstist väiksemad ühikud ega vasta täpselt sõnadele, mistõttu 2048 tokenit võivad tähendada vähem kui 2048 sõna. See piirang on paljude uuemate keelemudelitega võrreldes tagasihoidlik. Pikad dokumendid, mahukad vestlusajalood või suured lähtekoodifailid võivad vajada lühendamist, osadeks jagamist või töötlemist eraldi otsingu- ja kokkuvõtliku töövoo kaudu.
Mudelikaart kirjeldab Cerebras-GPT-2.7B-d baasmudelina, mitte juhiste järgi häälestatud või RLHF-i abil häälestatud mudelina. See erinevus on oluline: baasmudelit treenitakse peamiselt teksti jätkamiseks, samal ajal kui juhiste järgi häälestatud mudel saab täiendava treeningu, et järgida kasutaja päringuid vestlusvormingus. Cerebras-GPT-2.7B võib hoolikalt koostatud viipade põhjal genereerida kasulikke jätkuid, kuid usaldusväärset küsimustele vastamist, keeldumiskäitumist, vormindamist ega dialoogi kvaliteeti ei saa eeldada.
Võimekused ja toetatud sisendid
Cerebras-GPT-2.7B toetab ainult tekstisisendit ja tekstiväljundit. See ei võta algselt vastu pilte, heli ega videot ega genereeri neid meediatüüpe. Selle kontrollpunkti puhul ei ole kontrollitud algupärast veeb otsingu võimekust, struktureeritud väljundi režiimi, tegevusväljundit ega tööriistade või funktsioonide kutsumise tuge.
Selle põhitoiming on teksti jätkamine. Võimalikud kasutusviisid hõlmavad viiba jätkamist, keelemudeli käitumise uurimist, tokeniseerimise ja dekodeerimisstrateegiate testimist, õppeotstarbeliste näidete loomist ning baaskontrollpunkti kohandamist peenhäälestuse abil. Kuna mudeli kaalud on avatud, saavad kasutajad katsetada ühilduva kohaliku või majutatud järeldustarkvara abil, sõltumata konkreetsest tarbijatele mõeldud vestlusliidesest.
Esitatud uuringus ei ole kindlaks tehtud ametlikku mudelipõhist maksimaalset väljundtokenite arvu. 2048-tokenist jada pikkust ei tohiks tõlgendada garanteeritud väljundi mahuna: see kirjeldab mudeli jada pikkuse ülesehitust, samal ajal kui viiba ja genereeritud jätku kasutatav jaotus sõltub järelduse rakendusest.
Järeldamine, programmeerimine ja kvaliteediga seotud kompromissid
Seda mudelit ei tohiks käsitleda spetsiaalse järeldusmudelina. See võib genereerida teksti, mis näib analüütiline või samm-sammuline, kuid uuringus ei ole kirjeldatud spetsiaalset järeldusvõimekuse treeningut ega teenusepakkuja avaldatud teavet Cerebras-GPT-2.7B järeldusvõimekuse kohta. Seetõttu on kõige mõistlikum hinnata selle järeldusvõimekust üldise baasmudeli käitumise, mitte sihipärase järeldamise toe põhjal.
Sama kehtib programmeerimise kohta. Mudel võib üldise keelemudeli töö tulemusena koodi luua või jätkata ning programmeerimiskatsed on mõistlik kasutusjuht, kuid seda ei ole dokumenteeritud koodile spetsialiseerunud mudelina. Sellel puuduvad algupärased tööriistad, nagu koodi käivitamine, ligipääs repositooriumidele või funktsioonide kutsumine, mis võimaldaksid genereeritud koodi testida või sellega toiminguid teha.
Esitatud toimetuslik hinnang annab selle järeldus- ja programmeerimissobivusele 3 punkti 10-st, kiirusele 7 punkti 10-st ning kulule 8 punkti 10-st. Need on toimetuslikud hinnangud, mitte Cerebrase avaldatud võrdlustulemused. Hinnangud kajastavad mudeli suhteliselt väikest suurust ja avatud kaaludega kättesaadavust, mida tasakaalustavad juhiste järgi häälestamise puudumine, piiratud kontekstiaken ja tänapäevaste tööriistakasutuse funktsioonide puudumine. Tegelik kiirus ja kulu sõltuvad riistvarast, järeldustarkvarast, kvantimisest, pakkide töötlemisest ja majutuslahendusest.
Hind ja juurdepääs
Cerebras-GPT-2.7B jaoks ei ole tuvastatud ametlikku tokenipõhist majutatud järelduse hinda. Tavaline juurdepääsuviis on kaalude allalaadimine mudeli repositooriumist ning nende käitamine ühilduva järeldustarkvara või Cerebrasega seotud tööriistade abil. Seetõttu erineb rahaline kompromiss tavapärasest majutatud API-st: esitatud uuringu põhjal ei ole mudelil endal kontrollitud korduvat tellimustasu ega tokenipõhist hinda, kuid kasutajatel võivad tekkida kulud arvutusressurssidele, salvestusruumile, majutusele ja arendustööle.
Laiem Cerebrase platvorm pakub eraldi pilve- ja arendajateenuseid, kuid neid pakkumisi ei tohiks segi ajada selle täpse kontrollpunkti avaldatud majutatud hinnaga. Mudeli kättesaadavus praeguse Cerebrase lõpp-punkti, kolmanda osapoole majutaja või juurutustoote kaudu võib erineda, mistõttu tuleks valitud teeninduslahendus enne tootmiskasutuse kavandamist üle kontrollida.
Peamised tugevused
- Avatud kaalud: Kontrollpunkti saab alla laadida ja uurida, selle asemel et kasutada seda ainult suletud tarbijaliidese kaudu.
- Paindlik litsents: Apache 2.0 litsents toetab laiaulatuslikku teadustööd ja katsetamist, kui järgitakse litsentsi tingimusi.
- Kasulik uurimissuurus: 2,7 miljardi parameetriga on see väga väikestest tänapäevastest mudelitest märksa väiksem ja katsetamiseks hõlpsamini hallatav, kuigi riistvaranõuded sõltuvad endiselt täpsusest ja teenindusviisist.
- Selge treeningueesmärk: Kuulumine Cerebras-GPT-i perekonda muudab selle asjakohaseks skaleerimise, treeningutõhususe ja avatud mudelite arendamise uurimisel.
- Peenhäälestuse potentsiaal: Esitatud mudeliandmed näitavad, et peenhäälestus on toetatud, mistõttu sobib kontrollpunkt domeeni või ülesandega kohandamiseks, kui selle baasmudeli piirangud on vastuvõetavad.
Olulised piirangud
- Lühike kontekst: 2048-tokenine jada pikkus piirab pikkade viipade, dokumentide, vestlusajaloo ja suurte koodifailide töötlemist.
- Juhiste järgi häälestamata: Usaldusväärseks kasutajasuhtluseks võib olla vaja hoolikalt koostatud viipasid ja täiendavat peenhäälestust.
- Ingliskeelsele treeningule keskendunud: See ei ole sobiv vaikimisi valik mitmekeelsete töökoormuste jaoks ilma eraldi valideerimise või kohandamiseta.
- Multimodaalne tugi puudub: Pildid, heli ja video ei kuulu dokumenteeritud sisendi- ega väljundivõimekuste hulka.
- Algupärased tööriistad puuduvad: Kontrollitud andmetel ei ole olemas funktsioonide kutsumist, veeb otsingut, koodi käivitamist ega struktureeritud väljundi režiimi.
- Praegused teadmised ei ole garanteeritud: Uuringus ei ole määratud mudelipõhist teadmiste lõppkuupäeva ning treeningandmed ei võimalda seda täpselt kindlaks teha.
- Ohutuse ja töökindluse tagamiseks on vaja lisatööd: Baastasemel uurimiskontrollpunkti ei tohiks suure mõjuga ega avalikus kasutuses rakendada ilma täiendava hindamise, filtreerimise, häälestamise ja kaitsemeetmeteta.
Parimad kasutusjuhud
Cerebras-GPT-2.7B sobib hästi siis, kui eesmärk on avatud keelemudelit mõista või muuta, mitte lihtsalt saada majutatud assistendilt võimalikult viimistletud vastus. Sobivate projektide hulka kuuluvad keelemudelite õpetamine, avatud kaaludega järelduskatsetused, peenhäälestuse uuringud, skaleerimisseaduste ja treeningutõhususe uurimine, viiba jätkamise näited ning kontrollitud prototüübid, mille puhul arendaja saab väljundeid hinnata.
See võib olla kasulik ka võrdlusmudeli või lähtealusena. Teadlased saavad võrrelda suhteliselt väikest GPT-laadset mudelit suuremate või juhiste järgi häälestatud süsteemidega, uurida, kuidas dekodeerimisseaded väljundit mõjutavad, või testida peenhäälestuse töövoogu ilma palju suuremast kontrollpunktist alustamata.
Millal seda mudelit valida?
Vali Cerebras-GPT-2.7B siis, kui avatud juurdepääs, litsentsipaindlikkus ja praktiline katsetamine on vestluse viimistletusest olulisemad. See sobib eriti juhul, kui soovid kaalud alla laadida, mudelit uurida, seda peenhäälestada või korraldada kontrollitud tekstigeneratsiooni katset ning 2048-tokenine kontekstiaken on vastuvõetav.
Mõni teine valik võib olla sobivam, kui vajad usaldusväärset juhiste järgimist, pikkade dokumentide töötlemist, head mitmekeelset kvaliteeti, ajakohast teavet, pildi- või helimõistmist, struktureeritud vastuseid, tööriistade kutsumist või tootmistasemel ohutuskontrolle. Uuem juhiste järgi häälestatud mudel on üldjuhul parem lähtekoht tarbijatele mõeldud vestlusroboti või kodeerimisagendi jaoks. Majutatud API võib samuti olla eelistatum, kui taristu ja mudelite teenindamisega seotud töö vältimine on kaalude üle kontrollimisest tähtsam.
Lühidalt öeldes ei seisne selle mudeli eelis laias funktsioonide valikus. Selle väärtus on selgelt dokumenteeritud, avatud ja suhteliselt kompaktne GPT-laadne kontrollpunkt, mida saab kasutada teadustöös ja kohandamisel. See muudab mudeli praktiliseks lähtealuseks ja õppevahendiks, kuid mitte tänapäevase üldotstarbelise assistendi otseseks asenduseks.