Cerebras-GPT-1.3B

Mis on Cerebras-GPT-1.3B?

Cerebras-GPT-1.3B on Cerebras Systemsi pakutav avatud kaaludega põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades varasema teksti põhjal järgmist token'it. Praktilises mõttes on seda parem käsitleda teksti lõpetamise mootorina, mitte valmis assistendina: viiba põhjal saab see teksti jätkata, teisendada või genereerida, kuid ei järgi automaatselt juhiseid samamoodi nagu vestluseks häälestatud mudel.

Mudel kuulub Cerebras-GPT mudelite perekonda, mis koosneb avalikult välja antud uurimismudelitest ja on mõeldud arvutuslikult tõhusa suurte keelemudelite treenimise uurimiseks. Cerebras avaldas perekonnas seitse mudelit, mille suurus ulatub 111 miljonist kuni 13 miljardi parameetrini. 1.3B kontrollpunkt paikneb selle algse perekonna keskel, pakkudes suurimatest väljalasetest väiksemat ja hõlpsamini hallatavat mudelit, kuid säilitades siiski piisava võimekuse kasulikeks keelemudelite katseteks.

Cerebras-GPT-1.3B avaldati 6. aprillil 2023 Hugging Face'i mudeliökosüsteemis. Teenusepakkuja kirjeldab seda ingliskeelse mudelina, mis on treenitud The Pile'i andmetel. Apache 2.0 litsents on teadus- ja tarkvaraarenduse jaoks paindlik, kuid selle kasutamisel tuleb järgida litsentsi kohustusi ja tingimusi.

Tehnilised andmed

Kontrollitud mudelikaart ja kaasnev Cerebrase uurimistöö kirjeldavad tihedat GPT-3 stiilis transformer-arhitektuuri. Transformer on tehisnärvivõrgu arhitektuur, mis töötleb järjestuses olevate token'ite, näiteks sõnade või sõnaosade, vahelisi seoseid. Mudel kasutab õpitavaid positsioonimanuseid, baidipaaride kodeerimist ja 50 257 token'ist koosnevat sõnavara.

2048 token'it on mudeli dokumenteeritud konteksti piirang. See piirang hõlmab kontrollpunkti töödeldavat tekstijärjestust, mistõttu jätavad pikad viibad genereeritud jätkule vähem ruumi. Kaasnev uurimistöö ei määratle selle konkreetse kontrollpunkti jaoks eraldi teenusepakkuja avaldatud maksimaalset väljundtoken'ite arvu. Rakendused peaksid seetõttu käsitlema konteksti piirangut olulise range piiranguna ning mõõtma viiba ja lõpetuse pikkust koos.

Treenimisviis ja otstarve

Cerebras avaldas selle perekonna, et uurida keelemudelite arvutuslikult optimaalset skaleerimist ehk mudeli suuruse, treeningandmete ja saadaoleva arvutusvõimsuse vahelist seost. 1.3B kontrollpunkti treeniti ligikaudu 26,3 miljardi token'iga, kasutades meetodit, mida kirjeldatakse ligikaudu 20 treeningtoken'ina mudeli parameetri kohta. Need üksikasjad muudavad mudeli kasulikuks avatud mudelite treenimise ja skaleerimise uurimise lähtekohana, mitte lihtsalt allalaaditava tekstigeneraatorina.

Selle peamine otstarve on katsetamine. Teadlased saavad kontrollpunkti kasutada eeltreenitud keelemudeli uurimiseks, eksperimentide kordamiseks või laiendamiseks, peenhäälestusmeetodite võrdlemiseks ning avatud litsentsiga mudeli käitumise uurimiseks. Arendajad saavad seda kasutada ka kergete ingliskeelsete prototüüpide jaoks, kui kohalik või kohandatav baasmudel on olulisem kui juhiste järgimise kvaliteet.

Sisendid, väljundid ja võimekused

Cerebras-GPT-1.3B võtab vastu teksti ja genereerib teksti. Kaasnevate mudeliandmete põhjal ei toeta see algupäraselt pildi-, heli- ega videosisendit või -väljundit. Selle konkreetse kontrollpunkti puhul ei ole kontrollitud algupärast veebotsingu, tööriista- ega funktsioonikutsete tuge, struktureeritud väljundi režiimi ega tegevusväljundi võimekust.

Mudelit ei ole kirjeldatud spetsiaalselt arutlemisele keskendunud süsteemina. Viiba põhjal võib see genereerida samm-sammult näivat teksti, kuid seda ei tohiks segi ajada eraldi treenitud arutlusrežiimi või usaldusväärse arutlusgarantiiga. Samamoodi tuleks selle kodeerimisvõimet käsitleda üldise tekstigeneratsiooni käitumisena, mis võib olla kasulik väikestes programmeerimiskatsetes, mitte aga täiustatud kodeerimis- ja agendivõimekusena, mida pakuvad juhiste järgi häälestatud arendajamudelid.

Peenhäälestus on praktilise kasutusjuhuna toetatud. Avatud kontrollpunkti saab Hugging Face Transformersi ja kolmandate osapoolte treeningtööriistade abil kohandada, võimaldades meeskonnal spetsialiseerida selle kitsale tekstigeneratsiooni või klassifitseerimisega seotud töövoole. Kaasnev uurimistöö ei kinnita Cerebrase enda peenhäälestusteenust ega spetsiaalselt selle mudeli jaoks mõeldud hallatud lõpp-punkti olemasolu.

Peamised tugevused

• Avatud juurdepääs kaaludele: Mudelit saab Hugging Face'i kaudu alla laadida ja uurida, selle asemel et kasutada seda ainult suletud hostitud liidese kaudu.
• Paindlik litsents: Apache 2.0 litsents sobib paljude teadus- ja tarkvaraarenduse stsenaariumidega, kui litsentsi tingimustest kinni peetakse.
• Hallatav suurus: Ligikaudu 1,3 miljardi parameetriga on see tänapäeva suurtest mudelitest märgatavalt väiksem ja sobib praktiliselt kohalikeks katseteks, sõltuvalt saadaolevast riistvarast ja rakenduse valikutest.
• Kasulik uurimise lähtekoht: Selle dokumenteeritud arhitektuur, treeningandmed, token'ite eelarve ja koht seitsmest mudelist koosnevas perekonnas muudavad selle kasulikuks viiteks avatud mudelite ja skaleerimise uurimisel.
• Kohandatavus: Arendajad saavad kontrollpunkti peenhäälestada või integreerida levinud Hugging Face'i töövoogude ja kolmandate osapoolte järeldustööriistadega.

Kiirus ja hind on suhtelised, mitte teenusepakkuja fikseeritud näitajad. Väiksemat avatud mudelit võib olla odavam käitada kui palju suuremat hostitud mudelit, eriti kohalikul kasutamisel või sobiva suurusega taristul. Tegelik jõudlus sõltub siiski riistvarast, kvantimisest, pakktöötlusest ja tarkvara konfiguratsioonist. Kaasnev uurimistöö ei esita Cerebras-GPT-1.3B kohta võrdlustulemust ega garanteeritud latentsusnäitajat, mistõttu ei tohiks selle praktilist kiirust väljendada kindla arvuna.

Olulised piirangud

Kõige olulisem piirang on see, et Cerebras-GPT-1.3B on baasmudel, mitte juhiste järgi häälestatud ega RLHF-i abil treenitud vestlusmudel. See võib viibale vastamise asemel seda jätkata, eirata vestluse ootusi või genereerida teksti, mis vajab põhjalikku filtreerimist ja järeltöötlust. Näiteks viip „Kirjuta lühike kokkuvõte” võib mõnel juhul toimida, kuid selle käitumine ei ole samaväärne spetsiaalselt juhiste järgimiseks optimeeritud mudeliga.

Mudeli dokumentatsiooni kohaselt on see ainult ingliskeelne. Seetõttu on see halb valik mitmekeelsete rakenduste või masintõlke töövoogude jaoks. Ka 2048-token'ine kontekst on pikkade dokumentide, suurte koodifailide või pikkade vestluste jaoks lühike. Dokumentide jagamine väiksemateks osadeks võib aidata, kuid see muudab rakenduse keerukamaks ja võib eemaldada teabe, mis jääb aktiivsest kontekstist välja.

Cerebras-GPT-1.3B-d ei esitletud ohutusele häälestatud, faktitäpsusele keskendunud ega inimestele mõeldud assistendina. See võib genereerida ebatäpset, kallutatud, seosetut või sobimatut sisu. Mudelikaart ja uurimistöö positsioneerimine toetavad hindamise ja ohutuskontrollide kasutamist rakendustes, mis edastavad selle väljundid kasutajatele. Mudelil puuduvad ka sisseehitatud veebisirvimine, juurdepääs ajakohasele teabele ja kontrollitud struktureeritud väljundi funktsioonid, mistõttu ei saa see vananenud treeningteavet iseseisvalt korrigeerida ega garanteerida masinloetavaid vastuseid.

Hind ja kättesaadavus

Cerebras-GPT-1.3B enda ametlikku token'ipõhist API-hinda ei leitud. Kontrollpunkt on Hugging Face'i kaudu saadaval avatud kaaludega uurimismudelina, kuid kaalude allalaadimine ei muuda arvutus-, salvestus-, hostimis- ega käituskulusid olematuks. Need kulud sõltuvad sellest, kus mudelit käitatakse ja kuidas see on konfigureeritud.

Cerebras pakub praegu laiemaid järeldus- ja taristutooteid, kuid kaasnev uurimistöö ei kinnita, et see täpne 1.3B kontrollpunkt oleks praegu saadaval Cerebrase hallatud hostitud lõpp-punktina koos eraldi hinnaga. Seetõttu tuleks mudelit hinnata avatud kontrollpunktina, mitte eeldada, et see kuulub praegusesse tasuliste API-de kataloogi. Kättesaadavus kolmandate osapoolte tööriistade kaudu võib samuti erineda.

Parimad kasutusjuhud

• Põhjuslike keelemudelite käitumise ja GPT-stiilis arhitektuuride uurimine.
• Peenhäälestus- ja kohandamismeetodite katsetamine avalikult kättesaadava kontrollpunkti abil.
• Kergekaaluliste ingliskeelsete tekstigeneratsiooni prototüüpide loomine.
• Token'ite ennustamise ja keelemudeli järelduse õppeotstarbelised näited.
• Kohaliku järelduse konfiguratsioonide, kvantimismeetodite või juurutamise töövoogude võrdlemine.
• Paindliku litsentsiga mudeli kasutamine kitsalt määratletud uurimisprojekti lähtekohana.

Näiteks võib teadlane laadida mudeli Hugging Face Transformersi abil, anda sellele lühikese ingliskeelse viiba, uurida genereeritud jätku ning võrrelda selle käitumist enne ja pärast valdkonnapõhist peenhäälestust. Arendaja võib seda kasutada ka siseprototüübis, kus aeg-ajalt ebatäiuslik väljund on vastuvõetav ja peamine eesmärk on rakenduse töövoo katsetamine.

Millal valida Cerebras-GPT-1.3B?

Vali Cerebras-GPT-1.3B siis, kui avatus, läbipaistvus, kohalik katsetamine ja peenhäälestuse paindlikkus on olulisemad kui viimistletud vestluskäitumine. See on mõistlik kandidaat teadlastele, kes vajavad dokumenteeritud baasmudelit, tudengitele, kes õpivad keelemudeleid juurutama, ning meeskondadele, kes loovad kitsast ingliskeelset tekstigeneratsiooni ülesannet käsitlevat prototüüpi, ilma et peaksid kohe pühenduma palju suuremale mudelile või suletud API-le.

Teist tüüpi mudel on sobivam, kui rakendus vajab usaldusväärset juhiste järgimist, pikkade dokumentide töötlemist, mitmekeelset tuge, veebotsingut, tööriistade kutsumist, garanteeritud struktureeritud väljundit, täiustatud kodeerimisabi või tootmiskvaliteediga vestluskogemust. Otsestele kasutajaküsimustele vastamiseks sobib üldiselt paremini juhiste järgi häälestatud mudel, keeruka arutluse ja väga usaldusväärse tekstigeneratsiooni jaoks võib aga eelistada suuremat või uuemat mudelit. Hallatud hostitud mudel võib samuti olla praktilisem, kui meeskond ei soovi mudelitaristut ise käitada.

Lühidalt on Cerebras-GPT-1.3B väärtuslik eelkõige seetõttu, et see on avatud ja suhteliselt hallatav, mitte seetõttu, et see pakuks nüüdisaegse assistendi laia funktsioonivalikut. Selle tugevaim roll on olla teadus-, haridus- ja kohandamisotstarbeline kontrollpunkt. Tootmiskasutajad peaksid enne selle valimist hindama väljundi kvaliteeti, latentsust, ressursivajadusi, litsentsikohustusi ja ohutuskäitumist oma konkreetse töökoormuse kontekstis.