Mis on Cerebras-GPT-6.7B?
Cerebras-GPT-6.7B on Cerebras Systemsi pakutav avatud kaaludega autoregressiivne keelemudel. Autoregressiivne keelemudel ennustab järjestuses järgmist tokenit, mistõttu sobib see teksti jätkamiseks ja genereerimiseks, keelemudelite hindamiseks ning peenhäälestuseks. Tähis 6.7B viitab ligikaudu 6,7 miljardile parameetrile ehk õpitud arvväärtustele, mida mudel kasutab teksti töötlemiseks ja genereerimiseks.
Mudel kuulub Cerebras-GPT mudeliperekonda, mille avaldatud suurused ulatuvad 111 miljonist kuni 13 miljardi parameetrini. Selles perekonnas on 6.7B kontrollpunkt keskmise suurusega valik: see on väikseimatest teadusmudelitest märksa suurem, kuid pole mõeldud konkureerima uusimate suurte juhiseid järgivate assistendimudelitega. Mudeli ülesehitus ja dokumentatsioon paigutavad selle peamiselt baasmudeliks teadlastele ja arendajatele, kes soovivad avatud keelemudelit käitada, uurida, hinnata või kohandada.
Mudel avaldati 28. märtsil 2023. Selle kaalud on Hugging Face'i kaudu avalikult allalaaditavad ning mudelikaardil on litsentsiks märgitud Apache 2.0. See litsents lubab üldjuhul teadus- ja ärikasutust vastavalt selle tingimustele, mistõttu on kontrollpunkt paindlikum kui mudelid, mille kasutus on piiratud mitteärilise või üksnes teadusliku kasutusega.
Arhitektuur ja treenimise üksikasjad
Cerebras-GPT-6.7B kasutab GPT-3-laadset Transformeri arhitektuuri. Transformerid töötlevad teksti, arvestades tokenitevahelisi seoseid, samal ajal kui autoregressiivsed keelemudelid kasutavad neid seoseid järgnevate tokenite ennustamiseks. Kontrollpunkt kasutab täielikku tähelepanu mehhanismi, õpitud positsioonimanuseid ning baitpaar-kodeeringul põhinevat tokeniseerijat 50 257 tokenist koosneva sõnavaraga.
Cerebras treenis seda mudeliperekonda suurel eri allikatest pärineval tekstiandmestikul The Pile, kasutades ligikaudu 20 treeningtokenit mudeli iga parameetri kohta. 6.7B mudeli puhul hõlmas avaldatud treeningkonfiguratsioon ligikaudu 133 miljardit treeningtokenit ja 2048-tokenist jada pikkust. Perekonda treeniti superarvutil Andromeda, mida Cerebras kirjeldab 16 CS-2 vahvliskaalalise süsteemi klastrina.
Treeningustrateegiat kirjeldati arvutuslikult optimaalsena ning seostati Chinchillaga seotud skaleerimisseaduste uurimistööga. Praktikas tähendab see lähenemisviis mudeli suuruse ja treeningandmete hulga tasakaalustamist, mitte lihtsalt mudeli suurendamist. Need on teenusepakkuja ja teadusartikli andmed treeninguprotsessi kohta; neid ei tohiks tõlgendada garantiina, et kontrollpunkt edestab uuemaid mudeleid konkreetses rakenduses.
Mida mudel suudab teha
Kontrollpunkt suudab esitatud viiba põhjal genereerida ingliskeelset teksti. Sobivate kasutusvaldkondade hulka kuuluvad keelemudelite uurimine, kontrollitud hindamised, järeldusraamistike katsetamine, valdkonnaspetsiifiline peenhäälestus ja isemajutatavate teksti genereerimise prototüüpide loomine. Arendajad saavad seda kasutada ka baaskontrollpunktina, kui soovivad uurida, kuidas täiendav treening avatud mudeli käitumist muudab.
Kuna tegemist on baasmudeliga, võib selle viipamine viimistletud vestlusassistendina anda ebaühtlaseid tulemusi. Mudelit ei ole treenitud loomulikus keeles antud juhiste järgimiseks ning esitatud uurimismaterjalid ei kinnita selle konkreetse kontrollpunkti loomulikku struktureeritud väljundi, tööriistade kasutamise, veebotsingu ega funktsioonide käivitamise tuge. Vajaduse korral tuleks need funktsioonid rakendada ümbritsevas rakenduses.
Sisendi ja väljundi modaalsused
Cerebras-GPT-6.7B on ainult tekstipõhine. See võtab vastu tekstisisendi ja väljastab teksti. Selle mudeli puhul ei ole kinnitatud loomulikku pildi-, heli-, video-, kõne-, muusika-, manustamis- ega muud mittetekstilise väljundi võimekust. Seetõttu tuleks seda hinnata tavapärase keelemudeli kontrollpunktina, mitte multimodaalse mudelina.
Konteksti- ja väljundipiirangud
Ametlik mudelidokumentatsioon määrab jada pikkuseks 2048 tokenit. See on kontrollpunkti puhul asjakohane kinnitatud kontekstipiirang. Token võib tähistada tervet sõna, sõna osa, kirjavahemärki või tühikut, seega ei võrdu 2048 tokenit 2048 tähemärgi ega täpselt 2048 sõnaga.
Eraldi teenusepakkuja avaldatud maksimaalset väljundtokenite piirangut ei õnnestunud kinnitada. Praktiline genereerimispiir sõltub mudeli jada pikkuse piirangust ja kasutatavast järeldusraamistikust. Rakendused peaksid kogu toetatud jada pikkuse piires jätma ruumi genereeritavale jätkule, mitte eeldama, et 2048-tokenine viip saab lisaks täieliku pikkusega jätku.
Peamised tugevused ja kompromissid
Kõige olulisem tugevus on avatus. Kasutajad saavad kaalud alla laadida, mudeli konfiguratsiooni uurida, käitada seda ühilduvate Transformeri tööriistadega ja kohandada seda, sõltumata teenusepakkuja majutatud lõpp-punktist iga genereerimise jaoks. Apache 2.0 litsents muudab mudeli asjakohaseks ka ärilisteks katsetusteks, eeldusel et kasutajad järgivad litsentsi tingimusi ja vastutavad ise juurutamise eest.
- Juurdepääs teadustööks: Mudel sobib treenimise, järeldamise, skaleerimise, hindamise ja peenhäälestuse uurimiseks avalikult kättesaadava kontrollpunkti abil.
- Isemajandamine: Allalaaditava mudeli saab juurutada ühilduva kohaliku või kolmanda osapoole järeldustaristu kaudu, mitte Cerebrase majutatud tokenipõhise teenusena.
- Mõõdukas mudelisuurus: Ligikaudu 6,7 miljardi parameetriga on see väga suurte keelemudelitega võrreldes jõukohasem uurimisobjekt, kuigi tegelikud riistvaranõuded sõltuvad täpsusest, pakktöötlusest ja teenindusvirnast.
- Paindlik litsents: Apache 2.0 toetab laialdast kasutust vastavalt litsentsi tingimustele.
- Selge baasmudeli roll: Juhiste järgi treenimise puudumine võib olla kasulik, kui teadlased vajavad kohandamiseks suhteliselt otsest lähtepunkti.
Kompromiss seisneb selles, et avatus ja kohandatavus nõuavad rohkem inseneritööd. Kasutajad peavad valima ja käitama järeldusvirna, haldama ressursse, lisama modereerimis- ja turvakontrollid ning otsustama, kuidas mudel lõppkasutajatele kättesaadavaks teha. Cerebras ei avalda selle allalaaditava kontrollpunkti jaoks mudelispetsiifilist majutatud teenuse hinda, mistõttu ei ole kinnitatud teenusepakkuja hinda sisend- ega väljundtokeni kohta, millega seda majutatud assistendiliidestega võrrelda.
Arutlus, programmeerimine ja tööriistade tugi
Cerebras-GPT-6.7B suudab genereerida teksti, mis käsitleb probleeme või meenutab koodi, kuid esitatud uurimismaterjalid ei tõenda spetsiaalset arutlusrežiimi ega spetsiaalselt arutluseks mõeldud treeningut. Selle võrdlev arutlusskoor on toimetuslik hinnang, mitte teenusepakkuja avaldatud võrdlustulemus. Ei tohiks eeldada, et sellel on uuemate arutlusele suunatud mudelitega võrreldav sihipärane mitmeetapiline arutlus, tööriistade orkestreerimine või töökindlus.
Sama eristus kehtib programmeerimise kohta. Mudelit saab kasutada programmeerimiskatseteks ja see võib genereerida lähtekoodi tekstina, kuid mudelispetsiifilist kinnitatud programmeerimise võrdlustesti ega väidet spetsiaalselt koodile suunatud treeningu kohta ei ole esitatud. Selle toimetuslik programmeerimisskoor on võrdlev, mitte ametlik mõõdik.
Selle konkreetse kontrollpunkti puhul ei tuvastatud kinnitatud loomulikku tööriistade kasutamist, funktsioonikutseid, veebisirvimist, JSON-režiimi, vahemällu salvestamist ega pakktöötluse API tuge. Rakendus võib ümbritsevaid tööriistu lisada või genereerimist oma tarkvara abil piirata, kuid see oleks rakenduse funktsioon, mitte Cerebras-GPT-6.7B loomupärane ja kinnitatud võimekus.
Hinnakujundus ja juurutamine
Cerebras-GPT-6.7B on allalaaditav mudel, mitte tasuline teenusepakkuja majutatud mudel, mille kohta oleks avaldatud tokenipõhine hind. Seetõttu ei toeta esitatud uurimismaterjalid selle konkreetse kontrollpunkti puhul sisendi-, väljundi-, tellimuse- ega ametlikku majutatud järeldamise hinda.
Juurutamise kulud sõltuvad hoopis kasutaja valitud taristust. Asjakohased tegurid võivad hõlmata riistvara, mudeli täpsust, mälunõudeid, läbilaske-eesmärke, majutustasusid, elektrikulu, tarkvaratuge ja seda, kas mudelit käitatakse pidevalt või ainult juhuslikeks katseteks. Kontrollpunkti saab laadida Transformersiga või teenindada ühilduvate järeldusraamistike kaudu, kuid täpne juurutusprotsess ja jõudlus sõltuvad valitud virnast.
Isemajandamine annab käitamisvastutuse samuti juurutajale. Tootmiskasutajad peaksid testima väljundi kvaliteeti, jälgima ressursikasutust, rakendama juurdepääsukontrolle ning lisama rakenduse tasandil turva- ja modereerimismeetmed. Apache 2.0 litsents ei vabasta nendest insenertehnilistest ega haldusalastest kohustustest.
Millal valida Cerebras-GPT-6.7B
See mudel on mõistlik valik, kui prioriteediks on juurdepääs avatud, inglise keelele keskenduvale baaskontrollpunktile teadustööks või kohandamiseks. See võib sobida projektidele, kus on vaja võrrelda treeningustrateegiaid, korrata või laiendada arvutuslikult tõhusate keelemudelitega seotud tööd, peenhäälestada mudelit kitsama tekstülesande jaoks või katsetada isemajutatavat genereerimist ilma suletud teenusepakkuja API-st alustamata.
- Valige see avatud mudelite uurimiseks, skaleerimisseaduste katseteks ja keelemudelite hindamiseks.
- Valige see peenhäälestuse lähtepunktiks, kui soovite juhiste järgi treenitud kontrollpunkti asemel baasmudelit.
- Valige see isemajutatavaks ingliskeelse teksti genereerimiseks, kui 2048-tokenine jada pikkus on piisav.
- Valige see siis, kui Apache 2.0 litsents ja allalaaditavad kaalud on tähtsamad kui hallatud assistendikogemus.
Kliendile suunatud vestlusroboti, mitmekeelse toote, pikki dokumente töötleva töövoo või usaldusväärset juhiste järgimist nõudva rakenduse jaoks on tõenäoliselt sobivam mõni muu valik. Vestluskasutuseks võib eelistada uuemat juhiste järgi treenitud mudelit, samas kui suurte dokumentide jaoks sobib paremini pika kontekstiga mudel. Majutatud API võib juurutamisega seotud tööd vähendada ning programmeerimisele või arutlusele spetsialiseerunud mudel võib nende ülesannete puhul paremaid tulemusi anda. Nende alternatiividega kaasnevad kompromissid kulude, kontrolli, latentsuse ja avatuse vahel; esitatud uurimismaterjalid ei nimeta konkreetset asendajat, mida tuleks käsitleda otsese järglasena.
Kokkuvõte
Cerebras-GPT-6.7B-d tuleks eelkõige mõista avatud teadus- ja baasmudelina, mitte valmis üldotstarbelise assistendina. Selle kinnitatud profiil on selge: ligikaudu 6,7 miljardit parameetrit, ingliskeelne treening andmestikul The Pile, GPT-3-laadne autoregressiivne Transformer, 2048-tokenine jada pikkus, allalaaditavad kaalud ja Apache 2.0 litsents. Need omadused muudavad selle kasulikuks katsetamiseks ja peenhäälestuseks. Juhiste järgi treenimise puudumine, tänapäevaste standardite järgi lühike kontekst, ainult tekstipõhine ülesehitus ning kinnitatud loomulike tööriistade ja majutatud hinnastuse puudumine muudavad selle tänapäevaste assistenditoodete jaoks vähem sobivaks, kui rakendusse ei lisata märkimisväärselt täiendavat inseneritööd.