Mis on Cerebras-GPT-13B?
Cerebras-GPT-13B on Cerebras Systemsi avatud kaaludega autoregressiivne keelemudel, mis avaldati 28. märtsil 2023. Mudelil on ligikaudu 13 miljardit parameetrit ning see on algse Cerebras-GPT mudeliperekonna suurim mudel. Selle perekonna avaldatud konfiguratsioonid ulatuvad 111 miljonist kuni 13 miljardi parameetrini.
Erinevalt majutatud vestlusassistendist on Cerebras-GPT-13B eelkõige allalaaditav mudeli kontrollpunkt. Selle kaalud ja konfiguratsioon on Cerebrase organisatsiooni kaudu Hugging Face'is kättesaadavad, võimaldades teadlastel ja arendajatel mudelit ise käitada, selle käitumist uurida, kohandada seda konkreetsete ülesannete jaoks või kasutada seda keelemudelite katsetes lähtetasemena. Mudel on litsentsitud Apache 2.0 alusel – see on lubav avatud lähtekoodiga litsents, mis toetab laiaulatuslikku teadus- ja tarkvaraarenduse kasutust vastavalt litsentsitingimustele.
Mudelit tuleks käsitleda baasmudelina, mitte juhiste järgi häälestatud vestlusrobotina. See genereerib viiba põhjal tõenäolisi tekstijätke, kuid seda ei ole dokumenteeritud esimese osapoole assistendina, millel oleks sisseehitatud veebotsing, funktsioonikutseid, struktureeritud väljundid, püsiv mälu või tarbijatele mõeldud vestlusliides.
Arhitektuur ja treeningu üksikasjad
Cerebras-GPT-13B kasutab GPT-3 laadset ainult dekooderiga transformeri arhitektuuri. Praktikas töötleb see teksti ja ennustab korduvalt järgmist tokenit ehk väikest tekstiosa, et moodustada jätk. Kontrollitud konfiguratsioon sisaldab 40 transformeri kihti, mudeli laiust 5120, 40 tähelepanupead ja pärivõrgu mõõdet 20 480.
Tokeniseerija kasutab baidipaaride kodeerimist ja 50 257 tokenist koosnevat sõnavara. Baidipaaride kodeerimine esitab teksti sageli esinevate tähe- või sõnaosadena, mis võimaldab mudelil käsitleda tundmatuid sõnu ilma selleta, et iga täielik sõna peaks sõnavaras olemas olema.
Mudeli jadapikkus on 2048 tokenit. See on kontrollpunkti jaoks oluline konteksti piirang: viip ja genereeritud jätk peavad mahtuma mudeli toetatud jadakonfiguratsiooni sisse. See on märkimisväärselt lühem kui paljude uuemate keelemudelite kontekstiaknad, mistõttu tuleb pikad dokumendid, ulatuslik vestlusajalugu ja suured lähtekoodivaramud lühendada, osadeks jagada või töödelda välise otsingu- või kokkuvõttesüsteemi abil.
Cerebrase andmetel treeniti seda mudeliperekonda ingliskeelsel avalikul andmekogul The Pile, kasutades ligikaudu 20 andmetokenit ühe mudeli parameetri kohta. See lähenemine järgib Chinchilla skaleerimisseadusega seotud arvutuslikult optimaalset treenimist. Mudeli dokumentatsiooni kohaselt treeniti 13 miljardi parameetriga konfiguratsiooni ligikaudu 257 miljardi tokeniga. Need on treeningu üksikasjad, mitte tagatis konkreetsele kvaliteeditasemele igas järgnevas ülesandes.
Võimekus ja eeldatav väljundkäitumine
Mudel võtab vastu tekstisisendi ja genereerib tekstiväljundi. Selle põhikasutusalad on kirjutatud tekstilõikude jätkamine, teksti genereerimine, keelemudelite uurimine, viipadega katsetamine ning kohandamine järgnevate ülesannete jaoks täiendava treeningu või peenhäälestuse abil.
Kuna Cerebras-GPT-13B on baasmudel, ei pruugi see loomulikus keeles antud juhiseid usaldusväärselt järgida samamoodi nagu tänapäevane juhiste järgi häälestatud assistent. Ühtlase vormingu ja ülesandekäitumise saavutamiseks võib vaja minna hoolikalt kujundatud viipa, ülesandespetsiifilist peenhäälestust või rakendusekihti. Mudeli hindamisel tuleks eristada töötlemata kontrollpunkti võimekust teenindusraamistiku või eraldi peenhäälestatud tuletismudeli pakutavast võimekusest.
Esitatud dokumentatsioon ei määra mudelile konkreetset teadmiste lõppkuupäeva. 2023. aasta märtsis avaldamise kuupäeva ei tohiks käsitleda teadmiste lõppkuupäevana ning eeldada ei tohiks, et mudelil on ajakohased faktiteadmised.
Modaalsused, tööriistad ja struktureeritud väljund
Cerebras-GPT-13B on ainult tekstipõhine. See võtab vastu teksti ja genereerib teksti; see ei toeta algupäraselt pilte, heli ega videot ning ei genereeri pildi-, heli-, video-, muusika-, manustamis- ega kõneväljundit.
Veebiotsingu, funktsioonikutsete, tööriistakasutuse, struktureeritud JSON-väljundi ega tegevuste täitmise jaoks ei ole dokumenteeritud esimese osapoole mudelispetsiifilist teostust. Väline rakendus võib paigutada kontrollpunkti tööriistu kasutavasse töövoogu, valideerida selle vastuseid või ühendada selle otsingu ja muude teenustega, kuid need täiendused pärinevad ümbritsevast tarkvarast, mitte Cerebras-GPT-13B sisemisest võimekusest.
See eristus on juurutamisotsuste puhul oluline. Tekstimudelit saab kasutada agendi ühe komponendina, kuid mudel ise ei paku orkestreerimist, turvakontrolle, tööriistade skeeme, sirvimissüsteemi ega usaldusväärse struktureeritud väljundi tagatisi, mida eesmärgipäraselt loodud majutatud API võib pakkuda.
Kuidas seda juurutada ja kohandada
Kontrollpunkti saab laadida Transformersi ökosüsteemi abil ning seda saab teenindada ühilduvate avatud lähtekoodiga järeldussüsteemide, näiteks vLLM-i või SGLangi kaudu. Cerebrase dokumentatsioon nimetab Cerebras-GPT kontrollpunkte kasutatavaks ka Cerebras Model Studio töövoogudes, sealhulgas mudeli arendamise ja peenhäälestuse ülesannetes.
13 miljardi parameetriga mudeli ise majutamine nõuab märkimisväärselt mälu- ja arvutusressursse, eriti täistäpsusega kaalude kasutamisel. Kvantimine võib vähendada mälunõudeid, esitades mudeli väärtused väiksema arvulise täpsusega, samas kui optimeeritud käituskeskkonnad võivad parandada teeninduse tõhusust. Täpne riistvaranõue sõltub täpsusest, käituskeskkonnast, pakisuurusest ja juurutuskonfiguratsioonist, mistõttu ei tohiks ühtki riistvaranäitajat käsitleda kontrollitud universaalse nõudena.
Peenhäälestus on üks mudeli olulisemaid praktilisi eeliseid. Avatud kontrollpunkt võib olla lähtepunkt domeenikohanduse, treeningutõhususe ja ülesandespetsiifilise teksti genereerimise uurimisel. Peenhäälestus ei kõrvalda siiski mudeli arhitektuurset 2048-tokenist jadapiirangut ega muuda baaskontrollpunkti automaatselt usaldusväärseks üldotstarbeliseks assistendiks.
Peamised tugevused ja piirangud
Selle peamised tugevused on avatus ja reprodutseeritavus. Apache 2.0 litsents, allalaaditavad kaalud, avalik konfiguratsioon, dokumenteeritud treeningumeetod ja avaldatud arhitektuur muudavad Cerebras-GPT-13B lihtsamini uuritavaks ja kohandatavaks kui suletud majutatud mudeli. See on ka piisavalt suur, et pakkuda sisukat uurimise lähtetaset mudelite skaleerimist, järeldamist, peenhäälestust ja avatud kaaludega juurutamist käsitlevates katsetes.
- Avatud juurdepääs: kaalud on ametliku Cerebrase Hugging Face'i organisatsiooni kaudu avalikult kättesaadavad.
- Lubav litsents: mudelit levitatakse Apache 2.0 alusel.
- Dokumenteeritud ülesehitus: arhitektuuri, tokeniseerijat, andmekogumit, jadapikkust ja treeningumeetodit on ametlikes materjalides kirjeldatud.
- Kohandamisvõimalused: seda saab kasutada lokaalseks järeldamiseks, ühilduvate teenindussüsteemidega ja toetatud peenhäälestuse töövoogudes.
- Selge roll teadustöös: fikseeritud arhitektuur ja avaldatud treeningu üksikasjad muudavad selle kasulikuks reprodutseeritavates katsetes.
Selle peamised piirangud tulenevad mudeli vanusest ja baasmudeli ülesehitusest. 2048-tokenine kontekstipikkus piirab kasutust pikkade dokumentide ja vestluste korral. Mudel keskendub inglise keelele ega paku algupärast multimodaalset töötlust. Dokumenteeritud ei ole esimese osapoole veebiotsingut, tööriistakasutust, struktureeritud väljundi režiimi ega majutatud mudelispetsiifilise API hinnastust. Töötlemata baasmudeli käitumine tähendab ka seda, et juhiste järgimine võib olla vähem mugav kui uuematel vestluseks optimeeritud mudelitel.
- See ei ole tipptasemel arutlusmudel ning seda ei tohiks valida eeldusel, et see pakub tänapäevast arenenud arutlusvõimekust.
- See ei ole algupäraselt multimodaalne mudel.
- Sellel ei ole 2048-tokenisest jadakonfiguratsioonist eraldiseisvat kontrollitud maksimaalse väljundi näitajat.
- Seda ei ole dokumenteeritud pidevalt uuendatava majutatud teenusena.
- Lokaalne käitamine tähendab, et riistvara, teeninduse, seire, turvalisuse ja väljundikvaliteedi eest vastutab juurutaja.
Hinnastus ja kättesaadavus
Cerebras-GPT-13B allalaaditava kontrollpunkti jaoks ei ole tuvastatud ametlikku tokenipõhist majutatud hinda. Mudel on avatud kaaludega teosena avalikult kättesaadav, kuid kaalude lokaalse allalaadimise või kasutamisega võivad siiski kaasneda taristu-, arvutus-, elektri-, majutus- ja arenduskulud.
Cerebrase laiemaid pilve- ja järeldusteenuseid ei tohiks segi ajada selle konkreetse kontrollpunkti spetsiaalse majutatud hinnaga. Mudeli kättesaadavus praeguse pilveotspunkti kaudu, kui seda pakutakse eraldi toote või juurutuskorralduse raames, ei tähenda, et allalaaditaval mudelil oleks teenusepakkuja määratud API-hind.
Arutlus, kodeerimine, kiirus ja kulude kompromissid
Cerebras-GPT-13B suudab viiba põhjal genereerida arutluse või programmeerimisega seotud teksti, kuid esitatud uurimistöö ei kinnita spetsiaalset arutlusrežiimi, ametlikku arutlusvõimekuse võrdlustesti ega mudelispetsiifilist kodeerimisgarantiid. Seetõttu tuleks selle kasulikkust kodeerimisel hinnata üldise tekstigeneratsiooni ja peenhäälestuse võimekusena, mitte tänapäevase koodile spetsialiseerunud assistendi samaväärsena.
Selle jõudlus sõltub suurel määral juurutuse riistvarast ja järelduskeskkonnast. Ise majutatav 13 miljardi parameetriga mudel nõuab rohkem ressursse kui väike lokaalne mudel, kuid kvantimine ja optimeeritud teenindus võivad kasutuskulusid vähendada. Seevastu võib tänapäevane majutatud mudel olla lihtsamini kasutatav ning pakkuda paremat juhiste järgimist, pikemat konteksti, tööriistade integratsiooni või multimodaalset tuge, samal ajal kui kasutuse eest võetakse tasu või kehtestatakse teenusepakkuja piiranguid.
Selle mudeli kohta esitatud toimetuslik hinnang peab selle suhtelist kiirust paljude suuremate mudelitega võrreldes heaks, kuid tegemist on hinnanguga, mitte teenusepakkuja avaldatud kiirusgarantiiga. Tegelik tokenite arv sekundis sõltub riistvarast, täpsusest, pakktöötlusest, viiba pikkusest ja teenindustarkvarast.
Millal valida Cerebras-GPT-13B
Cerebras-GPT-13B on mõistlik valik siis, kui prioriteediks on avalikult allalaaditav Apache 2.0 keelemudel, mille treeningu üksikasjad on dokumenteeritud ja mille ülesehitus järgib selgelt GPT-laadset arhitektuuri. See sobib näiteks järgmiste projektide jaoks:
- avatud keelemudelite ja arvutustõhusa treeningu uurimine;
- lokaalsed tekstigeneratsiooni katsed, mille puhul 2048-tokenisest kontekstist piisab;
- peenhäälestuse või domeenikohanduse uuringud;
- õppetöö, mis käsitleb transformeri arhitektuuri ja tokeniseerimist;
- reprodutseeritavad katsed, mille puhul on vaja juurdepääsu mudeli kaaludele, mitte ainult kaug-API-le.
Teist tüüpi mudel on tõenäoliselt sobivam siis, kui rakendus vajab ajakohast teavet, pikki dokumente, usaldusväärset juhiste järgimist, algupärast pildi- või helitöötlust, veebiotsingut, funktsioonikutseid või hallatud tootmisotspunkti. Uuem juhiste järgi häälestatud mudel võib olla eelistatav ka kliendisuhtluseks mõeldud vestluse, struktureeritud ärivoogude või kodeerimisagentide puhul, mis vajavad usaldusväärset tööriistade integratsiooni. Väiksem mudel võib olla parem valik siis, kui vähene mälukasutus on tähtsam kui 13 miljardi parameetriga kontrollpunkti suurem võimekus.
Lühidalt öeldes tuleks Cerebras-GPT-13B-d hinnata eelkõige avatud 2023. aasta teadus- ja kohandamisressursina. Selle väärtus tuleneb juurdepääsust kaaludele, selgest tehnilisest dokumentatsioonist, lubavast litsentsist ja peenhäälestuse võimalusest – mitte tänapäevaste majutatud AI-toodetega tavaliselt seostatavatest assistendifunktsioonidest.