GLM-4.6-REAP-218B-A32B

Mis on GLM-4.6-REAP-218B-A32B

GLM-4.6-REAP-218B-A32B on Cerebrase avaldatud avatud kaaludega keelemudel, mis on Hugging Face'is saadaval BF16 kontrollpunktina. See on zai-org/GLM-4.6-FP8 tihendatud tuletis, mitte Z.ai algne GLM-4.6 väljalase. Mudel on mõeldud kasutajatele, kes soovivad suurt arutlus- ja kodeerimismudelit käitada kohapeal või oma järeldustaristus, kasutades samal ajal vähem mälu kui täielik algmudel.

Nimi kirjeldab mitut olulist omadust. „REAP” tähistab meetodit Router-weighted Expert Activation Pruning, mis eemaldab hõredast ekspertide segu ehk MoE-mudelist üleliigsed eksperdid, säilitades samal ajal ruuteri võime valida kasulikke eksperte. Saadud kontrollpunktis on kokku 218 miljardit parameetrit, kuid iga märgi korral aktiveeritakse neist ainult 32 miljardit. Praktikas on tegemist endiselt väga suure juurutatava mudeliga, kuid iga genereeritud märgi puhul ei ole vaja kasutada kõiki parameetreid.

Cerebras loetleb seda kontrollpunkti oma Hugging Face'i mudelikataloogis. Kontrollitud levitamisviis on avatud kaaludega allalaaditav mudel, mitte eraldi dokumenteeritud Cerebrase hallatav API-pakkumine just selle mudeli jaoks. Mudelikaardil on märgitud MIT-litsents ning kirjeldatud kohapealset juurutamist ja ühilduvat järeldustaristut mudeli kavandatud kasutusviisina.

Arhitektuur, kontekstiaken ja mudeli piirangud

GLM-4.6-REAP-218B-A32B säilitab hõreda MoE-arhitektuuri 96 allesjäänud eksperdiga, millest iga märgi korral aktiveeritakse 8. Mudelikaardi andmetel on mudelil 92 kihti, 96 päringu tähelepanu pead ja 8 võtme-väärtuse pead. Märgitud konteksti pikkus on 202 752 märki, mis võimaldab käsitleda pikki koodirepositooriumi faile, mitut lähtefaili, pikki vestlusi ja agendijälgi, kui teenindussüsteem suudab seda konteksti toetada.

Konteksti näitaja tähistab sisendi ja genereerimise maksimaalset kontekstimahutavust, mitte garantiid, et iga kohapealne juurutus seda tõhusalt käsitleb. Mälunõue sõltub kontrollpunkti vormingust, käituskeskkonnast, konteksti pikkusest, samaaegsusest ja rakendusest. Esitatud uurimismaterjal ei kinnita selle konkreetse kontrollpunkti eraldi maksimaalset väljundmärgiste arvu, seega ei tohiks eeldada kindlat genereerimispiiri peale valitud järeldusmootori ja saadaoleva konteksti kehtestatud piirangute.

Milleks see on mõeldud

Mudel on eelkõige suunatud kodeerimisele, arutlemisele, agentsetele töövoogudele, repositooriumitaseme mõistmisele ja funktsioonikutsetele. Kodeerimisel võib pikk kontekst aidata mudelil enne muudatuste väljapakkumist uurida suuri faile või koodibaasi omavahel seotud osi. Mudeli hõre arhitektuur on oluline ka kasutajatele, kes uurivad suurte MoE-mudelite kvantimise ja mälu säästva juurutamise strateegiaid.

Agentsetes töövoogudes saab mudel genereerida teksti ja funktsioonikutsete argumente, mida väline rakendus analüüsib ja täidab. See on mudeliga ühilduv tööriista- või funktsioonikasutus, mitte sisseehitatud veebiotsinguteenuse. Mudelikaart ja seotud juurutusdokumentatsioon kirjeldavad arutlemise ja tööriistakutsete mustrite tuge, kuid rakendus vastutab tööriistade määratlemise, argumentide valideerimise, õiguste haldamise ja toimingute turvalise täitmise eest.

Selle arutlusvõime põhineb tekstil. Esitatud spetsifikatsioonides on märgitud teksti sisend ja teksti väljund ning puuduvad kontrollitud andmed pildi-, heli-, video-, muusika-, kõne- või vektorväljundi kohta. Seetõttu tuleks seda hinnata ainult keelega töötava kontrollpunktina, mitte multimodaalse mudelina.

Arutlemise ja kodeerimise jõudlus

Uurimismaterjalis kirjeldatakse mudelit arutlemiseks ja kodeerimiseks sobivana ning mudelikaart väidab, et selle jõudlus on täiskujul mudeliga peaaegu identne koodi genereerimise, agentse kodeerimise ja funktsioonikutsete ülesannetes. See on teenusepakkuja või mudelikaardi väide, mitte sõltumatu garantii iga viiba, käituskeskkonna või kvanditud versiooni kohta. Viidatud hindamistulemused kehtivad FP8-variandi, mitte tingimata selle BF16 REAP-kontrollpunkti kohta, mistõttu ei tohiks lugejad käsitleda neid allalaaditava konkreetse faili otsese võrdlustestina.

Toimetuse hinnangul sobib see mudel hästi olukordadesse, kus eesmärk on säilitada väga suure GLM-perekonna mudeli käitumine, vähendades samal ajal aktiivsete parameetrite arvu ja eemaldades osa ekspertide mahust. Esitatud sisemine hinnang annab selle arutlemis- ja kodeerimisvõimele 9 punkti 10-st, kuid need on toimetuslikud hinded, mitte teenusepakkuja avaldatud võrdlustulemused. Sama hinnang annab kiirusele 5 punkti 10-st ja kulutõhususele 8 punkti 10-st. Need hinded peegeldavad praktilist kompromissi: hõre aktiveerimine võib võrreldava kogusuurusega tiheda mudeliga võrreldes arvutust vähendada, kuid 218 miljardi parameetriga kontrollpunkt vajab endiselt märkimisväärset taristut.

Juurutamine, hinnastus ja kättesaadavus

GLM-4.6-REAP-218B-A32B on Hugging Face'i kaudu saadaval avatud kaaludega kontrollpunktina. Seda saab laadida Transformersiga või teenindada ühilduvate kohapealsete järeldusmootorite, näiteks vLLM-i kaudu, eeldusel et valitud tarkvaraversioon toetab mudeli arhitektuuri ning käitajal on piisavalt mitme GPU mälu ja sobiv optimeering.

Selle konkreetse kontrollpunkti Cerebrase hostitud teenuse kinnitatud märgipõhist hinda ei ole. Esitatud uurimismaterjalis ei ole seda märgitud ka Hugging Face'i järeldusteenusepakkuja kaudu juurutatuks. Seetõttu ei ole mudelil sisulist standardset API-hinda, mida hostitud keelemudelite teenustega võrrelda. Selle kasutamise rahaline kulu sõltub juurutuse riistvarast, pilveeksemplarist, salvestusruumist, elektrist, inseneritööst ja samaaegsusnõuetest.

See eristus on hindamisel oluline. „Avatud kaaludega” tähendab, et mudelifailid on märgitud litsentsi alusel hangitavad; see ei tähenda, et 218 miljardi parameetriga mudeli käitamine oleks tüüpilisel tööjaamal odav või lihtne. REAP-kompressioon vähendab mudeli kogumahtu võrreldes aluseks oleva täieliku kontrollpunktiga, kuid allesjäänud mudel on endiselt mõeldud suurele mitme GPU-ga taristule, välja arvatud juhul, kui täiendav kvantimine ja sobiv teeninduslahendus muudavad väiksema juurutuse praktiliseks.

Sisendid, väljundid ja funktsioonitugi

Kontrollitud modaalsusprofiil on tekst sisse ja tekst välja. Puuduvad esitatud tõendid, et see kontrollpunkt võtaks vastu pilte, heli või videot, mistõttu ei tohiks seda valida visuaalseks küsimustele vastamiseks, kõnetöötluseks, pildigeneratsiooniks ega muuks meediapõhiseks tööks.

Tööriistakasutust toetatakse kitsamas tähenduses: funktsioonikutsete ja struktureeritud tööriistakutsete genereerimisena. Rakendus saab esitada tööriistade määratlused, paluda mudelil ühe valida või välja kutsuda ning anda tulemuse seejärel vestlusesse tagasi. Nende kutsete tõlgendamiseks ja täitmiseks on vaja kohapealset järeldusserverit või rakenduse parserit. Mudel ise ei sirvi iseseisvalt veebi ega soorita väliseid toiminguid.

Selle konkreetse kontrollpunkti eraldi JSON-režiimi võimekust ei ole kontrollitud. Kuigi rakendus võib paluda JSON-vormingus vastust või kasutada väljundit piiravat teeninduskihti, ei tohiks seda ilma valitud käituskeskkonna kinnituseta käsitleda eraldi ametlikult dokumenteeritud JSON-režiimina. Esitatud mudelihinnangu kohaselt on voogedastus toetatud, kuid täpne voogedastusliides sõltub kohapealsest järeldusmootorist.

Peamised tugevused ja piirangud

Tugevused

• Suur kontekst: 202 752 märgi pikkune kontekst on kasulik pikkade dokumentide, koodirepositooriumide, ulatuslike agendiajalugude ja mitme faili analüüsi puhul.
• Väiksem aktiivne arvutuskoormus kui täismudelil: iga märgi korral on aktiivsed ainult 32 miljardit parameetrit ning 96 eksperdist valitakse iga märgi jaoks 8.
• Fookus kodeerimisel ja agentidel: mudel on mõeldud koodi genereerimiseks, agentseks kodeerimiseks, repositooriumide mõistmiseks, arutlemiseks ja funktsioonikutseteks.
• Avatud kaaludega juurutus: käitajad saavad kontrollpunkti alla laadida ja valida ühilduva kohaliku või privaatse taristu, selle asemel et toetuda hostitud lõpp-punktile.
• MIT-litsents: märgitud litsents on paindlik, kuid kasutaja vastutab kohaldatavate tingimuste ja juurutamiskohustuste ülevaatamise eest.

Piirangud

• Suured taristunõuded: hõre aktiveerimine ei muuda 218 miljardi parameetriga kontrollpunkti väikeseks. Olulised on tõenäoliselt mitme GPU mälu ja optimeeritud järeldustarkvara.
• Kontrollitud hallatav hinnastus puudub: selle konkreetse mudeli kohta ei ole esitatud Cerebrase märgipõhist API-hinda ega hostitud lõpp-punkti spetsifikatsiooni.
• Ainult tekst: kontrollpunkti ei ole kontrollitud pildi-, heli- ega videosisendi või -väljundi jaoks.
• Kinnitatud väljundipiir puudub: esitatud uurimismaterjalis ei ole avaldatud maksimaalset väljundmärgiste arvu.
• Hindamistulemuste täpsustus: esitatud peaaegu võrdse jõudluse väited puudutavad FP8-variandi hindamisi, mitte tingimata BF16 REAP-kontrollpunkti sõltumatut hindamist.
• Sõltuvus käituskeskkonnast: funktsioonikutsed, voogedastus, kvantimine ja pika konteksti jõudlus sõltuvad valitud järeldusmootorist ja konfiguratsioonist.

Millal seda mudelit valida

Vali GLM-4.6-REAP-218B-A32B siis, kui vajad avatud kaaludega ainult keelega töötavat mudelit tõsiseks kodeerimiseks või arutlemiseks ning sul on juurdepääs taristule, mis suudab teenindada suurt hõredat MoE-kontrollpunkti. See sobib eriti hästi privaatsete koodirepositooriumide analüüsiks, isemajutatud kodeerimisabilisteks, agentide katseteks, funktsioonikutsete süsteemideks ning kvantimise või ekspertide kärpimise meetodite uurimiseks.

Selle peamine eelis väiksema tiheda mudeli ees on väga suure mudeliperekonna, pika konteksti ning kodeerimis- ja agentse suunitluse kombinatsioon. Täieliku tihendamata GLM-4.6 mudeliga võrreldes on eeliseks juurutuse tõhusus: REAP eemaldab ligikaudu 40% ekspertidest, säilitades samal ajal kokku 218 miljardit parameetrit ja 32 miljardit aktiivset parameetrit märgi kohta. See kompromiss võib olla atraktiivne juhul, kui täiskontrollpunkt on liiga nõudlik, kuid väiksem mudel ei pakuks piisavat võimekust.

Teine võimalus võib olla sobivam siis, kui prioriteediks on väike latentsus, madal riistvarakulu, lihtne ühe GPU-ga juurutus või hallatav API. Väiksemat mudelit võib olla lihtsam käitada ja see võib tavapäraste ülesannete puhul pakkuda paremat läbilaskevõimet, samas kui hostitud mudel kõrvaldab taristu haldamise ning pakub dokumenteeritud hindu ja teenusepiiranguid. Pildi-, heli- või videotöötluseks on parem valik multimodaalne mudel. Esitatud uurimismaterjal ei määra konkreetset alternatiivset mudelit ega otsest võrdlustesti, mistõttu tuleks valikuid hinnata töökoormuse põhjal, mitte järeldada neid üksnes parameetrite arvu alusel.

Kokkuvõte

GLM-4.6-REAP-218B-A32B on kõige parem käsitleda suure, avatud kaaludega tihendatud GLM-4.6 tuletisena kasutajatele, kes hindavad kodeerimist, arutlemist, pika konteksti analüüsi ja agentset funktsioonikutsumist, kuid soovivad täismudeliga võrreldes kasutada vähem aktiivseid parameetreid. See pakub 202 752 märgi pikkust konteksti ja 32 miljardi aktiivse parameetriga järeldust, kuid on endiselt suurt taristut nõudev kontrollpunkt, mitte kerge kohapealne vestlusrobot. Kontrollitud hostitud hinnastuse, väljundipiirangute ja multimodaalse toe puudumine muudab juurutuse kavandamise oluliseks. Sobiva mitme GPU-ga taristuga meeskondadele pakub see praktilist võimalust katsetada suurt hõredat mudelit MIT-litsentsi alusel; lihtsust või väikseid käituskulusid otsivatele kasutajatele sobib tõenäoliselt paremini väiksem või hallatav alternatiiv.