Mis on GLM-4.7-Flash-REAP-23B-A3B?
GLM-4.7-Flash-REAP-23B-A3B on Cerebrase avaldatud avatud kaaludega ainult tekstil põhinev põhjuslik keelemudel. See põhineb Z.ai mudelil GLM-4.7-Flash, kuid ei ole Z.ai algne kontrollpunkt: Cerebras rakendas sellele oma Router-weighted Expert Activation Pruning ehk REAP-meetodit, et luua tihendatud variant.
Mudel on mõeldud arendajatele, kes vajavad võimekat kodeerimis- ja agentmudelit, mida saab käitada nende kontrolli all oleval taristul. See on saadaval MIT-litsentsi alusel ning dokumenteeritud juurutusvõimaluste hulka kuuluvad Hugging Face Transformers, vLLM, SGLang ja Docker. Mudeli esitatud teabe kohaselt on tegemist praeguse avatud kaaludega mudeliga, mis avaldati 23. jaanuaril 2026.
Seetõttu erineb selle koht Cerebrase mudelivalikus tavapärasest majutatud API-mudelist. Cerebras avaldab kontrollpunkti ja sellega seotud uurimistöö, kuid olemasolev teave ei tuvasta selle konkreetse mudeli Cerebrase majutatud järeldushinda ega hallatud API lõpp-punkti. Kasutajad peaksid arvestama, et peavad mudeli ise alla laadima, seadistama ja käitama või kasutama ühilduvat järeldusteenust.
Kuidas REAP mudelit vähendab?
Kontrollpunkt kasutab hõredat ekspertide segu ehk MoE-arhitektuuri. Selle asemel et käitada iga märgi puhul kõiki närvivõrgu eksperte, valib sisemine ruuter sisendi iga osa jaoks väikese arvu eksperte. Tingimuslik arvutus võimaldab mudelil sisaldada kokku suurt hulka parameetreid, aktiveerides samal ajal ühe märgi jaoks vähem parameetreid.
GLM-4.7-Flash-REAP-23B-A3B sisaldab ligikaudu 23 miljardit parameetrit ja aktiveerib iga märgi kohta ligikaudu 3 miljardit parameetrit. Avaldatud konfiguratsioonis on 47 peidetud kihti, 48 marsruuditavat eksperti ja iga märgi kohta valitakse neli eksperti. REAP eemaldas 25% algsest ekspertide kogumist, vähendades ekspertide arvu 64-lt 48-le.
Kärpimisprotsess kasutab ruuteri väravastamise käitumist ja ekspertide aktiveerimisnorme, et tuvastada eksperdid, kes panustavad mudeli arvutusse vähem. See erineb mitme eksperdi ühendamisest üheks kombineeritud eksperdiks. Cerebrase kirjelduse kohaselt säilitavad ruuter ja allesjäänud eksperdid oma iseseisva käitumise, mis võimaldab mudelil jätkata sisendist sõltuvate ekspertide valimist.
Praktiline tulemus on mudel, mille eesmärk on vähendada suurema lähtemudeliga võrreldes mälu- ja juurutuskulusid, säilitades samal ajal hõreda spetsialiseerumise eelised. Tegelik mälukasutus sõltub endiselt täpsusest, pakisuurusest, jada pikkusest ja võtme-väärtuse vahemälu seadetest, mistõttu ei tohiks 23 miljardi koguparameetri näitajat tõlgendada täieliku riistvaranõudena.
Võimekus ja kontekstiaken
Avaldatud maksimaalne konteksti pikkus on täpselt 202 752 tokenit. See on väga suur kontekstiaken kogu koodihoidlate, pikkade tehniliste dokumentide ja mitmeastmeliste agentseansside jaoks. Praktikas tõhusalt kasutatav maht sõltub saadaolevast mälust ja teeninduskonfiguratsioonist, eriti siis, kui aktiivsed on mitu jada või pikad võtme-väärtuse vahemälud.
Mudel võtab vastu teksti ja väljastab teksti. Dokumenteeritud kasutusviiside hulka kuuluvad vestluste genereerimine, koodi genereerimine, koodihoidlate põhine arusaamine, tööriistade kutsumine ja agenttöövood. Seda ei ole dokumenteeritud loomuliku pildi-, heli-, video-, kõne-, muusika-, manustamis- ega modereerimismudelina. Esitatud spetsifikatsioonides ei ole kinnitatud ka maksimaalset väljundtokenite arvu.
Funktsioonide ja tööriistade kutsumist toetavad ühilduvad järeldusserveri integratsioonid, mitte selle kontrollpunkti jaoks eraldi hinnastatud majutatud API. Avaldatud vLLM-i näide kasutab GLM-ile omaseid arutlus- ja tööriistakutse parser’eid, sealhulgas GLM45 arutlusparser’it ja GLM47 tööriistakutse parser’it, koos automaatse tööriistavaliku toega. See muudab mudeli asjakohaseks kodeerimisagentidele, kes peavad kutsuma väliseid tööriistu, kuid rakenduse üksikasjad sõltuvad valitud teenindusraamistikust.
Kodeerimine, arutlusvõime ja hindamistulemused
Kodeerimine on mudeli kõige selgemalt dokumenteeritud tugevus. Cerebrase andmetel sai GLM-4.7-Flash-REAP-23B-A3B HumanEvali testis tulemuseks 95,1, võrreldes GLM-4.7-Flashi lähtemudeli tulemusega 94,5. HumanEval+ tulemuseks on mõlema mudeli puhul 89,0. Need on teenusepakkuja esitatud kontrollpunkti hindamistulemused, mitte sõltumatu täielik hinnang töökindlusele või üldisele intelligentsusele.
Tulemused viitavad sellele, et kärpimisprotsess ei kahjustanud nende konkreetsete testidega mõõdetud kodeerimisvõimekust märkimisväärselt. Need ei tõesta, et mudel säilitab lähtemudeli kvaliteedi alati iga koodihoidla, programmeerimiskeele, arutlusülesande või tööriistakasutuse töövoo puhul. Arendajad peaksid testima oma viipasid, koodibaase, tööriistade skeeme ja veakäsitluse nõudeid.
Esitatud toimetuslikus hinnangus saab mudel võrdleval kümnepallisüsteemil arutlusvõime eest 8 ja kodeerimise eest 9 punkti. Need on toimetuse hinnangud, mitte Cerebrase avaldatud reitingud. Sama hinnang annab kiiruse eest 8 ja kulude eest 9 punkti, kajastades mudeli hõredat ülesehitust ja avatud kaaludega kättesaadavust, mitte garanteeritud käitusaega või taristuhinda.
Juurutamise ja kulude kompromissid
Esitatud teabe põhjal ei ole selle konkreetse kontrollpunkti jaoks ametlikku majutatud API hinda. Hinnakirje on seetõttu „ametlikku majutatud API hinda ei ole; avatud kaaludega kontrollpunkt“. Mudel ise on MIT-litsentsiga, kuid selle käitamine ei ole tasuta: kasutajad peavad tagama sobiva arvutusvõimsuse, salvestusruumi, võrguühenduse ja operatiivtoe või maksma järeldusteenuse pakkujale, kes kaalusid majutab.
Selle peamine kulueelis on kontroll juurutamise üle ja võimalus kasutada hõredat mudelit, mille kohta aktiveeritakse iga märgi puhul ligikaudu 3 miljardit parameetrit. See võib olla ahvatlev, kui täissuuruses tihedat või vähem tihendatud mudelit on liiga kallis käitada. Kogumälunõudeid mõjutavad siiski ligikaudu 23 miljardit salvestatud parameetrit, mudeli täpsus, pikk kontekst, samaaegsus ja vahemälu konfiguratsioon. Hõre aktiveerimine ei kaota vajadust mudeli kaale salvestada.
Transformers sobib mudeli otseseks laadimiseks ja katsetamiseks, samas kui vLLM ja SGLang on dokumenteeritud valikud struktureeritumate järeldusjuurutuste jaoks. Kirjeldatud on ka Dockeril põhinevat juurutust. Piiratud mäluga kasutajatel võib olla vaja vähendada jadade maksimaalset arvu või teeninduskonfiguratsiooni muul viisil kohandada. Kvantiseeritud versioonid võivad vähendada mälukasutust, kuid nende kvaliteeti ja käitusaja ühilduvust tuleks algsest kontrollpunktist eraldi hinnata.
Millal seda mudelit valida?
Vali GLM-4.7-Flash-REAP-23B-A3B, kui vajad avatud kaaludega kodeerimismudelit, mida saab ise majutada, kohaliku taristuga kohandada või avatud järeldusmootoritega integreerida. See on mõistlik valik näiteks järgmisteks kasutusjuhtudeks:
- Ise majutatavad kodeerimisabilised ja koodihoidlate analüüs.
- Agentrakendused, mis vajavad teksti genereerimist ning tööriistade või funktsioonide kutsumist.
- Pika kontekstiga koodi- või dokumenditöövood konfiguratsioonipiirangu 202 752 tokeni ulatuses.
- Hõredate ekspertide segumudelite ja ekspertide kärpimise uurimine.
- Juurutused, kus algset GLM-4.7-Flashi mudelit on keeruline mahutada või käitada.
See sobib halvemini olukordadesse, kus prioriteediks on kasutusvalmis hallatud API läbipaistva tokenipõhise hinnastamise, garanteeritud teenusetaseme kohustuste või minimaalse taristutööga. Majutatud mudel võib olla sobivam meeskondadele, kes ei soovi hallata GPU-sid, mudeliservereid, skaleerimist ja mäluhäälestust.
Multimodaalsete töövoogude puhul võib eelistada ka teist tüüpi mudelit. See kontrollpunkt on ainult tekstipõhine ning seda ei tohiks valida loomulikuks pildi-, heli-, video-, kõne-, muusika- ega manustamisväljundiks. Samuti ei tohiks rakendused, mis nõuavad kinnitatud struktureeritud väljundi või JSON-režiimi garantiid, eeldada seda võimekust olemasoleva tööriistakutsete dokumentatsiooni põhjal; selle mudeli kohta ei ole eraldi JSON-režiimi spetsifikatsiooni esitatud.
Piirangud, millega arvestada
Kõige olulisem piirang seisneb avatud kontrollpunkti ja majutatud toote erinevuses. Mudelikaart dokumenteerib, kuidas kaale käitada, kuid esitatud teave ei sisalda ametlikku majutatud hinda, maksimaalset väljundtokenite piirangut, teadmiste lõppkuupäeva, peenhäälestuse tuge, vahemällu salvestamise funktsiooni ega pakett-API-t. Neid väärtusi tuleks käsitleda teadmata väärtustena, mitte tuletada mudeli arhitektuurist.
Suur kontekstiaken on kasulik, kuid võib praktikas olla nõudlik. Pikad viibad, suur samaaegsus ja pikad genereeritud vestlused suurendavad võtme-väärtuse vahemälu kaudu mälukoormust. Jõudlus varieerub sõltuvalt riistvarast, kvantiseerimisest, teenindusmootorist, paralleelsusest ja viiba pikkusest.
Lõpuks on esitatud kodeerimishindamistulemused piiratud tõendusmaterjal. HumanEval ja HumanEval+ ei mõõda täielikult koodihoidla tasemel korrektsust, tööriistade töökindlust, turvalisust, faktitäpsust, keeldumiskäitumist ega tootmiskeskkonna stabiilsust. Enne olulistes töövoogudes kasutamist tuleks juurutust hinnata tüüpiliste koodi- ja agendiülesannete põhjal.
Kokkuvõte
GLM-4.7-Flash-REAP-23B-A3B on spetsialiseeritud avatud kaaludega valik arendajatele, kes soovivad tihendatud GLM-4.7-Flashi tuletist väga suure kontekstiakna, tugevate avaldatud kodeerimistulemuste, tööriistakutsete integratsioonide ja kohaliku juurutamise paindlikkusega. Selle ligikaudu 23 miljardit koguparameetrit ja ligikaudu 3 miljardit aktiivset parameetrit märgi kohta pakuvad tihendamata mudeli käitamisega võrreldes teistsugust võimekuse ja ressursside kompromissi. Selle kompromissi hind on see, et kasutajad peavad taristu eest ise hoolitsema ning esitatud uurimistöö ei kinnita majutatud API, väljundipiirangu ega garanteeritud struktureeritud väljundi režiimi olemasolu.