Mis on GLM-4.7-REAP-218B-A32B?
GLM-4.7-REAP-218B-A32B on Cerebrase avaldatud hõre ekspertide segu ehk MoE-põhine põhjuslik keelemudel. Tavapärases mõttes ei ole see eraldi treenitud mudeliperekond, vaid Z.ai GLM-4.7 tihendatud tuletis. Cerebras rakendas lähte mudelile Router-weighted Expert Activation Pruning meetodit, et eemaldada eksperdid, mida peeti üleliigseks.
Nimi kirjeldab saadud konfiguratsiooni. Mudel sisaldab kokku 218 miljardit parameetrit, kuid iga märgi puhul on aktiivsed neist ainult 32 miljardit. MoE-mudelis valib ruuter iga sisendmärgi jaoks välja spetsiaalsete alamvõrkude ehk ekspertide alamhulga. Kuna enamikku eksperte ei kasutata iga märgi puhul, on aktiivsete parameetrite arv märgi töötlemiseks vajaliku arvutusmahu seisukohast olulisem kui parameetrite koguarv, kuigi kogu kontrollpunkt vajab endiselt märkimisväärselt mälu.
Cerebras loetleb kontrollpunkti MIT-litsentsi alusel avatud kaaludega mudelina. Mudelikaardi järgi on tegemist BF16/F32 kontrollpunktiga ning kaasasolevas uurimismaterjalis kirjeldatakse seda 12. jaanuaril 2026 avaldatud kaasaegse avatud kaaludega mudeli kontrollpunktina. See on saadaval Cerebrase mudelikataloogis Hugging Face'is, mitte mudelina, millele oleks avaldatud Cerebrase hostitud teenuse hinnakiri.
Kuhu see Cerebrase kataloogis paigutub
GLM-4.7-REAP-218B-A32B-d on kõige õigem käsitleda täisversiooni GLM-4.7 juurutusele suunatud kaaslasena, mitte üldise Cerebrase API tootena või kõigi kataloogis olevate mudelite asendusena. Selle eesmärk on säilitada suur osa lähte mudeli kavandatud käitumisest, vähendades samal ajal salvestamist ja kättesaadavaks tegemist vajavate ekspertide arvu.
Vähendamine on märkimisväärne, kuid see ei muuda mudelit väikeseks. Kaasasolevas uurimismaterjalis kirjeldatakse algset lähte mudelit ligikaudu 355 miljardi parameetriga, samal ajal kui REAP-i kontrollpunktil on kokku 218 miljardit parameetrit. Ka tihendatud mudel vajab märkimisväärset mitme GPU-ga arvutusvõimsust, eriti BF16- või F32-vormingus. Selle praktiline eelis on suhteline: see peaks olema vähem nõudlik kui tihendamata lähte mudel, mitte aga väike sellisel viisil nagu väike tihe mudel või kompaktne MoE-mudel.
Põhiandmed
| Spetsifikatsioon | GLM-4.7-REAP-218B-A32B |
|---|---|
| Pakkuja | Cerebras |
| Mudeliperekond | GLM-4.7 |
| Arhitektuur | Hõre ekspertide segu ehk MoE-põhine põhjuslik keelemudel |
| Parameetreid kokku | 218 miljardit |
| Aktiivseid parameetreid märgi kohta | 32 miljardit |
| Eksperdid | Kokku 96, millest iga märgi puhul aktiveeritakse 8 |
| Kontekstiaken | 202 752 märki |
| Kihid | 92 |
| Tähelepanupead | 96 päringu-tähelepanupead ning 8 võtme- ja väärtuspead |
| Litsents | MIT |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
202 752 märgi pikkune kontekstiaken on mudeli üks selgemaid praktilisi omadusi. See võimaldab ühte päringusse kaasata palju rohkem lähtematerjali kui tavapärase lühikese kontekstiga mudeli puhul, mistõttu sobib kontrollpunkt suurte koodibaaside, mahukate tehniliste dokumentide, mitmeetapiliste agendijälgede ja muude ülesannete jaoks, kus kontekst peab säilima. Kaasasolevas uurimismaterjalis ei ole määratud maksimaalset väljundmärkide arvu, seega ei tohiks eeldada, et kogu kontekstiakent saab samaaegselt kasutada nii sisendi kui ka genereeritud väljundi jaoks.
Võimekus ja tugevused
Kodeerimine ja arutlemine
Mudel on suunatud kodeerimisele ja arutlemisele, mitte pildi-, heli- või videotöötlusele. Selle kavandatud kasutusalad hõlmavad koodi genereerimist, koodianalüüsi, tehniliste probleemide lahendamist ning mitmeetapilisi ülesandeid, kus mudel peab säilitama otsuste ahela. Uurimismaterjalis kirjeldatakse toimetuslikke hinnanguid: kodeerimisele 9 punkti 10-st ja arutlemisele 8 punkti 10-st. Need on ligikaudsed toimetuslikud hinnangud, mitte pakkuja avaldatud võrdlustulemused. Eelkõige olid BF16-mudelikaardi hindamistulemused märgitud ootel olevaks, samal ajal kui eraldi FP8 variandi kohta olid tulemused olemas.
See eristus on kontrollpunkti hindamisel oluline. Arhitektuur ja kirjeldatud kasutusjuhud toetavad kodeerimise ja arutlemise testimist, kuid kaasasolevad allikad ei kinnita selle konkreetse BF16-kontrollpunkti kontrollitud võrdlustulemust. Enne mudeli käsitlemist mõne teise süsteemi asendajana peaksid meeskonnad mõõtma selle jõudlust oma koodirepositooriumide, viipade, programmeerimiskeelte ja arutlemist nõudvate töökoormuste põhjal.
Tööriistakutsed ja agenttöövood
GLM-4.7-REAP-218B-A32B toetab funktsioonikutsungeid ja tööriistadele suunatud töövooge. Mudelikaardi järgi saab seda otse juurutada praeguse vLLM-iga, kasutades glm45 arutlusparserit, glm47 tööriistakutseparserit, automaatset tööriista valikut ja ekspertide paralleeltöötlust. Need üksikasjad on kasulikud kasutajatele, kes soovivad ühendada mudeli väliste toimingutega, nagu otsing, koodi käivitamine, andmete hankimine või rakendusepõhised funktsioonid.
Tööriistade tugi ei tähenda, et mudel pääseb iseseisvalt veebi või teeb toiminguid ilma seda ümbritseva rakenduseta. Hostrakendus peab endiselt määratlema saadaolevad tööriistad, valideerima argumendid, käivitama heakskiidetud kutsed ja tagastama tulemused mudelile. Esitatud andmetes on veebotsing märgitud loomupäraselt toetamata funktsiooniks, seega tuleks välist otsingut käsitleda rakendusse integreeritud tööriista, mitte mudeli sisemise võimalusena.
Pika konteksti töötlemine
Mudeli kontekstimahutavus muudab selle sobivaks näiteks suure failikogumi läbivaatamiseks, pikkade spetsifikatsioonide võrdlemiseks, üksikasjaliku agendiajaloo säilitamiseks või mahuka dokumentatsiooni läbitöötamiseks. Pikk kontekst on kõige kasulikum siis, kui ülesanne tõepoolest nõuab suure sisendi vältel teabe säilitamist. See ei taga automaatselt kõigile märkidele võrdselt tugevat tähelepanu ning võib viipade kasvades suurendada mälukasutust ja latentsust.
Juurutus, jõudlus ja kulude kompromissid
REAP-i peamine kompromiss seisneb mudeli võimekuse ja juurutusnõuete vahel. Võrreldes ligikaudu 355 miljardi parameetriga täisversiooniga lähte mudeliga eemaldab 218 miljardi parameetriga kontrollpunkt märkimisväärse hulga parameetreid ning aktiveerib iga märgi puhul ainult 32 miljardit. See võib muuta selle tihendamata mudelist praktilisemaks kohaliku või teadustöö juurutuse sihtmärgiks. Samas on 218 miljardit parameetrit kokku endiselt suur kontrollpunkt, eriti BF16- või F32-kaalude kasutamisel ning käitusmälu, konteksti salvestamise ja GPU-de vahelise side arvestamisel.
Kaasasolevas toimetuslikus hinnangus saab mudel kiiruse eest 6 punkti 10-st ja kulude eest 8 punkti 10-st. Need on subjektiivsed hinnangud, mis põhinevad mudeli tihendatud arhitektuuril ja kavandatud positsioneerimisel, mitte Cerebrase avaldatud mõõtmistel. Seetõttu ei ole mudel automaatselt kiireim valik. Väiksem tihe mudel või märksa väiksem MoE-mudel võib pakkuda väiksemat latentsust ja lihtsamaid riistvaranõudeid, samal ajal kui suurem tihendamata mudel võib pakkuda teistsugust kvaliteedi- või võimekusprofiili suuremate juurutuskuludega.
Selle kontrollpunkti kohta ei ole esitatud hostitud sisendi- ega väljundhinda. Kaasasolevas uurimismaterjalis ei ole seda juurutatud Hugging Face'i Inference Provideri kaudu ning selle mudelikirjega ei ole seotud avaldatud Cerebrase API hinda. MIT-litsents käsitleb kontrollpunkti litsentsitingimusi; seda ei tohiks tõlgendada garantiina, et hostimine, GPU-d, salvestusruum, elekter või arendustöö on tasuta.
Toetatud modaalsused ja piirangud
See on ainult tekstiga töötav mudel. See võtab vastu tekstisisendit ja toodab tekstiväljundit. Esitatud spetsifikatsioonid ei viita loomupärasele pildi-, heli-, video-, muusika-, kõne-, manustamis- ega muule mittetekstilisele väljundile. Seda ei tohiks valida pildi mõistmiseks, piltide genereerimiseks, kõnesuhtluseks, videoanalüüsiks ega multimeedia loomiseks ilma eraldi süsteemideta, mis neid modaalsusi töötlevad.
Arvestada tuleb ka mitme juurutuspiiranguga:
- Kontrollpunkt on hoolimata kärpimisest suur. See on vaikimisi mõeldud märkimisväärse mitme GPU-ga keskkonna jaoks, mitte tavapärase tarbijariistvara jaoks.
- Olemasolevas uurimismaterjalis ei ole esitatud maksimaalset väljundmärkide arvu.
- Peenhäälestuse, vahemällu salvestamise, voogedastuse, partiilise API ja struktureeritud väljundi tugi ei ole esitatud spetsifikatsioonides kinnitatud.
- Loomupärast veebotsingut ei toetata; otsinguks on vaja välist tööriista ja orkestreerimiskihti.
- Viidatud mudelikaardi teabe kohaselt olid BF16-kontrollpunkti hindamistulemused ootel, mistõttu ei tohiks eraldi FP8 tulemusi esitada otseste BF16 tulemustena.
- Selle konkreetse REAP-i kontrollpunkti kohta ei ole kindlaks tehtud autoriteetset teadmiste lõppkuupäeva.
Millal seda mudelit valida
Vali GLM-4.7-REAP-218B-A32B siis, kui vajad pika kontekstiaknaga avatud kaaludega mudelit, mille kavandatud tugevused hõlmavad kodeerimist, arutlemist, tööriistakutseid ja agenttöövooge, kuid soovid täisversiooni GLM-4.7 kontrollpunktile tihendatud alternatiivi. See on eriti asjakohane teadusmeeskondadele ja taristu haldajatele, kes suudavad hallata mitme GPU-ga juurutust ning hindavad kohalikku kontrolli hostitud teenuse asemel.
See on mõistlik kandidaat ka siis, kui töökoormus saab kasu suure mudeli laiaulatuslikust võimekusest, kuid tihendamata lähte mudel on olemasoleva taristu jaoks liiga nõudlik. Ekspertide paralleeltöötlus ja dokumenteeritud vLLM-i parserikonfiguratsioon võivad aidata kasutajatel üles ehitada praktilise teeninduslahenduse, kuigi tegelikku läbilaskevõimet ja mälukasutust tuleb testida valitud riistvara ning kvantimise või täpsuskonfiguratsiooni põhjal.
Teine valik võib olla sobivam siis, kui esmatähtsad on väike latentsus, vähene mälukasutus või prognoositav hostitud teenuse hind. Väiksemat mudelit võib olla lihtsam juurutada ning see võib rutiinse ekstraktsiooni, klassifitseerimise, lühikese teksti genereerimise või lihtsate kodeerimisülesannete puhul pakkuda paremat hinna ja kiiruse suhet. Hostitud API võib olla eelistatav ka meeskondadele, kes ei soovi hallata GPU-sid, mudelite teenindamist, tööriistade turvalisust ja käitushooldust. Teisalt võib mõni teine suur mudel olla parem valik, kui hädavajalikud on kontrollitud võrdlustulemused, dokumenteeritud teadmiste lõppkuupäev, loomupärane multimodaalne sisend või garanteeritud struktureeritud väljundi käitumine.
Kokkuvõte
GLM-4.7-REAP-218B-A32B on mahukas, kuid teadlikult tihendatud avatud kaaludega MoE-mudel. Selle peamine väärtus ei seisne väiksuses, vaid selles, et REAP vähendab algse GLM-4.7 parameetrite mahtu, säilitades samal ajal 32 miljardi parameetriga aktiivse töötlustee ja 202 752 märgi pikkuse kontekstiakna. Tulemuseks on mudel, mis on suunatud tõsistele kohalikele ja teadustöö juurutustele, kus kasutatakse koodi, arutlemist, pikki dokumente ja tööriistu.
Selle tugevaim kasutusjuht on kasutajatel, kes suudavad toetada mitme GPU-ga järeldamist ning soovivad suuremat kontrolli kui hostitud lõpp-punkt pakub. Peamised puudused on alles jääv riistvarakoormus, avaldatud hostitud teenuse hinnakirja puudumine, mõne teenindusfunktsiooni puudulik kontrollimine ja kinnitatud BF16-võrdlustulemuste puudumine kaasasolevas uurimismaterjalis. Kõige täpsema pildi mudeli sobivusest annab selle käsitlemine tihendatud, ainult tekstiga töötava GLM-4.7 tuletisena, mitte kerge üldotstarbelise mudelina.