Mis on GLM-4.5-Air-REAP-82B-A12B
GLM-4.5-Air-REAP-82B-A12B on Cerebrase avaldatud avatud kaaludega hõre ekspertide segu ehk MoE-i põhine põhjuslik keelemudel. See on tuletatud Z.ai mudelist GLM-4.5-Air ja kuulub Cerebrase REAP-i mudelikogusse. Kontrollpunkt on mõeldud kasutaja poolt allalaadimiseks ja teenindamiseks, mitte eraldi dokumenteeritud Cerebrase järeldus-API kaudu kasutamiseks.
Selle pikk nimi kirjeldab mitut olulist omadust. „82B” viitab tihendatud kontrollpunkti ligikaudu 82 miljardile parameetrile kokku, samas kui „A12B” näitab, et iga märgi ehk tokeni kohta aktiveeritakse ligikaudu 12 miljardit parameetrit. MoE-mudelis töötlevad erinevad ekspertparameetrite rühmad erinevaid tokeneid, mistõttu võib kogu mudel olla palju suurem kui ühe tokeni töötlemiseks kasutatav osa. See ei muuda juurutamist kergeks, sest üldjuhul tuleb kogu ekspertide komplekt siiski salvestada, kuid arvutus võib olla selektiivsem kui sama parameetrite koguarvuga tihedas mudelis.
Mudeli peamised kasutusalad on koodi genereerimine, agentne programmeerimine, hoidlateülesed programmeerimisülesanded, üldine arutlus, funktsioonikutsed ja tööriistapõhised töövood. Mudel võtab vastu teksti ja väljastab teksti. See ei genereeri algupäraselt pilte, heli ega videot.
Kuidas REAP mudelit tihendab
Cerebras tihendas baasmudelit meetodiga Router-weighted Expert Activation Pruning, lühendatult REAP. MoE-marsruuter otsustab, millised eksperdid peaksid iga tokenit töötlema. REAP kasutab marsruuteri kaalutud ekspertide aktiveerimise teavet, et tuvastada eemaldatavad eksperdid, ning jätab allesjäänud eksperdid mudeli marsruutimise süsteemi alla, selle asemel et kõigi ekspertide kaalud lihtsalt kokku liita.
Selle kontrollpunkti puhul vähendati algsed 128 eksperti 96-ni, mis tähendab 25% ekspertide kärpimise määra. Saadud mudelis on ligikaudu 82 miljardit parameetrit algse ligikaudu 106 miljardi asemel, samal ajal aktiveeritakse iga tokeni kohta endiselt kaheksa eksperti. Avaldatud tehnilistes üksikasjades on toodud ka 46 kihti, 96 päringu tähelepanupead ja kaheksa võtme-väärtuse pead.
Praktiline eesmärk on vähendada mälunõudeid ja juurutamise kulu, säilitades samal ajal suure osa algse mudeli käitumisest. Cerebrase sõnul on tulemused mitmes kodeerimise, arutluse ja tööriistakasutuse hindamises tihendamata GLM-4.5-Air-i tulemustega peaaegu võrreldavad. Mudelikaardil on samuti kirjeldatud väikeseid langusi mõnes kodeerimise ja tööriistakutsumise testis ning võrdseid või paremaid tulemusi valitud arutlus- ja agentsetes ülesannetes. Need on teenusepakkuja või mudelikaardi väited, mitte garantiid iga viiba, riistvarakonfiguratsiooni või teenindusplatvormi puhul.
Tehnilised andmed
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Teenusepakkuja | Cerebras |
| Baasmudel | Z.ai GLM-4.5-Air |
| Arhitektuur | Hõre ekspertide segu ehk MoE-i põhine põhjuslik keelemudel |
| Parameetreid kokku | Ligikaudu 82B |
| Aktiivseid parameetreid tokeni kohta | Ligikaudu 12B |
| Kihid | 46 |
| Eksperdid | 96 allesjäänud 128-st |
| Aktiveeritud eksperte tokeni kohta | 8 |
| Kontekstiaken | 131 072 tokenit |
| Litsents | MIT |
| Peamine sisend ja väljund | Tekst sisse, tekst välja |
Kontrollitud konteksti piirang on 131 072 tokenit, mis sobib pikkade lähtefailide, mahukate hoidlate väljavõtete, ulatuslike tehniliste dokumentide ja mitmevooruliste vestluste jaoks, kui teeninduskeskkond suudab neid toetada. Selle täpse REAP-i kontrollpunkti autoriteetset maksimaalset väljundtokenite arvu ei ole tuvastatud, mistõttu ei tohiks rakendused eeldada kindlat genereerimispiiri, mis ületaks mudeli konfiguratsiooni ja teenindustarkvara seatud piire.
Kodeerimine, arutlus ja tööriistapõhised ülesanded
GLM-4.5-Air-REAP-82B-A12B on suunatud eelkõige tarkvaraarenduse ülesannetele. Avaldatud hindamiskogum sisaldab teste HumanEval, HumanEval+, MBPP, MBPP+ ja LiveCodeBench ning arutluse hindamisi, nagu GPQA Diamond, AIME24 ja MATH-500. Mudelikaardil on nimetatud ka BFCL-v3 ja τ²-bench, mis on olulised funktsioonikutsumise ja tööriistakasutuse käitumise hindamisel.
Kodeerimisel võib suur kontekstiaken aidata ülesannete puhul, mis nõuavad enamat kui lühikest koodilõiku. Näiteks võib see hõlmata mitme seotud faili ülevaatamist, vea jälitamist kogu hoidlas, mitut faili hõlmava muudatuse pakkumist või projekti konteksti säilitamist pika kodeerimisseansi jooksul. Mudeli positsioneerimine hoidlateüleseks programmeerimiseks ei tähenda, et iga hoidla mahuks ühte viipa: praktilised tulemused sõltuvad endiselt failide valikust, konteksti koostamisest ja sellest, kuidas teenindusrakendus pikki sisendeid haldab.
Arutluse puhul on mudel mõeldud struktureeritud probleemilahenduseks ja tehniliseks analüüsiks. Kaasasolev toimetuslik hinnang annab selle arutlusvõimele 8 punkti 10-st ja kodeerimisvõimele 9 punkti 10-st. Need arvud on toimetuslikud hinnangud, mis põhinevad olemasoleval arhitektuuril ja avaldatud hindamistulemustel, mitte Cerebrase avaldatud skoorid. Neid tuleks käsitleda suunava teabena, mitte standardiseeritud hinnangutena.
Funktsioonikutsed ja tööriistakasutus on kavandatud juurutuskonfiguratsioonis toetatud. Avaldatud vLLM-i näide kasutab GLM-i spetsiifilist tööriistakutsete parsijat ja automaatset tööriistavalikut. Seetõttu sobib kontrollpunkt kodeerimisagentidele, teadusassistentidele ja töövoosüsteemidele, kus keelemudel peab valima väliseid funktsioone või neid käivitama. See ei tähenda, et mudel sisaldaks sisseehitatud veebiotsinguteenust, hostitud tööriistu või käivitussandkasti.
Juurutamine, kiirus ja kulude kompromissid
Kontrollpunkt on loodud isemajutatavaks järelduseks ja töötab kaasasoleva uurimuse kohaselt hiljutiste vLLM-i versioonidega ilma lähtekoodi muutmata. Juurutamisnäide kasutab tensor-paralleelsust, ekspertide paralleelsust, GLM-i spetsiifilist tööriistakutsete parsijat ja automaatset tööriistavalikut. Tensor-paralleelsus jaotab mudeli arvutused kiirendite vahel, ekspertide paralleelsus aga MoE eksperdid; mõlemad on olulised, sest 82 miljardi parameetriga kontrollpunkt on endiselt mahukas juurutus.
REAP-i peamine praktiline eelis on see, et võrreldes ligikaudu 106 miljardi parameetriga baaskontrollpunktiga vähendab see salvestatava mudelioleku mahtu. Seetõttu võib see vähendada riistvaranõudeid, mälukoormust ja kasutuskulu võrreldes tihendamata mudeli teenindamisega. See ei ole siiski väike mudel. Piiratud riistvara puhul võib kvantiseeritud tuletis olla sobivam, kuid kogukonna loodud kvantiseeritud teisendused on eraldi artefaktid ning neid ei tohiks segi ajada Cerebrase kanoonilise kontrollpunktiga.
Kaasasolevad toimetuslikud hinded annavad kiirusele 8 punkti 10-st ja kulule 8 punkti 10-st. Need hinded peegeldavad ekspertide kärpimise ja isemajutatava juurutamise eeldatavat kasu võrreldes suurema tihendamata MoE-mudeliga, kuid need ei ole teenusepakkuja väljastatud võrdlustulemused ega hinnagarantiid. Tegelik läbilaskevõime ja kulu sõltuvad kiirendi tüübist, tensori- ja ekspertide paralleelsusest, kvantiseerimisest, pakisuurusest, konteksti pikkusest, kasutusastmest ja teeninduskonfiguratsioonist.
Hinnakujundus ja kättesaadavus
GLM-4.5-Air-REAP-82B-A12B jaoks ei ole tuvastatud ametlikku hostitud API-hinda. See on MIT-litsentsi alusel avatud kaaludega kontrollpunktina saadaval Cerebrase Hugging Face'i organisatsiooni kaudu, mistõttu otsese mudeliartefakti puhul ei ole esitatud sisend- ega väljundtokeni hinnastust. Majanduslik kulu tuleneb selle allalaadimiseks, salvestamiseks ja teenindamiseks vajalikust taristust.
Selle täpse kontrollpunkti puhul ei ole eraldi Cerebrase pakett-API-t, viipade vahemällu salvestamise teenust, esimese osapoole veebiotsingu integratsiooni ega teenusetaseme kohustust kontrollitud. Kasutajad peaksid hindama mudelit isemajutatava tarkvarana, mitte mõõdetava kasutusega hostitud mudelina. Kogukulu võivad mõjutada riistvara rent, elekter, salvestusruum, arendusaeg ja operatiivne hooldus.
Toetatud modaalsused ja piirangud
Kontrollpunkti väljund on ainult tekst ja dokumenteeritud on teksti sisend. See ei võta algupäraselt vastu pildi-, heli- ega videosisendit ega väljasta pilte, heli ega videot. Seetõttu tuleks seda võrrelda tekstikesksete keelemudelitega, mitte multimodaalsete süsteemidega, kui visuaalne või kõne mõistmine on põhinõue.
REAP-i kontrollpunkti täpset teadmiste lõppkuupäeva ei ole dokumenteeritud. Kuigi see on tuletatud mudelist GLM-4.5-Air, ei tohiks baasmudeli lõppkuupäeva automaatselt sellele tihendatud tuletisele omistada. Värsket teavet vajavad rakendused vajavad välist otsingu- või päringukihti, kuid kontrollpunkt ei sisalda teenusepakkuja veebiotsingu integratsiooni.
Ise majutamine toob kaasa ka operatiivsed kohustused. Kasutajad peavad valima ühilduva riistvara, vajaduse korral konfigureerima hajutatud järelduse, jälgima mälukasutust, haldama mudelifaile ja valideerima tööriistakutsete toimimist oma rakenduses. Mudeli avatud kaaludega kättesaadavus pakub kontrolli ja privaatsuse eeliseid, kuid ei paku täielikult hallatud lõpp-punkti mugavust.
Millal seda mudelit valida
Vali GLM-4.5-Air-REAP-82B-A12B, kui vajad isemajutatavaks kodeerimiseks, arutluseks, hoidlate analüüsiks, agentseks programmeerimiseks või funktsioonikutsumise töövoogudeks avatud kaaludega mudelit ning suudad pakkuda märkimisväärselt kiirendiriistvara. See on eriti asjakohane siis, kui suure MoE-mudeli mahu vähendamine on oluline, kuid väike kohalik mudel loobuks liiga suurest osast kodeerimis- või arutlusvõimest.
- Vali see mudel: hoidlateüleseks koodiabisüsteemiks, mitmeastmelisteks tarkvaraagentideks, pikkadeks tehnilisteks viipadeks, funktsioonikutsumise töövoogudeks ning juurutusteks, kus kontroll mudelifailide ja andmete üle on oluline.
- Kaalu selle asemel tihendamata baasmudelit: kui GLM-4.5-Air-i võimalikult suur täpsus on olulisem kui kontrollpunkti mahu vähendamine ja suudad toetada selle suuremaid juurutusnõudeid.
- Vali selle asemel väiksem või kvantiseeritud variant: kui sihtseade ei suuda ligikaudu 82 miljardi parameetriga kontrollpunkti mugavalt toetada või kui väike latentsus ja lihtne ühe seadme juurutus on mudeli mahust olulisemad.
- Vali selle asemel hostitud API-mudel: kui vajad prognoositavat päringupõhist hinnastust, hallatud skaleerimist, dokumenteeritud maksimaalset väljundipiiri, teenusepakkuja hallatavat töökindlust või sisseehitatud värske teabe tööriistu.
- Vali selle asemel multimodaalne mudel: kui rakendus peab töötlema pilte, heli või videot, mitte ainult teksti.
Kokkuvõttes paikneb GLM-4.5-Air-REAP-82B-A12B praktiliselt suurema tihendamata MoE-kontrollpunkti ja väiksemate, lihtsamini käivitatavate keelemudelite vahel. Selle eristuv kompromiss ei seisne hostitud hinnas ega uues modaalsuses, vaid katses säilitada suur osa GLM-4.5-Air-i kodeerimis-, arutlus- ja tööriistakasutuse käitumisest pärast veerandi ekspertide eemaldamist. Seetõttu on see kõige kasulikum meeskondadele, kes on valmis oma järeldustaristut ise haldama ja mõõtma tihendatud mudeli toimivust oma konkreetsetes töökoormustes.